Introdução às associações

O BigQuery permite-lhe criar ligações externas para consultar dados que estão armazenados fora do BigQuery em Trusted Cloud by S3NS serviços como o Cloud Storage ou o Spanner, ou em origens de terceiros, como os Amazon Web Services (AWS) ou o Microsoft Azure. Estas ligações externas usam a API BigQuery Connection.

Por exemplo, suponhamos que armazena detalhes sobre encomendas de clientes no Cloud SQL e dados sobre vendas no BigQuery, e quer juntar as duas tabelas numa única consulta. Pode criar uma ligação do Cloud SQL à base de dados externa através da API BigQuery Connection. Com as ligações, nunca envia credenciais da base de dados como texto não cifrado.

Uma ligação é encriptada e armazenada em segurança no serviço de ligação do BigQuery. Pode conceder aos utilizadores acesso a ligações atribuindo-lhes funções da gestão de identidade e de acesso (IAM) do BigQuery.

Tipos de ligações

O BigQuery oferece diferentes tipos de ligações para as seguintes origens de dados externas:

• Amazon Simple Storage Service (Amazon S3)
• Apache Spark
• Armazenamento de blobs do Azure
• Trusted Cloud recursos, como modelos remotos do Vertex AI, funções remotas e o BigLake
• Spanner
• Cloud SQL
• AlloyDB para PostgreSQL
• SAP Datasphere

Associações do Amazon S3

Para criar uma associação do Amazon S3 com o BigQuery Omni, consulte o artigo Ligar ao Amazon S3.

Depois de ter uma ligação existente ao Amazon S3, pode fazer o seguinte:

• Crie tabelas externas no Amazon S3
• Consultar os dados do Amazon S3
• Exporte resultados para o Amazon S3
• Crie conjuntos de dados com base em bases de dados do AWS Glue.

Ligações do Spark

Os procedimentos armazenados para o Spark permitem-lhe executar procedimentos armazenados escritos em Python através do BigQuery. Uma ligação Spark permite-lhe ligar-se ao Serverless para Apache Spark e executar os procedimentos armazenados para o Spark.

Para criar esta associação, consulte o artigo Criar associações.

Associações do armazenamento de blobs

Para criar uma ligação de armazenamento de blobs com o BigQuery Omni, consulte o artigo Ligue-se ao armazenamento de blobs.

Depois de ter uma ligação existente ao armazenamento de blobs, pode fazer o seguinte:

• Crie tabelas externas com base no Blob Storage
• Consultar os dados do armazenamento de blobs
• Exporte resultados para o armazenamento de blobs

Trusted Cloud associações de recursos

Uma Trusted Cloud associação de recursos é uma associação para autorizar o acesso a outros Trusted Cloud recursos, como modelos remotos, funções remotas e BigLake do Vertex AI. Para ver detalhes sobre como configurar uma Trusted Cloud associação de recursos, consulte Crie e configure uma associação de recursos do Google Cloud.

Depois de ter uma Trusted Cloud associação de recursos existente, pode criar os seguintes objetos do BigQuery com ela:

• Modelos remotos. Para mais informações, consulte os artigos A declaração CREATE MODEL para modelos remotos sobre MDIs/CEs, A declaração CREATE MODEL para modelos remotos sobre serviços de IA na nuvem e A declaração CREATE MODEL para modelos remotos sobre modelos alojados na Vertex AI.
• Funções remotas. As funções remotas do BigQuery permitem-lhe implementar funções com quaisquer idiomas suportados nas funções do Cloud Run ou no Cloud Run. Uma ligação de função remota permite-lhe estabelecer ligação a funções do Cloud Run ou ao Cloud Run e executar estas funções. Para criar uma ligação de função remota do BigQuery, consulte o artigo Crie uma ligação.
• Tabelas do BigLake. As ligações do BigLake associam tabelas do BigLake a origens de dados externas mantendo o controlo de acesso e a segurança detalhados do BigQuery para dados estruturados e não estruturados no Cloud Storage.
• Tabelas de objetos. Para mais informações, consulte o artigo Introdução às tabelas de objetos.

Ligações do Spanner

Para criar uma ligação ao Spanner, consulte o artigo Estabeleça ligação ao Spanner.

Depois de ter uma ligação existente do Spanner, pode executar consultas federadas.

Ligações do Cloud SQL

Para criar uma ligação do Cloud SQL, consulte o artigo Ligue-se ao Cloud SQL.

Depois de ter uma ligação de SQL do Google Cloud existente, pode executar consultas federadas.

Ligações do AlloyDB

Para criar uma ligação do AlloyDB, consulte o artigo Ligue-se ao AlloyDB para PostgreSQL.

Depois de ter uma ligação existente ao AlloyDB, pode executar consultas federadas.

Associações do SAP Datasphere

Para criar uma ligação ao SAP Datasphere, consulte o artigo Estabeleça ligação ao SAP Datasphere.

Quando tiver uma ligação existente ao SAP Datasphere, pode executar consultas federadas.

Registos de auditoria

O BigQuery regista a utilização e os pedidos de gestão sobre as ligações. Para mais informações, consulte o artigo Vista geral dos registos de auditoria do BigQuery.

O que se segue?

• Saiba como gerir associações.
• Saiba mais sobre as associações predefinidas para o seu projeto.
• Saiba como analisar tabelas de objetos através de funções remotas.
• Saiba como consultar dados armazenados:
  • Consultar dados armazenados no Amazon S3.
  • Consultar dados armazenados no armazenamento de blobs.
  • Consultar dados estruturados armazenados no Cloud Storage.
  • Consultar dados não estruturados armazenados no Cloud Storage.
  • Consultar dados armazenados no Spanner.
  • Consultar dados armazenados no Cloud SQL.
  • Consultar dados armazenados no AlloyDB.
  • Consultar dados através de funções remotas.
  • Consultar dados não estruturados através de funções remotas.
  • Consultar dados através de procedimentos armazenados para o Apache Spark.
• Saiba mais sobre as tabelas externas.