Introdução às conexões

O BigQuery permite criar conexões externas para consultar dados que estão armazenados fora do BigQuery em Cloud de Confiance by S3NS serviços como o Cloud Storage ou o Spanner, ou em fontes de terceiros, como a Amazon Web Services (AWS) ou o Microsoft Azure. Essas conexões externas usam a API BigQuery Connection.

Por exemplo, suponha que você armazene detalhes sobre pedidos de clientes no Cloud SQL e dados sobre vendas no BigQuery e queira mesclar as duas tabelas em uma única consulta. É possível criar uma conexão do Cloud SQL com o banco de dados externo usando a API BigQuery Connection. Com as conexões, você nunca envia as credenciais do banco de dados como texto não criptografado.

Uma conexão é criptografada e armazenada com segurança no serviço de conexão do BigQuery. Para conceder aos usuários acesso às conexões, conceda a eles papéis do Identity and Access Management (IAM) de conexão do BigQuery.

Tipos de conexão

O BigQuery oferece diferentes tipos de conexão para as seguintes fontes de dados externas:

• Amazon Simple Storage Service (Amazon S3)
• Apache Spark
• Armazenamento de blobs do Azure
• Cloud de Confiance recursos como modelos remotos da Vertex AI, funções remotas e o BigLake
• Spanner
• Cloud SQL
• AlloyDB para PostgreSQL
• SAP Datasphere

Conexões do Amazon S3

Para criar uma conexão do Amazon S3 com o BigQuery Omni, consulte Conectar ao Amazon S3.

Depois de ter uma conexão do Amazon S3, você pode fazer o seguinte:

• Criar tabelas externas no Amazon S3
• Consultar os dados do Amazon S3
• Exportar resultados para o Amazon S3
• Criar conjuntos de dados com base em bancos de dados do AWS Glue.

Conexões Spark

Os procedimentos armazenados para o Spark permitem executar procedimentos armazenados escritos em Python usando o BigQuery. Com uma conexão Spark, você pode se conectar ao Serviço Gerenciado para Apache Spark e executar os procedimentos armazenados para o Spark.

Para criar essa conexão, consulte Criar conexões.

Conexões de armazenamento de blobs

Para criar uma conexão de armazenamento de blobs com o BigQuery Omni, consulte Conectar ao armazenamento de blobs.

Depois de ter uma conexão existente do Armazenamento de Blobs, é possível fazer o seguinte:

• Criar tabelas externas com base no armazenamento de blobs
• Consultar os dados de armazenamento de blobs
• Exportar resultados para o armazenamento de blobs

Cloud de Confiance conexões de recursos

Umaconexão de Cloud de Confiance recursos é uma conexão para autorizar o acesso a outros Cloud de Confiancerecursos, como modelos remotos da Agent Platform, funções remotas e o BigLake. Para mais detalhes sobre como configurar umaconexão de recursos Cloud de Confiance , consulte Criar e configurar uma conexão de recursos do Cloud.

Quando você tiver umaconexão de recursos Cloud de Confiance , será possível criar os seguintes objetos do BigQuery com ela:

• Modelos remotos. Para mais informações, consulte A Instrução CREATE MODEL para modelos remotos sobre LLMs, A instrução CREATE MODEL para modelos remotos em serviços de IA do Google Cloud e A instrução CREATE MODEL para modelos remotos em vez de modelos hospedados na Agent Platform.
• Funções remotas. As funções remotas do BigQuery permitem implementar funções com qualquer linguagem compatível no Cloud Run functions ou no Cloud Run. Uma conexão de função remota permite se conectar ao Cloud Run functions ou ao Cloud Run e executar essas funções. Para criar uma conexão de função remota do BigQuery, consulte Criar uma conexão.
• Tabelas do BigLake. As conexões do BigLake conectam tabelas do BigLake a fontes de dados externas e mantêm o controle de acesso e a segurança refinados do BigQuery para dados estruturados e não estruturados no Cloud Storage.
• Tabelas de objetos. Para mais informações, consulte Introdução às tabelas de objetos.

Conexões do Spanner

Para criar uma conexão com o Spanner, consulte Conectar ao Spanner.

Depois de ter uma conexão com o Spanner, é possível executar consultas federadas.

Conexões do Cloud SQL

Para criar uma conexão do Cloud SQL, consulte Conectar-se ao Cloud SQL.

Depois de estabelecer uma conexão do Cloud SQL, é possível executar consultas federadas.

Conexões do AlloyDB

Para criar uma conexão do AlloyDB, consulte Conectar-se ao AlloyDB para PostgreSQL.

Depois de ter uma conexão existente do AlloyDB, é possível executar consultas federadas.

Conexões do SAP Datasphere

Para criar uma conexão do SAP Datasphere, consulte Conectar-se ao SAP Datasphere.

Depois de ter uma conexão do SAP Datasphere, é possível executar consultas federadas.

Registros de auditoria

O BigQuery registra as solicitações de uso e gerenciamento sobre conexões. Para mais informações, consulte Visão geral dos registros de auditoria do BigQuery.

A seguir

• Saiba como gerenciar conexões.
• Saiba mais sobre as conexões padrão do seu projeto.
• Saiba como analisar tabelas de objetos usando funções remotas.
• Saiba como consultar dados armazenados:
  • Consultar dados armazenados no Amazon S3.
  • Consultar dados armazenados no armazenamento de blobs.
  • Consultar dados estruturados armazenados no Cloud Storage.
  • Consultar dados não estruturados armazenados no Cloud Storage.
  • Consultar dados armazenados no Spanner.
  • Consultar dados armazenados no Cloud SQL.
  • Consultar dados armazenados no AlloyDB.
  • Consultar dados usando funções remotas.
  • Consultar dados não estruturados usando funções remotas.
  • Consultar dados usando procedimentos armazenados para o Apache Spark
• Saiba mais sobre tabelas externas.