Pengantar koneksi

BigQuery memungkinkan Anda membuat koneksi eksternal untuk membuat kueri data yang disimpan di luar BigQuery di layanan seperti Cloud Storage atau Spanner, atau di sumber pihak ketiga seperti Amazon Web Services (AWS) atau Microsoft Azure. Trusted Cloud by S3NS Koneksi eksternal ini menggunakan BigQuery Connection API.

Sebagai contoh, misalkan Anda menyimpan detail tentang pesanan pelanggan di Cloud SQL dan data tentang penjualan di BigQuery, dan Anda ingin menggabungkan kedua tabel tersebut dalam satu kueri. Anda dapat membuat koneksi Cloud SQL ke database eksternal menggunakan BigQuery Connection API. Dengan koneksi, Anda tidak akan pernah mengirim kredensial database sebagai cleartext.

Koneksi dienkripsi dan disimpan dengan aman di layanan koneksi BigQuery. Anda dapat memberi pengguna akses ke koneksi dengan memberi mereka peran Identity and Access Management (IAM) koneksi BigQuery.

Jenis koneksi

BigQuery menyediakan berbagai jenis koneksi untuk sumber data eksternal berikut:

• Layanan Simple Storage Amazon (Amazon S3)
• Apache Spark
• Azure Blob Storage
• resourceTrusted Cloud seperti model jarak jauh Vertex AI, fungsi jarak jauh, dan BigLake
• Spanner
• Cloud SQL
• AlloyDB untuk PostgreSQL
• SAP Datasphere

Koneksi Amazon S3

Untuk membuat koneksi Amazon S3 dengan BigQuery Omni, lihat Menghubungkan ke Amazon S3.

Setelah memiliki koneksi Amazon S3 yang ada, Anda dapat melakukan hal berikut:

• Membuat tabel eksternal di Amazon S3
• Buat kueri data Amazon S3
• Mengekspor hasil ke Amazon S3
• Buat set data berdasarkan database AWS Glue.

Koneksi Spark

Prosedur tersimpan untuk Spark memungkinkan Anda menjalankan prosedur tersimpan yang ditulis dalam Python menggunakan BigQuery. Koneksi Spark memungkinkan Anda terhubung ke Dataproc Serverless dan menjalankan prosedur tersimpan untuk Spark.

Untuk membuat koneksi ini, lihat Membuat koneksi.

Koneksi Blob Storage

Untuk membuat koneksi Blob Storage dengan BigQuery Omni, lihat artikel Menghubungkan ke Blob Storage.

Setelah memiliki koneksi Blob Storage yang ada, Anda dapat melakukan hal berikut:

• Membuat tabel eksternal berdasarkan Blob Storage
• Buat kueri data Blob Storage
• Mengekspor hasil ke Blob Storage

Trusted Cloud koneksi resource

Koneksi resource adalah koneksi untuk mengizinkan akses ke resource lain seperti model jarak jauh Vertex AI, fungsi jarak jauh, dan BigLake. Trusted Cloud Trusted CloudUntuk mengetahui detail cara menyiapkan koneksi resource Trusted Cloud , lihat Membuat dan menyiapkan koneksi resource Cloud.

Setelah memiliki koneksi resource Trusted Cloud yang ada, Anda dapat membuat objek BigQuery berikut dengannya:

• Model jarak jauh. Untuk mengetahui informasi selengkapnya, lihat Pernyataan CREATE MODEL untuk model jarak jauh melalui LLM, Pernyataan CREATE MODEL untuk model jarak jauh melalui layanan AI Cloud, dan Pernyataan CREATE MODEL untuk model jarak jauh melalui model yang dihosting Vertex AI.
• Fungsi jarak jauh. Fungsi jarak jauh BigQuery memungkinkan Anda menerapkan fungsi dengan bahasa yang didukung di fungsi Cloud Run atau Cloud Run. Koneksi fungsi jarak jauh memungkinkan Anda terhubung dengan fungsi Cloud Run atau Cloud Run dan menjalankan fungsi-fungsi ini. Untuk membuat koneksi fungsi jarak jauh BigQuery, lihat Membuat koneksi.
• Tabel BigLake. Koneksi BigLake menghubungkan tabel BigLake ke sumber data eksternal sambil mempertahankan kontrol akses dan keamanan BigQuery yang mendetail untuk data terstruktur dan tidak terstruktur di Cloud Storage.
• Tabel objek. Untuk mengetahui informasi selengkapnya, lihat Pengantar tabel objek.

Koneksi Spanner

Untuk membuat koneksi Spanner, lihat Menghubungkan ke Spanner.

Setelah memiliki koneksi Spanner yang ada, Anda dapat menjalankan kueri gabungan.

Koneksi Cloud SQL

Untuk membuat koneksi Cloud SQL, lihat Menghubungkan ke Cloud SQL.

Setelah memiliki koneksi Cloud SQL yang ada, Anda dapat menjalankan kueri gabungan.

Koneksi AlloyDB

Untuk membuat koneksi AlloyDB, lihat Menghubungkan ke AlloyDB untuk PostgreSQL.

Setelah memiliki koneksi AlloyDB yang ada, Anda dapat menjalankan kueri gabungan.

Koneksi SAP Datasphere

Untuk membuat koneksi SAP Datasphere, lihat Menghubungkan ke SAP Datasphere.

Setelah memiliki koneksi SAP Datasphere yang ada, Anda dapat menjalankan kueri gabungan.

Log audit

BigQuery mencatat permintaan penggunaan dan pengelolaan koneksi ke dalam log. Untuk mengetahui informas selengkapnya, lihat Ringkasan log audit BigQuery.

Langkah berikutnya

• Pelajari cara mengelola koneksi.
• Pelajari lebih lanjut koneksi default untuk project Anda.
• Pelajari cara menganalisis tabel objek menggunakan fungsi jarak jauh.
• Pelajari cara membuat kueri untuk data yang disimpan:
  • Buat kueri data yang disimpan di Amazon S3.
  • Buat kueri data yang disimpan di Blob Storage.
  • Buat kueri data terstruktur yang disimpan di Cloud Storage.
  • Buat kueri data tidak terstruktur yang disimpan di Cloud Storage.
  • Buat kueri data yang disimpan di Spanner.
  • Buat kueri data yang disimpan di Cloud SQL.
  • Buat kueri data yang disimpan di AlloyDB.
  • Buat kueri data menggunakan fungsi jarak jauh.
  • Buat kueri data tidak terstruktur menggunakan fungsi jarak jauh.
  • Buat kueri data menggunakan prosedur tersimpan untuk Apache Spark.
• Pelajari tabel eksternal.