Ringkasan BigQuery

BigQuery adalah platform data yang terkelola sepenuhnya dan siap AI yang membantu Anda mengelola dan menganalisis data dengan fitur bawaan seperti machine learning, penelusuran, analisis geospasial, dan business intelligence. Arsitektur serverless BigQuery memungkinkan Anda menggunakan bahasa seperti SQL dan Python untuk menjawab pertanyaan terbesar organisasi Anda tanpa perlu mengelola infrastruktur.

BigQuery menyediakan cara yang seragam untuk menangani data terstruktur dan tidak terstruktur serta mendukung format tabel terbuka seperti Apache Iceberg, Delta, dan Hudi. Streaming BigQuery mendukung penyerapan dan analisis data berkelanjutan, sementara mesin analisis terdistribusi BigQuery yang skalabel memungkinkan Anda membuat kueri terabyte dalam hitungan detik dan petabyte dalam hitungan menit.

Arsitektur BigQuery terdiri dari dua bagian: lapisan penyimpanan yang menyerap, menyimpan, dan mengoptimalkan data, serta lapisan komputasi yang menyediakan kemampuan analisis. Lapisan komputasi dan penyimpanan ini beroperasi secara efisien dan independen satu sama lain berkat jaringan skala petabit Google yang memungkinkan komunikasi yang diperlukan di antara keduanya.

Database lama biasanya harus berbagi resource antara operasi baca dan tulis serta operasi analitik. Hal ini dapat menyebabkan konflik resource dan memperlambat kueri saat data ditulis ke atau dibaca dari penyimpanan. Kumpulan resource bersama dapat menjadi lebih terbebani saat resource diperlukan untuk tugas pengelolaan database seperti menetapkan atau mencabut izin. Pemisahan lapisan komputasi dan penyimpanan BigQuery memungkinkan setiap lapisan mengalokasikan resource secara dinamis tanpa memengaruhi performa atau ketersediaan lapisan lainnya.

Prinsip pemisahan ini memungkinkan BigQuery berinovasi lebih cepat karena peningkatan penyimpanan dan komputasi dapat di-deploy secara independen, tanpa periode nonaktif atau dampak negatif pada performa sistem. Hal ini juga penting untuk menawarkan data warehouse serverless yang terkelola sepenuhnya, yang tim engineering BigQuery menangani update dan pemeliharaannya. Hasilnya, Anda tidak perlu menyediakan atau menskalakan resource secara manual, sehingga Anda dapat berfokus pada penyampaian nilai, bukan tugas pengelolaan database tradisional.

Antarmuka BigQuery meliputi antarmuka konsol dan alat command line BigQuery. Cloud de Confiance Developer dan data scientist dapat menggunakan library klien dengan pemrograman familier termasuk Python, Java, JavaScript, dan Go, serta REST API dan RPC API BigQuery untuk mengubah dan mengelola data. Driver ODBC dan JDBC menyediakan interaksi dengan aplikasi yang ada, termasuk alat dan utilitas pihak ketiga.

Sebagai analis data, data engineer, administrator data warehouse, atau ilmuwan data, BigQuery membantu Anda memuat, memproses, dan menganalisis data untuk mendasari keputusan bisnis yang penting.

Mulai menggunakan BigQuery

Anda dapat mulai menjelajahi BigQuery dalam hitungan menit.

• Panduan memulai konsolCloud de Confiance : Pahami kecanggihan BigQuery Studio.

Jelajahi BigQuery

Infrastruktur serverless BigQuery memungkinkan Anda berfokus pada data, bukan pada pengelolaan resource. BigQuery menggabungkan data warehouse berbasis cloud dan alat analisis yang andal.

Penyimpanan BigQuery

BigQuery menyimpan data menggunakan format penyimpanan berbasis kolom yang dioptimalkan untuk kueri analitis. BigQuery menyajikan data dalam tabel, baris, dan kolom, serta memberikan dukungan penuh untuk semantik transaksi database (ACID). Penyimpanan BigQuery secara otomatis direplikasi ke beberapa lokasi untuk memberikan ketersediaan tinggi.

• Pelajari pola umum untuk mengatur resource BigQuery di data warehouse dan data mart.
• Pelajari set data, container level teratas untuk tabel dan tampilan BigQuery.
• Muat data ke BigQuery menggunakan:
  • Streaming data dengan Storage Write API.
  • Pemuatan batch data dari file lokal atau Cloud Storage menggunakan format yang meliputi: Avro, Parquet, ORC, CSV, JSON.

Untuk mengetahui informasi selengkapnya, lihat Ringkasan penyimpanan BigQuery.

Analisis BigQuery

Penggunaan analisis deskriptif dan preskriptif mencakup business intelligence, analisis ad hoc, analisis geospasial, dan machine learning. Anda dapat membuat kueri untuk data yang tersimpan di BigQuery atau menjalankan kueri pada data di tempat data tersebut berada menggunakan tabel eksternal atau kueri gabungan termasuk Cloud Storage.

• Kueri SQL standar ANSI (Dukungan SQL:2011) termasuk dukungan untuk gabungan, kolom bertingkat dan berulang, fungsi analisis dan agregasi, kueri multi-pernyataan, serta berbagai fungsi spasial dengan analisis geospasial - Sistem Informasi Geografis.
• Buat tampilan untuk membagikan analisis Anda.
• Dukungan alat business intelligence, termasuk alat pihak ketiga yang menggunakan driver ODBC dan JDBC Simba untuk BigQuery
• BigQuery ML menyediakan machine learning dan analisis prediktif.
• BigQuery Studio memudahkan Anda menyelesaikan analisis data dan alur kerja machine learning (ML) di BigQuery.
• Buat kueri data di luar BigQuery dengan tabel eksternal.

Untuk mengetahui informasi selengkapnya, baca Ringkasan analisis BigQuery.

Administrasi BigQuery

BigQuery menyediakan pengelolaan resource komputasi dan data terpusat, sementara Identity and Access Management (IAM) membantu Anda mengamankan resource tersebut dengan model akses yang digunakan di seluruh Cloud de Confiance by S3NS.

• Pengantar keamanan dan tata kelola data membantu Anda memahami tata kelola data, dan kontrol apa saja yang mungkin Anda perlukan untuk mengamankan resource BigQuery.
• Tugas adalah tindakan yang dijalankan BigQuery atas nama Anda untuk memuat, mengekspor, membuat kueri, atau menyalin data.
• Reservasi memungkinkan Anda beralih antara harga sesuai permintaan dan harga berdasarkan kapasitas.

Untuk informasi lebih lanjut, lihat Pengantar administrasi BigQuery.

Referensi BigQuery

Pelajari referensi BigQuery:

• Catatan rilis memberikan log perubahan fitur, perubahan, dan penghentian penggunaan.
• Stack Overflow menghosting komunitas developer dan analis yang aktif bekerja dengan BigQuery.
• Google BigQuery: The Definitive Guide: Data Warehousing, Analytics, and Machine Learning at Scale oleh Valliappa Lakshmanan dan Jordan Tigani, menjelaskan cara kerja BigQuery, serta memberikan solusi panduan tentang cara menggunakan layanan ini.

API, alat, dan referensi

Materi referensi untuk developer dan analis BigQuery:

• BigQuery API dan library klien menyajikan ringkasan fitur BigQuery dan penggunaannya.
• Sintaksis DML memungkinkan Anda mengelola dan mengubah data BigQuery.
• Referensi alat command line bq mendokumentasikan sintaksis, perintah, flag, dan argumen untuk antarmuka CLI bq.
• Integrasi ODBC / JDBC menghubungkan BigQuery ke alat dan infrastruktur yang ada.

Peran dan resource BigQuery

BigQuery memenuhi kebutuhan para profesional data dalam berbagai peran dan tanggung jawab berikut.

Langkah berikutnya

• Pelajari perbedaan BigQuery di Cloud de Confiance versus Google Cloud.

• Untuk mengetahui ringkasan penyimpanan BigQuery, lihat Ringkasan penyimpanan BigQuery.
• Untuk ringkasan kueri BigQuery, lihat Ringkasan analisis BigQuery.
• Untuk ringkasan administrasi BigQuery, lihat Pengantar administrasi BigQuery.
• Untuk ringkasan keamanan BigQuery, lihat Ringkasan tata kelola dan keamanan data.