Menggunakan Gemini Cloud Assist

Dokumen ini menjelaskan cara menggunakan Gemini Cloud Assist, produk dari portofolio Cloud de Confiance by S3NS Gemini for, untuk membantu Anda memahami dan menggunakan metadata, tugas, dan kueri di BigQuery. Dokumen ini menyediakan kasus penggunaan yang didukung dan contoh perintah yang dapat Anda gunakan di Gemini Cloud Assist.

Sebelum memulai

Sebelum dapat menggunakan Gemini Cloud Assist, administrator Anda harus melakukan langkah-langkah untuk Menyiapkan Gemini Cloud Assist untuk project atau folder yang Anda gunakan.

Untuk mendukung pertanyaan dan permintaan tentang resource Anda, Gemini Cloud Assist memerlukan izin Identity and Access Management (IAM) yang sesuai untuk resource tersebut. Cloud de Confiance Gemini Cloud Assist mewarisi izin Anda saat Anda memintanya untuk mengkueri data BigQuery Anda, sehingga dalam banyak kasus, izin IAM yang diperlukan sudah diberikan. Untuk mengetahui informasi selengkapnya, lihat Persyaratan IAM untuk menggunakan Gemini Cloud Assist.

Menggunakan Gemini Cloud Assist

  1. Buka halaman BigQuery.

    Buka BigQuery

  2. Di Cloud de Confiance toolbar, klik spark Open or close Gemini AI chat untuk membuka chat Gemini Cloud Assist.

    Tombol Gemini Cloud Assist di toolbar BigQuery.

  3. Di kolom Enter a prompt, masukkan perintah Anda.

  4. Klik kirim Send.

Bagian berikut memberikan contoh tugas yang dapat Anda lakukan dengan Gemini Cloud Assist, beserta contoh perintah.

Menemukan resource

Cari dan pelajari set data dan resource tabel dalam satu project atau di beberapa project. Gemini Cloud Assist menggunakan Knowledge Catalog untuk menelusuri resource BigQuery Anda. Penelusuran dilakukan menggunakan izin Anda. Misalnya, jika Anda tidak memiliki izin untuk melihat metadata resource, resource tersebut tidak akan muncul di hasil. Kasus penggunaan yang didukung mencakup hal berikut:

  • Menelusuri resource berdasarkan nama. Di panel Cloud Assist, masukkan perintah yang mirip dengan berikut:

    Do I have any datasets named ecommerce?

  • Menanyakan metadata tabel. Anda dapat menanyakan tabel berdasarkan nama, atau membiarkan Gemini Cloud Assist menyimpulkan tabel mana yang Anda maksud berdasarkan histori chat Anda atau tabel mana yang direferensikan di tab kueri aktif Anda. Jika Anda menentukan tabel berdasarkan nama, Anda harus menggunakan nama yang sepenuhnya memenuhi syarat. Anda dapat menanyakan skema tabel atau metadata lainnya, seperti partisi dan pengelompokan. Di panel Cloud Assist, masukkan perintah yang mirip dengan berikut:

    What's the schema for PROJECT_NAME.DATASET_NAME.TABLE_NAME?

  • Menanyakan tempat untuk menemukan informasi tertentu. Di panel Cloud Assist , masukkan perintah yang mirip dengan berikut:

    Where can I find demographics, such as age and location, for new users from the last year?

Membuat kode

Anda dapat menggunakan Gemini Cloud Assist untuk membuat kode SQL dan Python guna membantu Anda mengkueri dan menganalisis data Anda.

Membuat SQL

Buat kueri SQL dengan menjelaskan apa yang Anda inginkan dari kueri tersebut. Untuk hasil terbaik, sertakan nama tabel yang ingin Anda kueri. Misalnya, di panel Cloud Assist, masukkan perintah yang mirip dengan berikut:

Generate a SQL query to show me the duration and subscriber type for the ten longest trips. Use the bigquery-public-data.san_francisco_bikeshare.bikeshare_trips table.

Membuat kode Python

Buat kode Python dengan menjelaskan apa yang Anda inginkan dari kode tersebut. Misalnya, di panel Cloud Assist, Anda dapat memasukkan perintah berikut untuk meminta Gemini mengkueri tabel penguins dari set data publik menggunakan sintaksis BigQuery magics:

Generate python code to query the bigquery-public-data.ml_datasets.penguins table using BigQuery magics.

Menjadwalkan kueri

Jadwalkan kueri dengan memberikan detail berikut dalam perintah Anda:

  • Jadwal, seperti setiap Senin pukul 17.00 atau setiap Selasa pukul 02.00
  • Nama tampilan
  • ID tabel tujuan dan ID set data tujuan
  • Waktu mulai
  • Waktu berakhir
  • Disposisi tulis, seperti WRITE_EMPTY, WRITE_APPEND, atau WRITE_TRUNCATE

Misalnya, di panel Cloud Assist, Anda dapat memasukkan perintah yang mirip dengan berikut:

Schedule the query open in the editor to run daily. The display name
should be "test query". Write the results to a new table in mydataset
called scheduled_results. Use WRITE_APPEND. Start it now.

Melacak silsilah data

Anda dapat menggunakan Gemini Cloud Assist untuk menjelajahi dan menganalisis silsilah data. Fitur ini dapat membantu Anda memahami dependensi data, mengevaluasi dampak perubahan struktural, dan meringkas alur data yang kompleks. Untuk menganalisis silsilah, Anda dapat mengajukan pertanyaan kepada Gemini Cloud Assist di seluruh area fungsional berikut:

  • Mendapatkan statistik silsilah. Minta Gemini Cloud Assist untuk mendapatkan data kuantitatif tentang diagram silsilah, seperti jumlah total aset, set data, atau project yang terlibat. Di panel Cloud Assist, masukkan perintah yang mirip dengan berikut:

    • How many upstream assets does Customer_Master have?
    • How many BigQuery datasets are involved in the upstream lineage of Customer_Interaction_Summary?
    • Provide a count of all unique assets in the upstream graph of Marketing_Interaction.

  • Menganalisis dependensi langsung. Identifikasi induk langsung (sumber) atau turunan langsung (konsumen) dari aset tertentu dengan menganalisis hubungan satu hop. Di panel Cloud Assist, masukkan perintah yang mirip dengan berikut:

    • What are the immediate sources of Customer_Master?
    • What are the direct consumers of the Card_Master table?
    • What are the direct sources of Web_Session_Validated?

  • Mengevaluasi dampak hilir. Pahami konsekuensi hilir dari pengubahan atau penghapusan aset. Anda dapat menentukan cakupan perintah ini berdasarkan kedalaman (jumlah hop) atau batas project tertentu. Di panel Cloud Assist, masukkan perintah yang mirip dengan berikut:

    • Which assets are impacted if I drop Customer_Master?
    • Show me the assets downstream from Customer_Master within 2 hops.
    • Will changing Customer_Master affect any assets in the 'data-lineage-manual-tests' project?

  • Mengidentifikasi sumber utama dan tujuan akhir. Temukan asal utama atau tujuan akhir data Anda, dengan melewati langkah-langkah transformasi perantara. Di panel Cloud Assist, masukkan perintah yang mirip dengan berikut:

    • What are all of the ultimate sources of data for Customer_Master?
    • What are the original data sources for Transaction_Data_Enriched, excluding intermediate tables?
    • What are the ultimate destinations of data from Card_Data_Validated?

  • Melacak alur data antar-aset. Minta Gemini Cloud Assist untuk menjelaskan koneksi, jalur, atau alur data tertentu antara dua aset yang diketahui. Di panel Cloud Assist, masukkan perintah yang mirip dengan berikut:

    • How does Customer_Master depend on Customer_Data_Raw?
    • How does the data flow from Customer_Data_Raw to Customer_Profile_Snapshot?
    • How many hops are there between Customer_Data_Raw and Alert_Fact?

  • Memfilter silsilah berdasarkan jenis atau nama aset. Telusuri jenis aset terhubung tertentu (seperti tampilan BigQuery atau dasbor Looker) atau aset yang cocok dengan pola penamaan tertentu. Di panel Cloud Assist, masukkan perintah yang mirip dengan berikut:

    • Is Customer_Master used in any BigQuery views?
    • Are there any Looker dashboards downstream of Customer_Master?
    • What upstream tables of Customer_Master have 'Country' in their name?

  • Meringkas diagram silsilah. Minta ringkasan bahasa alami dari silsilah aset, bukan daftar atau jumlah tertentu. Di panel Cloud Assist, masukkan perintah yang mirip dengan berikut:

    • Give me a summary of assets that depend on Web_Session_Validated.
    • Summarize the downstream lineage of this table.
    • What is the lineage of bigquery:PROJECT_NAME.DATASET_NAME

Menganalisis tugas

Pelajari lebih lanjut tugas yang dijalankan di project Anda, termasuk histori tugas pribadi dan histori tugas project, untuk mendukung kasus penggunaan berikut:

  • Men-debug kueri yang berjalan lama. Pelajari status tugas saat ini dan alasan tugas tersebut mungkin memerlukan waktu lebih lama dari yang diharapkan, seperti pertentangan slot, jumlah baris yang dipindai dalam jumlah besar, volume data yang tinggi, dan lainnya. Di panel Cloud Assist, masukkan perintah yang mirip dengan berikut:

    Why is this job taking so long? JOB_ID

  • Menganalisis penyebab kegagalan tugas. Pelajari alasan kegagalan kueri tertentu. Di panel Cloud Assist, masukkan perintah yang mirip dengan berikut:

    Why did JOB_ID fail?

  • Menemukan kueri yang menggunakan banyak resource. Pelajari kueri termahal Anda berdasarkan perkiraan jumlah byte yang diproses. Di panel Cloud Assist, masukkan perintah yang mirip dengan berikut:

    What are the 3 most expensive queries that I ran in the last 2 days?

Mengelola BigQuery

Di penjelajah Tugas, Anda dapat melakukan chat dengan Gemini Cloud Assist untuk memantau performa, menganalisis kapasitas, dan mengoptimalkan biaya. Misalnya, Anda dapat menggunakan Gemini Cloud Assist untuk tugas berikut:

  • Menganalisis reservasi dan kapasitas. Pantau penggunaan komputasi Anda dan identifikasi hambatan menggunakan bahasa alami. Di panel Cloud Assist, Anda dapat memasukkan perintah yang mirip dengan berikut:

    • Analyze my reservation performance for the last 24 hours.
    • Show the top projects and users consuming my 'production' reservation.
    • Is my current capacity sufficient for our peak load?

  • Memantau dan membandingkan tugas. Bandingkan workload untuk memahami perubahan performa. Anda bisa mendapatkan ringkasan performa tugas yang menyoroti hambatan dan peluang pengoptimalan, atau membandingkan detail eksekusi tugas yang berbeda secara langsung untuk mengidentifikasi regresi atau peningkatan.

  • Konfigurasi pengelolaan workload. Periksa dan kelola setelan reservasi BigQuery Anda, termasuk tugas dan komitmen, menggunakan bahasa alami. Kemampuan ini memberikan visibilitas ke dalam konfigurasi penskalaan otomatis, pengelolaan slot tidak ada aktivitasnya, dan detail khusus edisi. Di panel Cloud Assist, Anda dapat memasukkan perintah yang mirip dengan berikut:

    • List my reservations with autoscale.
    • Get my assignments for PROJECT_ID.
    • What is the configuration for my reservation RESERVATION_NAME?
    • List my commitments.
    • How many reservations have ignore idle slots configured?
    • List all reservations by edition Enterprise.
    • List all current Reservations and show me the slot_capacity and autoscale_max_slots for each.

  • Identifikasi resource teratas. Identifikasi konsumen utama resource BigQuery. Asisten dapat menampilkan pengguna dan tugas teratas berdasarkan penggunaan slot dalam project atau reservasi tertentu. Bantuan ini memberikan dukungan administratif yang komprehensif di seluruh resource BigQuery penting, termasuk tugas, pengguna, project, dan reservasi. Dengan menganalisis metrik performa utama seperti penggunaan slot dan durasi tugas, asisten memberikan insight yang dapat ditindaklanjuti untuk menyederhanakan pemantauan dan mengoptimalkan alokasi resource. Di panel Cloud Assist , Anda dapat memasukkan perintah yang mirip dengan berikut:

    • What are the top users with the most slot usage in my project?
    • Show me the top jobs consuming the most slots in reservation RESERVATION_NAME in the last hour.

Mengoptimalkan kueri

Gunakan Gemini Cloud Assist untuk menganalisis kueri SQL Anda dan menerima rekomendasi untuk mengoptimalkannya. Gemini Cloud Assist menganalisis struktur kueri Anda dan menyarankan peningkatan untuk berpotensi mengurangi waktu slot kueri, jika memungkinkan. Anda dapat mengoptimalkan kueri menggunakan salah satu metode berikut:

  • Klik Optimize di editor kueri. Tombol ini hanya tersedia saat Anda menggunakan edisi BigQuery.

    1. Buka halaman BigQuery.

      Buka BigQuery

    2. Di editor kueri, masukkan kueri SQL Anda dan eksekusi.

    3. Di toolbar editor kueri, klik Optimize. Gemini Cloud Assist menganalisis kueri yang dijalankan dan menampilkan rekomendasi di panel Cloud Assist.

  • Gunakan panel Cloud Assist. Anda dapat membuka kueri di tab aktif atau menempelkan kode SQL langsung ke panel Cloud Assist dan meminta pengoptimalan. Fitur ini tersedia untuk semua pelanggan, terlepas dari apakah Anda menggunakan harga kapasitas (edisi BigQuery) atau harga sesuai penggunaan.

Langkah berikutnya