Membuat dan menjalankan notebook menggunakan galeri notebook
Mulai analisis data menggunakan galeri notebook di BigQuery Studio.
Sebelum memulai
-
In the Cloud de Confiance console, on the project selector page, select or create a Cloud de Confiance project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.
-
Aktifkan BigQuery API.
Peran yang diperlukan untuk mengaktifkan API
Untuk mengaktifkan API, Anda memerlukan peran IAM Service Usage Admin (
roles/serviceusage.serviceUsageAdmin), yang berisi izinserviceusage.services.enable. Pelajari cara memberikan peran.Untuk project baru, BigQuery API diaktifkan secara otomatis.
- Opsional: Aktifkan penagihan untuk project. Jika Anda tidak ingin mengaktifkan penagihan atau memberikan kartu kredit, langkah-langkah dalam dokumen ini tetap berfungsi. BigQuery menyediakan sandbox untuk melakukan langkah-langkah tersebut. Untuk mengetahui informasi selengkapnya, lihat Mengaktifkan sandbox BigQuery.
Peran yang diperlukan
Untuk mendapatkan izin yang Anda perlukan untuk membuat notebook yang dapat dijalankan, minta administrator Anda untuk memberi Anda peran IAM berikut di project Anda:
- BigQuery Read Session User (
roles/bigquery.readSessionUser) - BigQuery Studio User (
roles/bigquery.studioUser)
Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.
Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.
Jika Anda baru menggunakan notebook di BigQuery, lihat izin yang diperlukan di halaman Membuat notebook.
Galeri notebook
Galeri notebook adalah hub pusat untuk menemukan dan menggunakan template notebook bawaan. Template ini memungkinkan Anda melakukan tugas umum seperti persiapan data, analisis data, dan visualisasi. Template notebook juga membantu Anda menjelajahi fitur BigQuery Studio, mengelola alur kerja, dan meningkatkan praktik terbaik.
Anda dapat menggunakan template galeri notebook untuk menyederhanakan seluruh alur kerja niat-ke-insight di setiap tahap siklus proses data—mulai dari penyerapan dan eksplorasi hingga analisis lanjutan dan BigQuery ML.
Galeri notebook menyediakan template untuk setiap tingkat keahlian. Galeri ini mencakup template dasar untuk SQL, Python, Apache Spark, dan DataFrame. Anda juga dapat menjelajahi topik seperti AI generatif dan analisis data multimodal di BigQuery.
Untuk mengetahui informasi selengkapnya tentang penggunaan template galeri notebook, lihat Membuat notebook menggunakan galeri notebook.
Membuat notebook dari template galeri notebook
Contoh berikut menggunakan template Pengantar notebook di BigQuery Studio. Notebook ini menunjukkan cara melakukan tugas berikut:
- Membuat kueri data: Menjalankan kueri menggunakan sel SQL.
- Memvisualisasikan hasil kueri: Membuat visualisasi tanpa kode menggunakan sel Visualisasi.
- Membersihkan dan mengubah data: Mengurutkan, menghapus duplikat, dan memfilter data menggunakan BigQuery DataFrames (pandas) API.
- Menjalankan prediksi AI: Membuat prediksi menggunakan
(
AI.FORECASTfungsi) di BigQuery DataFrames. FungsiAI.FORECASTmenggunakan model dasar TimesFM untuk membuat prediksi langsung dari set data tanpa memerlukan pelatihan model. - Membuat plot data: Membuat plot data menggunakan library visualisasi bawaan Python. Anda membuat plot data menggunakan library visualisasi BigQuery DataFrames, yang didukung oleh Matplotlib dan Pandas.
Untuk menggunakan notebook, Anda membuka template, mengonversinya menjadi notebook yang dapat dijalankan, menghubungkan ke lingkungan runtime notebook, lalu menjalankan notebook.
Membuka template dan mengonversinya menjadi notebook yang dapat dijalankan
Sebelum dapat menggunakan notebook yang dibuat dari template galeri notebook, Anda harus mengonversi template menjadi notebook yang dapat dijalankan.
Untuk membuka template Pengantar notebook di BigQuery Studio di galeri notebook, dan mengonversinya menjadi notebook yang dapat dijalankan, ikuti langkah-langkah berikut:
Buka halaman Studio.
Klik drop-down arrow , lalu pilih Notebook > Semua template.
Atau, dari halaman beranda BigQuery Studio, klik Lihat galeri notebook.
Klik kartu Pengantar notebook di BigQuery Studio atau telusuri di galeri.
Setelah template terbuka, klik Gunakan template ini untuk mengonversi template menjadi notebook yang dapat dijalankan.
Menghubungkan ke runtime default
Sebelum dapat menjalankan notebook, Anda harus menghubungkannya ke runtime Gemini Enterprise Agent Platform. Runtime adalah resource komputasi yang menjalankan kode di notebook Anda. Runtime harus berada di region yang sama dengan notebook Anda.
Untuk mengetahui informasi selengkapnya tentang runtime, lihat Runtime dan template runtime. Untuk mengetahui informasi selengkapnya tentang cara mengonfigurasi setelan regional, lihat Menetapkan region default untuk aset kode aset.
Dalam tutorial ini, Anda menggunakan runtime default. Runtime default adalah runtime preset yang memerlukan penyiapan minimal. Untuk terhubung ke runtime default, ikuti langkah-langkah berikut:
Dengan notebook terbuka, klik Connect.
Mungkin perlu waktu beberapa menit untuk terhubung ke runtime default jika Anda belum memiliki runtime aktif.
Saat runtime siap, Anda akan melihat tanda centang dengan grafik RAM dan disk ditampilkan. Jika Anda mengarahkan kursor ke grafik, Anda akan melihat jenis runtime dan konfigurasi runtime.
Menjalankan notebook
Pengantar notebook di BigQuery Studio berisi sel teks, SQL, visualisasi, dan kode sel. Sel selain sel teks dapat dijalankan satu per satu, atau Anda dapat menjalankan semua sel secara berurutan dari yang pertama hingga yang terakhir.
Dalam tutorial ini, Anda menjalankan sel di notebook satu per satu sehingga dapat melihat hasilnya secara bertahap. Untuk menjalankan notebook:
Di bagian Query your data using SQL cells, arahkan kursor ke sel SQL, lalu klik Run cell.
Sel SQL ini membuat kueri tabel
bigquery-public-data.epa_historical_air_quality.pm25_frm_daily_summarydi set data publik Historical Air Quality dan menampilkan rata-rata harian PM2.5 (metrik kualitas udara umum) untuk San Francisco selama beberapa tahun terakhir.Lihat hasilnya. Hasil kueri ditampilkan dalam DataFrame.
Di bagian Visualize data, arahkan kursor ke sel visualisasi, dan lalu klik Run cell.
Lihat visualisasi yang dihasilkan.
Hasilnya menampilkan diagram deret waktu yang memplot nilai PM2.5 rata-rata harian dalam DataFrame
dfyang Anda buat sebelumnya. Diagram ini menunjukkan tren tingkat PM2.5 dari waktu ke waktu.Di bagian Clean the data, arahkan kursor ke sel kode, lalu klik Run cell.
Lihat hasilnya. Hasilnya ditampilkan dalam DataFrame.
Kode ini melakukan hal berikut:
- Mengimpor library
bigframes.pandas. - Memastikan kolom
date_localadalah stempel waktu. - Mengurutkan hasil berdasarkan tanggal, yang diperlukan untuk perkiraan.
- Menghapus baris duplikat.
- Menghapus baris dengan
avg_pm25adalahnull. - Memfilter outlier.
- Menampilkan hasil dalam BigQuery DataFrames bernama
df_cleaned.
- Mengimpor library
Di bagian Predict values using
AI.FORECAST, arahkan kursor ke sel SQL, lalu klik Run cell.Lihat hasilnya. Hasil kueri ditampilkan dalam DataFrame.
Sel SQL ini menjalankan kueri yang menggunakan fungsi
AI.FORECASTuntuk memperkirakan PM2.5 rata-rata harian di masa mendatang menggunakan DataFramedf_cleanedyang Anda buat sebelumnya.Di bagian Visualize data using Python, arahkan kursor ke sel kode, lalu klik Run cell.
Lihat hasilnya. Hasilnya ditampilkan dalam diagram.
Kode Python ini melakukan hal berikut:
- Mengimpor modul
datetime. - Membuat plot data historis terlebih dahulu dan mendapatkan sumbu.
- Membuat plot data yang diperkirakan pada sumbu yang sama.
- Membuat plot interval keyakinan.
Visualisasi ini menyerupai plot Python standar, tetapi
df_cleaned.plotadalah perintah BigQuery DataFrames. Perintah ini hanya mengambil data yang diperlukan (sampel) untuk merender diagram, bukan seluruh set data.- Mengimpor modul
Pembersihan
Agar akunAnda tidak dikenai biaya untuk resource yang digunakan pada halaman ini, ikuti langkah-langkah berikut. Cloud de Confiance
- Di Cloud de Confiance konsol, buka halaman Manage resources.
- Pada daftar project, pilih project yang Anda ingin Anda hapus, lalu klik Delete.
- Pada dialog, ketik project ID, lalu klik Shut down untuk menghapus project.
Atau, untuk mempertahankan project dan menghapus resource yang digunakan dalam tutorial ini, ikuti langkah-langkah berikut:
Buka halaman Studio.
Di panel kiri, luaskan project Anda, lalu klik Notebooks.
Untuk notebook yang Anda hapus, klik Open actions > Delete.
Di dialog Delete notbook, klik Delete untuk mengonfirmasi.
Langkah berikutnya
Untuk menjalankan template notebook contoh lainnya di galeri notebook, lihat:Untuk mempelajari DataFrame lebih lanjut, lihat:
Untuk mempelajari fungsi AI generatif dan ML di BigQuery lebih lanjut, lihat Ringkasan AI Generatif.