Menjelajahi hasil kueri di notebook

Anda dapat menjelajahi hasil kueri menggunakan sel SQL atau sel kode di notebook BigQuery Colab Enterprise.

Dalam tutorial ini, Anda akan mengkueri data dari set data publik BigQuery dan menjelajahi hasil kueri di notebook.

Tujuan

  • Membuat dan menjalankan kueri di BigQuery.
  • Menjelajahi hasil kueri di notebook menggunakan sel SQL dan sel kode.

Biaya

Tutorial ini menggunakan set data yang tersedia melalui Cloud de Confiance by S3NS Program Set Data Publik. Google membayar penyimpanan set data ini dan memberikan akses publik ke data tersebut. Anda akan dikenai biaya untuk kueri yang Anda lakukan pada data. Untuk informasi selengkapnya, lihat harga BigQuery.

Sebelum memulai

  1. Di konsol Cloud de Confiance , pada halaman pemilih project, pilih atau buat project Cloud de Confiance .

    Peran yang diperlukan untuk memilih atau membuat project

    • Memilih project: Memilih project tidak memerlukan peran IAM tertentu—Anda dapat memilih project apa pun yang perannya telah diberikan kepada Anda.
    • Membuat project: Untuk membuat project, Anda memerlukan peran Project Creator (roles/resourcemanager.projectCreator), yang berisi izin resourcemanager.projects.create. Pelajari cara memberikan peran.

    Buka pemilih project

  2. Pastikan penagihan diaktifkan untuk project Cloud de Confiance Anda.

  3. Aktifkan BigQuery API, jika belum diaktifkan.

    Peran yang diperlukan untuk mengaktifkan API

    Untuk mengaktifkan API, Anda memerlukan izin serviceusage.services.enable. Jika Anda membuat project, kemungkinan Anda sudah memiliki izin ini melalui peran Pemilik (roles/owner). Jika tidak, Anda bisa mendapatkan izin ini melalui peran Service Usage Admin (roles/serviceusage.serviceUsageAdmin). Pelajari cara memberikan peran.

    Mengaktifkan API

    Untuk project baru, BigQuery diaktifkan secara otomatis.

Menetapkan region default untuk aset kode

Semua aset kode baru di project Cloud de Confiance Anda menggunakan region default. Setelah aset dibuat, Anda tidak dapat mengubah regionnya.

Untuk menetapkan region default bagi aset kode baru, lakukan hal berikut:

  1. Buka halaman BigQuery.

    Buka BigQuery

  2. Di panel kiri, klik Files untuk membuka file browser:

    Klik **Files** untuk membuka file browser.

  3. Di samping nama project, klik View files panel actions > Switch code region.

  4. Pilih wilayah kode yang ingin Anda gunakan sebagai default.

  5. Klik Simpan.

Untuk mengetahui daftar region yang didukung, lihat Lokasi BigQuery Studio.

Izin yang diperlukan

Untuk membuat dan menjalankan notebook, Anda memerlukan peran Identity and Access Management (IAM) berikut:

Membuka hasil kueri di notebook

Anda dapat menjalankan kueri SQL, lalu menggunakan notebook untuk menjelajahi data. Pendekatan ini berguna jika Anda ingin mengubah data di BigQuery sebelum menanganinya, atau jika Anda hanya memerlukan subset kolom dalam tabel.

  1. Di konsol Cloud de Confiance , buka halaman BigQuery.

    Buka BigQuery

  2. Di panel kiri, klik Explorer.

  3. Buka project bigquery-public-data, klik Toggle node untuk meluaskannya, lalu klik Datasets. Tab baru akan terbuka di panel detail yang menampilkan daftar semua set data dalam project.

  4. Di kotak Filter , pilih Dataset ID dan masukkan ml_datasets.

    Kolom Filter di halaman Set data

  5. Di halaman Datasets, klik ml_datasets > penguins.

  6. Klik Query.

  7. Tambahkan tanda bintang (*) untuk pemilihan kolom ke kueri yang dihasilkan, sehingga terlihat seperti contoh berikut:

    SELECT * FROM `bigquery-public-data.ml_datasets.penguins` LIMIT 1000;

  8. Klik Run.

  9. Di bagian Query results, klik Open in, lalu klik Notebook.

Menyiapkan notebook untuk digunakan

Siapkan notebook untuk digunakan dengan menghubungkan ke runtime dan menetapkan nilai default aplikasi.

  1. Di header notebook, klik Connect untuk terhubung ke runtime default.

  2. Di blok kode Setup, klik Run cell.

Menjelajahi data

  1. Klik Insert code cell options > Add SQL cell.

    Opsi Add SQL cell di menu Insert code cell

  2. Masukkan kueri berikut di sel SQL:

    SELECT * FROM `bigquery-public-data.ml_datasets.penguins` LIMIT 1000;

  3. Klik Run cell.

    Hasil kueri ditampilkan dalam DataFrame BigQuery.

  4. Atau, untuk memuat hasil kueri ke dalam DataFrame BigQuery menggunakan tugas kueri yang sebelumnya Anda jalankan di editor kueri, ikuti langkah-langkah berikut:

    1. Buka bagian Result set loaded from BigQuery job as a DataFrame.

    2. Di blok kode, klik Run cell.

      Hasil kueri ditampilkan dalam BigQuery DataFrame.

  5. Untuk mendapatkan metrik deskriptif untuk data, ikuti langkah-langkah berikut:

    1. Buka bagian Show descriptive statistics using describe().

    2. Di blok kode, klik Run cell.

      Hasilnya ditampilkan dalam BigQuery DataFrame.

  6. Opsional: Gunakan fungsi atau paket Python lainnya untuk mengeksplorasi dan menganalisis data.

Contoh berikut menggunakan bigframes.pandas untuk menganalisis data, dan bigframes.ml untuk membuat model regresi linear dari data penguins di BigQuery DataFrame. Contoh ini menghitung skor R2 model dan menampilkannya sebagai tabel metrik statistik. Tindakan ini tidak akan membuat diagram.

import bigframes.pandas as bpd

# Load data from BigQuery
query_or_table = "bigquery-public-data.ml_datasets.penguins"
bq_df = bpd.read_gbq(query_or_table)

# Inspect one of the columns (or series) of the DataFrame:
bq_df["body_mass_g"]

# Compute the mean of this series:
average_body_mass = bq_df["body_mass_g"].mean()
print(f"average_body_mass: {average_body_mass}")

# Find the heaviest species using the groupby operation to calculate the
# mean body_mass_g:
(
    bq_df["body_mass_g"]
    .groupby(by=bq_df["species"])
    .mean()
    .sort_values(ascending=False)
    .head(10)
)

# Create the Linear Regression model
from bigframes.ml.linear_model import LinearRegression

# Filter down to the data we want to analyze
adelie_data = bq_df[bq_df.species == "Adelie Penguin (Pygoscelis adeliae)"]

# Drop the columns we don't care about
adelie_data = adelie_data.drop(columns=["species"])

# Drop rows with nulls to get our training data
training_data = adelie_data.dropna()

# Pick feature columns and label column
X = training_data[
    [
        "island",
        "culmen_length_mm",
        "culmen_depth_mm",
        "flipper_length_mm",
        "sex",
    ]
]
y = training_data[["body_mass_g"]]

model = LinearRegression(fit_intercept=False)
model.fit(X, y)
model.score(X, y)

Pembersihan

Agar tidak perlu membayar biaya pada akun Google Cloud Anda untuk resource yang digunakan dalam tutorial ini, hapus project yang berisi resource tersebut, atau simpan project dan hapus setiap resource.

Cara termudah untuk menghilangkan penagihan adalah dengan menghapus project Cloud de Confiance yang Anda buat untuk tutorial ini.

  1. Di konsol Cloud de Confiance , buka halaman Manage resources.

    Buka Kelola resource

  2. Pada daftar project, pilih project yang ingin Anda hapus, lalu klik Delete.
  3. Pada dialog, ketik project ID, lalu klik Shut down untuk menghapus project.

Langkah berikutnya