Ringkasan AI generatif
Dokumen ini menjelaskan fitur kecerdasan buatan (AI) generatif yang didukung BigQuery ML. Fitur ini memungkinkan Anda melakukan tugas AI di BigQuery ML dengan menggunakan model Vertex AI terlatih dan model BigQuery ML bawaan.
Tugas yang didukung meliputi:
- Membuat teks
- Membuat data terstruktur
- Membuat nilai jenis tertentu menurut baris
- Membuat embedding
- Perkirakan deret waktu
Anda mengakses model Vertex AI untuk menjalankan salah satu fungsi ini dengan membuat model jarak jauh di BigQuery ML yang merepresentasikan endpoint model Vertex AI. Setelah membuat model jarak jauh di atas model Vertex AI yang ingin digunakan, Anda dapat mengakses kemampuan model tersebut dengan menjalankan fungsi BigQuery ML terhadap model jarak jauh.
Dengan pendekatan ini, Anda dapat menggunakan kemampuan model Vertex AI tersebut dalam kueri SQL untuk menganalisis data BigQuery.
Alur kerja
Anda dapat menggunakan model jarak jauh melalui model Vertex AI dan model jarak jauh melalui layanan AI Cloud bersama dengan fungsi BigQuery ML untuk menyelesaikan tugas analisis data dan AI generatif yang kompleks.
Diagram berikut menunjukkan beberapa alur kerja umum tempat Anda dapat menggunakan kemampuan ini bersama-sama:
Buat teks
Pembuatan teks adalah bentuk AI generatif yang menghasilkan teks berdasarkan perintah atau analisis data. Anda dapat melakukan pembuatan teks menggunakan data teks dan multimodal.
Beberapa kasus penggunaan umum untuk pembuatan teks adalah sebagai berikut:
- Menghasilkan konten kreatif.
- Membuat kode.
- Membuat respons chat atau email.
- Berdiskusi, seperti menyarankan cara untuk produk atau layanan di masa mendatang.
- Personalisasi konten, seperti saran produk.
- Mengklasifikasikan data dengan menerapkan satu atau beberapa label ke konten untuk mengelompokkannya ke dalam kategori.
- Mengidentifikasi sentimen utama yang diungkapkan dalam konten.
- Meringkas ide atau kesan utama yang disampaikan oleh konten.
- Mengidentifikasi satu atau beberapa entity penting dalam data teks atau visual.
- Menerjemahkan konten data teks atau audio ke bahasa lain.
- Membuat teks yang cocok dengan konten verbal dalam data audio.
- Memberi teks atau melakukan Tanya Jawab pada data visual.
Pengayaan data adalah langkah selanjutnya yang umum setelah pembuatan teks, di mana Anda memperkaya
insight dari analisis awal dengan menggabungkannya dengan data tambahan. Misalnya, Anda dapat menganalisis gambar perlengkapan rumah untuk membuat teks untuk kolom design_type
, sehingga SKU perlengkapan rumah memiliki deskripsi terkait, seperti mid-century modern
atau farmhouse
.
Model yang didukung
Untuk melakukan tugas AI generatif, Anda dapat menggunakan model jarak jauh di BigQuery ML untuk merujuk ke model yang di-deploy ke atau dihosting di Vertex AI. Anda dapat membuat jenis model jarak jauh berikut:
- Model jarak jauh melalui salah satu model Gemini yang tersedia secara umum atau pratinjau.
Model jarak jauh melalui model partner berikut:
Menggunakan model pembuatan teks
Setelah membuat model jarak jauh, Anda dapat menggunakan
fungsi ML.GENERATE_TEXT
untuk berinteraksi dengan model tersebut:
Untuk model jarak jauh berdasarkan model Gemini, Anda dapat melakukan hal berikut:
Gunakan fungsi
ML.GENERATE_TEXT
untuk membuat teks dari perintah yang Anda tentukan dalam kueri atau ambil dari kolom dalam tabel standar. Saat menentukan perintah dalam kueri, Anda dapat mereferensikan jenis kolom tabel berikut dalam perintah:- kolom
STRING
untuk menyediakan data teks. - Kolom
STRUCT
yang menggunakan formatObjectRef
untuk menyediakan data tidak terstruktur. Anda harus menggunakan fungsiOBJ.GET_ACCESS_URL
dalam perintah untuk mengonversi nilaiObjectRef
menjadi nilaiObjectRefRuntime
.
- kolom
Gunakan fungsi
ML.GENERATE_TEXT
untuk menganalisis konten teks, gambar, audio, video, atau PDF dari tabel objek dengan perintah yang Anda berikan sebagai argumen fungsi.
Untuk semua jenis model jarak jauh lainnya, Anda dapat menggunakan fungsi
ML.GENERATE_TEXT
dengan perintah yang Anda berikan dalam kueri atau dari kolom dalam tabel standar.
Gunakan topik berikut untuk mencoba pembuatan teks di BigQuery ML:
- Membuat teks menggunakan model Gemini dan fungsi
ML.GENERATE_TEXT
. - Buat teks menggunakan model Gemma dan fungsi
ML.GENERATE_TEXT
. - Menganalisis gambar dengan model Gemini.
- Buat teks menggunakan fungsi
ML.GENERATE_TEXT
dengan data Anda. - Menyesuaikan model menggunakan data Anda.
Atribut perujukan dan keselamatan
Anda dapat menggunakan
perujukan
dan
atribut keamanan
saat menggunakan model Gemini dengan fungsi ML.GENERATE_TEXT
,
asalkan Anda menggunakan tabel standar untuk input. Dengan perujukan, model Gemini dapat menggunakan informasi tambahan dari internet untuk menghasilkan respons yang lebih spesifik dan faktual. Atribut keamanan memungkinkan model Gemini memfilter respons yang ditampilkan berdasarkan atribut yang Anda tentukan.
Penyesuaian yang diawasi
Saat membuat model jarak jauh yang mereferensikan salah satu model berikut, Anda dapat memilih untuk mengonfigurasi penyesuaian yang diawasi secara bersamaan:
gemini-2.0-flash-001
gemini-2.0-flash-lite-001
gemini-1.5-pro-002
gemini-1.5-flash-002
Semua inferensi terjadi di Vertex AI. Hasilnya disimpan di BigQuery.
Throughput yang Disediakan Vertex AI
Untuk
model Gemini yang didukung,
Anda dapat menggunakan
Throughput yang Disediakan Vertex AI
dengan fungsi ML.GENERATE_TEXT
untuk memberikan throughput tinggi yang konsisten untuk
permintaan. Untuk mengetahui informasi selengkapnya, lihat
Menggunakan Throughput yang Disediakan Vertex AI.
Membuat data terstruktur
Pembuatan data terstruktur sangat mirip dengan pembuatan teks, kecuali Anda juga dapat memformat respons dari model dengan menentukan skema SQL.
Untuk membuat data terstruktur, buat model jarak jauh di salah satu model Gemini yang tersedia secara umum atau pratinjau. Kemudian, Anda dapat menggunakan
fungsi AI.GENERATE_TABLE
untuk berinteraksi dengan model tersebut. Untuk mencoba membuat data terstruktur, lihat
Membuat data terstruktur menggunakan fungsi AI.GENERATE_TABLE
.
Anda dapat menentukan
atribut keamanan
saat menggunakan model Gemini dengan fungsi AI.GENERATE_TABLE
untuk memfilter respons model.
Membuat nilai jenis tertentu menurut baris
Anda dapat menggunakan fungsi AI generatif skalar dengan model Gemini untuk menganalisis data dalam tabel standar BigQuery. Data mencakup data teks dan data tidak terstruktur dari kolom yang berisi nilai ObjectRef
.
Untuk setiap baris dalam tabel, fungsi ini menghasilkan output yang berisi jenis tertentu.
Fungsi AI berikut tersedia:
AI.GENERATE
, yang menghasilkan nilaiSTRING
AI.GENERATE_BOOL
AI.GENERATE_DOUBLE
AI.GENERATE_INT
Saat menggunakan fungsi AI.GENERATE
dengan
model Gemini yang didukung,
Anda dapat menggunakan
Throughput yang Disediakan Vertex AI
untuk memberikan throughput tinggi yang konsisten untuk permintaan. Untuk mengetahui informasi selengkapnya, lihat
Menggunakan Throughput yang Disediakan Vertex AI.
Membuat embedding
Embedding adalah vektor numerik berdimensi tinggi yang merepresentasikan entitas tertentu, seperti sepotong teks atau file audio. Membuat sematan memungkinkan Anda mencatat semantik data dengan cara yang mempermudah penalaran dan perbandingan data.
Beberapa kasus penggunaan umum untuk pembuatan embedding adalah sebagai berikut:
- Menggunakan retrieval-augmented generation (RAG) untuk meningkatkan respons model terhadap kueri pengguna dengan merujuk data tambahan dari sumber tepercaya. RAG memberikan akurasi faktual dan konsistensi respons yang lebih baik, serta memberikan akses ke data yang lebih baru daripada data pelatihan model.
- Melakukan penelusuran multimodal. Misalnya, menggunakan input teks untuk menelusuri gambar.
- Melakukan penelusuran semantik untuk menemukan item serupa untuk rekomendasi, penggantian, dan penghapusan duplikat data.
- Membuat embedding untuk digunakan dengan model k-means untuk pengelompokan.
Model yang didukung
Model berikut didukung:
- Untuk membuat embedding teks, Anda dapat menggunakan model
text-embedding
dantext-multilingual-embedding
Vertex AI. - Untuk membuat embedding multimodal, yang dapat menyematkan teks, gambar, dan video ke dalam ruang semantik yang sama, Anda dapat menggunakan model
multimodalembedding
Vertex AI. - Untuk membuat embedding untuk data terstruktur variabel acak yang terdistribusi secara independen dan identik (IID), Anda dapat menggunakan model Analisis komponen utama (PCA) BigQuery ML atau model Autoencoder.
- Untuk membuat penyematan data pengguna atau item, Anda dapat menggunakan model BigQuery ML Faktorisasi matriks.
Untuk penyematan teks yang lebih kecil dan ringan, coba gunakan model TensorFlow yang telah dilatih sebelumnya, seperti NNLM, SWIVEL, atau BERT.
Menggunakan model pembuatan embedding
Setelah membuat model, Anda dapat menggunakan
fungsi ML.GENERATE_EMBEDDING
untuk berinteraksi dengannya. Untuk semua jenis model yang didukung, ML.GENERATE_EMBEDDING
berfungsi dengan data terstruktur dalam
tabel standar. Untuk model penyematan multimodal, ML.GENERATE_EMBEDDING
juga berfungsi dengan konten visual dari kolom tabel standar yang berisi nilai ObjectRef
, atau dari tabel objek.
Untuk model jarak jauh, semua inferensi terjadi di Vertex AI. Untuk jenis model lainnya, semua inferensi terjadi di BigQuery. Hasilnya disimpan di BigQuery.
Gunakan topik berikut untuk mencoba pembuatan teks di BigQuery ML:
- Membuat embedding teks menggunakan fungsi
ML.GENERATE_EMBEDDING
- Buat embedding gambar menggunakan fungsi
ML.GENERATE_EMBEDDING
- Membuat embedding video menggunakan fungsi
ML.GENERATE_EMBEDDING
- Membuat dan menelusuri embedding multimodal
- Melakukan penelusuran semantik dan retrieval-augmented generation
Perkiraan
Perkiraan adalah teknik yang memungkinkan Anda
menganalisis data deret waktu historis untuk membuat prediksi yang tepat
tentang tren mendatang. Anda dapat menggunakan model deret waktu TimesFM bawaan BigQuery ML
(Pratinjau) untuk melakukan perkiraan tanpa
harus membuat model sendiri. Model TimesFM bawaan berfungsi dengan
fungsi AI.FORECAST
untuk membuat perkiraan berdasarkan data Anda.
Lokasi
Lokasi yang didukung untuk model pembuatan dan penyematan teks bervariasi berdasarkan jenis dan versi model yang Anda gunakan. Untuk mengetahui informasi selengkapnya, lihat Lokasi. Tidak seperti model AI generatif lainnya, dukungan lokasi tidak berlaku untuk model deret waktu TimesFM bawaan. Model TimesFM tersedia di semua region yang didukung BigQuery.
Harga
Anda akan dikenai biaya untuk resource komputasi yang Anda gunakan untuk menjalankan kueri terhadap model. Model jarak jauh melakukan panggilan ke model Vertex AI, sehingga kueri terhadap model jarak jauh juga dikenai biaya dari Vertex AI.
Untuk mengetahui informasi selengkapnya, lihat Harga BigQuery ML.
Langkah berikutnya
- Untuk pengantar AI dan ML di BigQuery, lihat Pengantar AI dan ML di BigQuery.
- Untuk mengetahui informasi selengkapnya tentang melakukan inferensi pada model machine learning, lihat Ringkasan inferensi model.