Membuat embedding teks menggunakan model terbuka dan fungsi AI.GENERATE_EMBEDDING

Tutorial ini menunjukkan cara membuat model jarak jauh yang didasarkan pada model embedding teks open source Qwen3-Embedding-0.6B, lalu cara menggunakan model tersebut dengan AI.GENERATE_EMBEDDING fungsi untuk menyematkan ulasan film dari tabel publik bigquery-public-data.imdb.reviews.

Izin yang diperlukan

Untuk menjalankan tutorial ini, Anda memerlukan peran Identity and Access Management (IAM) berikut:

• Membuat dan menggunakan set data, koneksi, dan model BigQuery: BigQuery Admin (roles/bigquery.admin).
• Memberikan izin ke akun layanan koneksi: Project IAM Admin (roles/resourcemanager.projectIamAdmin).
• Men-deploy dan membatalkan deployment model di Gemini Enterprise Agent Platform: Agent Platform Administrator (roles/aiplatform.admin).

Peran yang telah ditetapkan ini berisi izin yang diperlukan untuk melakukan tugas dalam dokumen ini. Untuk melihat izin yang benar-benar diperlukan, luaskan bagian Izin yang diperlukan:

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Biaya

Dalam dokumen ini, Anda akan menggunakan komponen yang dapat ditagih berikut Cloud de Confiance by S3NS:

• BigQuery ML: You incur costs for the data that you process in BigQuery.
• Gemini Enterprise Agent Platform: You incur costs for calls to the Agent Platform model that's represented by the remote model.

Untuk mengetahui informasi selengkapnya tentang harga BigQuery, lihat harga BigQuery dalam dokumentasi BigQuery.

Model terbuka yang Anda deploy ke Agent Platform dikenai biaya per jam mesin. Artinya, penagihan dimulai segera setelah endpoint disiapkan sepenuhnya, dan berlanjut hingga Anda membatalkan deployment-nya. Untuk mengetahui informasi selengkapnya tentang harga Agent Platform, lihat halaman harga Agent Platform.

Sebelum memulai

1. Di Cloud de Confiance konsol, pada halaman pemilih project, pilih atau buat Cloud de Confiance project.

   Peran yang diperlukan untuk memilih atau membuat project

   • Memilih project: Memilih project tidak memerlukan peran IAM tertentu Anda dapat memilih project mana pun yang telah diberi peran.
   • Membuat project: Untuk membuat project, Anda memerlukan peran Project Creator (roles/resourcemanager.projectCreator), yang berisi izin resourcemanager.projects.create. Pelajari cara memberikan peran.

   Buka pemilih project

2. Pastikan penagihan diaktifkan untuk Cloud de Confiance project Anda.

3. Aktifkan BigQuery, BigQuery Connection, dan Agent Platform API.

   Peran yang diperlukan untuk mengaktifkan API

   Untuk mengaktifkan API, Anda memerlukan izin serviceusage.services.enable. Jika Anda membuat project, kemungkinan Anda sudah memiliki izin ini melalui peran Pemilik (roles/owner). Jika tidak, Anda bisa mendapatkan izin ini melalui peran Service Usage Admin (roles/serviceusage.serviceUsageAdmin). Pelajari cara memberikan peran.

   Aktifkan API

Membuat set data

Untuk membuat set data BigQuery, pilih salah satu opsi berikut:

{
  "datasetReference": {
     "datasetId": "bqml_tutorial"
  }
}

Membuat model jarak jauh

Buat model jarak jauh yang merepresentasikan model Agent Platform yang dihosting:

1. Di Cloud de Confiance konsol, buka halaman BigQuery.

   Buka BigQuery

2. Di editor kueri, jalankan pernyataan berikut:

CREATE OR REPLACE MODEL `bqml_tutorial.qwen3_embedding_model`
  REMOTE WITH CONNECTION DEFAULT
  OPTIONS (
    HUGGING_FACE_MODEL_ID = 'Qwen/Qwen3-Embedding-0.6B'
);

Kueri memerlukan waktu hingga 20 menit untuk diselesaikan, setelah itu model qwen3_embedding_model akan muncul di set data bqml_tutorial di panel Explorer. Karena kueri menggunakan pernyataan CREATE MODEL untuk membuat model, tidak akan ada hasil kueri.

Melakukan embedding teks

Lakukan embedding teks pada IMDB ulasan film dengan menggunakan model jarak jauh dan fungsi AI.GENERATE_EMBEDDING:

1. Di Cloud de Confiance konsol, buka halaman BigQuery.

   Buka BigQuery

2. Di editor kueri, masukkan pernyataan berikut untuk melakukan embedding teks pada lima ulasan film:

   SELECT
     *
   FROM
     AI.GENERATE_EMBEDDING(
       MODEL `bqml_tutorial.qwen3_embedding_model`,
       (
         SELECT
           review AS content,
           *
         FROM
           `bigquery-public-data.imdb.reviews`
         LIMIT 5
       )
     );

   Hasilnya mencakup kolom berikut:

   • embedding: array ganda untuk merepresentasikan embedding yang dihasilkan.
   • status: status respons API untuk baris yang sesuai. Jika operasi berhasil, nilai ini akan kosong.
   • content: teks input yang akan diekstrak embedding-nya.
   • Semua kolom dari tabel bigquery-public-data.imdb.reviews.

Membatalkan deployment model

Jika Anda memilih untuk tidak menghapus project seperti yang direkomendasikan, Anda harus membatalkan deployment model embedding Qwen3 di Agent Platform untuk menghindari penagihan yang berkelanjutan. BigQuery secara otomatis membatalkan deployment model setelah periode tidak aktif tertentu (6,5 jam secara default). Atau, Anda dapat segera membatalkan deployment model menggunakan pernyataan ALTER MODEL, seperti yang ditunjukkan dalam contoh berikut:

ALTER MODEL `bqml_tutorial.qwen3_embedding_model`
SET OPTIONS (deploy_model = false);

Untuk mengetahui informasi selengkapnya, lihat Pembatalan deployment model terbuka otomatis atau segera.

Pembersihan

1. Di Cloud de Confiance konsol, buka halaman Manage resources.

   Buka Kelola resource

2. Pada daftar project, pilih project yang Anda ingin Anda hapus, lalu klik Delete.
3. Dalam dialog, ketik project ID, lalu klik Shut down untuk menghapus project.

Langkah berikutnya

• Pelajari cara menggunakan embedding teks untuk penelusuran semantik dan Retrieval-Augmented Generation (RAG).