Beberapa model AI generatif, seperti Gemini, memiliki API terkelola dan siap menerima perintah tanpa deployment. Untuk mengetahui daftar model, lihat Model Google.
Model AI generatif lainnya harus di-deploy ke endpoint sebelum siap menerima perintah. Ada dua jenis model generatif yang harus di-deploy:
Model yang disesuaikan, yang Anda buat dengan menyesuaikan model dasar yang didukung menggunakan data Anda sendiri.
Model generatif yang tidak memiliki API terkelola. Di Model Garden, model ini tidak diberi label sebagai API available atau Agent Platform Studio—misalnya, Llama 2.
Saat Anda men-deploy model ke endpoint, Gemini Enterprise Agent Platform mengaitkan resource komputasi dan URI dengan model tersebut sehingga dapat menyajikan permintaan perintah.
Men-deploy model yang telah disesuaikan
Model yang telah disesuaikan akan otomatis diupload ke
Model Registry Gemini Enterprise Agent Platform
dan di-deploy ke endpoint
publik bersama Agent Platform. Model yang disesuaikan tidak muncul di Model Garden karena disesuaikan dengan data Anda.
Untuk mengetahui informasi selengkapnya, lihat
Ringkasan penyesuaian model.
Setelah aktif, endpoint siap menerima permintaan perintah di URI-nya. Format panggilan API untuk model yang disesuaikan sama dengan model dasar tempat model tersebut disesuaikan. Misalnya, jika model Anda disesuaikan di Gemini, permintaan perintah Anda harus mengikuti Gemini API.
Pastikan Anda mengirim permintaan perintah ke endpoint model yang telah disesuaikan, bukan ke API terkelola. Endpoint model yang telah disesuaikan menggunakan format:
https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/endpoints/ENDPOINT_ID
Untuk mendapatkan ID endpoint, lihat Melihat atau mengelola endpoint.
Men-deploy model generatif yang tidak memiliki API terkelola
Untuk menggunakan model dari Model Garden yang tidak memiliki API terkelola, Anda harus mengupload model tersebut ke Model Registry dan men-deploy-nya ke endpoint sebelum dapat mengirim permintaan perintah. Hal ini mirip dengan mengupload dan men-deploy model yang dilatih khusus untuk prediksi online di Agent Platform.
Untuk men-deploy salah satu model ini, buka Model Garden dan pilih model yang ingin Anda deploy.
Setiap kartu model menampilkan satu atau beberapa opsi deployment berikut:
Tombol Deploy: Sebagian besar model generatif di Model Garden memiliki tombol Deploy yang memandu Anda melakukan deployment ke Agent Platform. Jika Anda tidak melihat tombol Deploy, buka poin berikutnya.
Untuk deployment di Agent Platform, Anda dapat menggunakan setelan yang disarankan atau mengubahnya. Anda juga dapat menetapkan setelan deployment Advanced untuk, misalnya, memilih pemesanan Compute Engine.
Tombol Open Notebook: Opsi ini akan membuka notebook Jupyter. Setiap kartu model menampilkan opsi ini. Notebook Jupyter menyertakan petunjuk dan kode contoh untuk mengupload model ke Model Registry, men-deploy model ke endpoint, dan mengirim permintaan perintah.
Setelah deployment selesai dan endpoint aktif, endpoint siap menerima permintaan perintah di URI-nya. Format API adalah
predict dan format
setiap instance
dalam isi permintaan bergantung pada model. Untuk informasi selengkapnya, lihat referensi berikut:
Pastikan Anda memiliki kuota mesin yang cukup untuk men-deploy model. Untuk melihat kuota saat ini atau meminta lebih banyak kuota, di konsol Cloud de Confiance , buka halaman Quotas.
Kemudian, filter menurut nama kuota Custom Model Serving untuk melihat kuota prediksi online. Untuk mempelajari lebih lanjut, baca Melihat dan mengelola kuota.
Memastikan kapasitas untuk model yang di-deploy dengan pemesanan Compute Engine
Anda dapat men-deploy model Model Garden di resource VM yang telah dialokasikan melalui pemesanan Compute Engine. Pemesanan membantu memastikan bahwa kapasitas tersedia saat permintaan prediksi model Anda membutuhkannya. Untuk mengetahui informasi selengkapnya, lihat Menggunakan pemesanan dengan prediksi.
Melihat atau mengelola model
Untuk model yang telah disesuaikan, Anda dapat melihat model dan tugas penyesuaiannya di halaman Tune and Distill di konsol Cloud de Confiance .
Anda juga dapat melihat dan mengelola semua model yang diupload di Model Registry.
Di Model Registry, model yang disesuaikan dikategorikan sebagai Model Besar, dan memiliki label yang menentukan model dasar dan pipeline atau tugas penyesuaian yang digunakan untuk penyesuaian.
Model yang di-deploy dengan tombol Deploy akan menunjukkan Model Garden
sebagai Source-nya.
Perhatikan bahwa, jika model diupdate di Model Garden, model yang Anda upload di Model Registry tidak akan diupdate.
Untuk mengetahui informasi selengkapnya, lihat Pengantar Model Registry Gemini Enterprise Agent Platform.
Melihat atau mengelola endpoint
Untuk melihat dan mengelola endpoint Anda, buka halaman Prediksi online Agent Platform. Secara default, nama endpoint sama dengan nama model.
Untuk mengetahui informasi selengkapnya, lihat Men-deploy model ke endpoint.
Memantau traffic endpoint model
Untuk mempelajari cara memantau traffic endpoint model, lihat Memantau model.
Batasan
- Model Gemini yang telah disesuaikan hanya dapat di-deploy ke endpoint publik bersama. Deployment ke endpoint publik khusus, endpoint Private Service Connect, dan endpoint pribadi tidak didukung.
Harga
Untuk model yang disesuaikan, Anda akan ditagih per token dengan tarif yang sama seperti model dasar yang digunakan untuk menyesuaikan model Anda. Tidak ada biaya untuk endpoint karena penyesuaian diterapkan sebagai adaptor kecil di atas model dasar.
Untuk model tanpa API terkelola, Anda akan ditagih untuk jam mesin yang digunakan oleh endpoint Anda dengan tarif yang sama seperti prediksi online Agent Platform. Anda tidak akan ditagih per token. Untuk mengetahui informasi selengkapnya, lihat harga untuk prediksi di Agent Platform.