Model Llama yang terkelola sepenuhnya


Model Llama tersedia untuk digunakan sebagai API terkelola dan model yang di-deploy sendiri di Gemini Enterprise Agent Platform. Anda dapat melakukan streaming respons untuk mengurangi persepsi latensi pengguna akhir. Respons yang di-streaming menggunakan peristiwa yang dikirim server (SSE) untuk melakukan streaming respons secara bertahap.

Model Llama terkelola

Model Llama menawarkan model serverless dan terkelola sepenuhnya sebagai API. Untuk menggunakan model Llama di Agent Platform, kirim permintaan langsung ke endpoint API Agent Platform. Saat menggunakan model Llama sebagai API terkelola, Anda tidak perlu menyediakan atau mengelola infrastruktur.

Model berikut tersedia dari Llama untuk digunakan di Gemini Enterprise Agent Platform. Untuk mengakses model Llama, buka kartu model Model Garden-nya.

Llama 4 Maverick 17B-128E Model Llama 4 multimodal terbesar dan paling mumpuni (MoE 17B aktif / total 400B), yang dioptimalkan untuk coding, penalaran mendalam, chat canggih, dan pemahaman gambar berpresisi tinggi.
Llama 4 Scout 17B-16E Model MoE berefisiensi tinggi (17B aktif / 109B total) yang memberikan hasil terbaik untuk pengambilan konteks panjang, peringkasan dokumen, dan penalaran di seluruh codebase besar.
Llama 3.3 70B Model yang di-tuning untuk mengikuti perintah 70B khusus teks yang memberikan peningkatan performa dibandingkan Llama 3.1 70B dan Llama 3.2 90B untuk aplikasi khusus teks.

Menggunakan model Llama

Untuk model terkelola, Anda dapat menggunakan perintah curl untuk mengirim permintaan ke endpoint Gemini Enterprise Agent Platform menggunakan nama model berikut. Untuk mempelajari cara melakukan panggilan streaming dan non-streaming ke model Llama, lihat Memanggil API model terbuka.

Untuk menggunakan model Gemini Enterprise Agent Platform yang di-deploy sendiri:

  1. Buka konsol Model Garden.
  2. Temukan model Gemini Enterprise Agent Platform yang relevan.
  3. Klik Aktifkan dan lengkapi formulir yang disediakan untuk mendapatkan lisensi penggunaan komersial yang diperlukan.

Untuk mengetahui informasi selengkapnya tentang men-deploy dan menggunakan model partner, lihat Men-deploy model partner dan membuat permintaan prediksi.

Langkah berikutnya

Pelajari cara menggunakan model Llama.