Bagian ini menjelaskan cara kerja Throughput yang Disediakan untuk model Gemini Omni, termasuk perilaku penerapan kuota dan kenaikan pembelian unit skala AI generatif (GSU) minimum.
Untuk model Gemini Omni, periode penerapan kuota berbeda-beda berdasarkan jumlah GSU yang Anda beli untuk model tersebut dan dapat berubah. Bagian berikut mencantumkan periode penerapan kuota untuk berbagai ukuran GSU.
Pratinjau Gemini Omni Flash: Jendela penerapan kuota
Berikut adalah periode penerapan kuota untuk berbagai ukuran GSU untuk Pratinjau Gemini Omni Flash:
- 1-9 GSU: 2.000 detik
- 10-19 GSU: 200 detik
- 20-39 GSU: 100 detik
- 40-66 GSU: 50 detik
- 67+ GSU: 30 detik
Nilai yang tercantum tidak bergantung pada latensi permintaan. Waktu untuk memproses permintaan Anda tidak sama dengan periode penerapan kuota.
Jendela penegakan lebih besar pada jumlah GSU yang lebih kecil untuk memastikan bahwa permintaan yang lebih kecil diproses dengan berhasil dalam jendela. Seiring bertambahnya jumlah GSU untuk model, waktu tunggu yang lebih lama tidak diperlukan untuk memproses permintaan. Jika Anda perlu memproses output di Omni Flash lebih sering menggunakan Throughput yang Disediakan, sebaiknya tingkatkan jumlah GSU yang dibeli dan periksa periode pemberlakuan yang sesuai.
Misalnya, pertimbangkan situasi saat Anda membeli 1 GSU Pratinjau Omni Flash untuk beban kerja yang memerlukan pembuatan satu video 1080p berdurasi 10 detik. Dalam hal ini, Anda biasanya dapat membuat video ini dalam waktu 60 detik dan traffic diproses sebagai Throughput yang Disediakan. Namun, jika Anda ingin membuat video lain dengan durasi yang sama, Anda harus menunggu hingga periode penegakan kuota berakhir (2.000 detik untuk 1 GSU). Waktu periode penegakan ini ditentukan oleh waktu jam Gemini Enterprise Agent Platform, bukan saat permintaan dibuat. Jangka waktu penegakan bergantung pada algoritma backend dan dapat berubah.
Sebaiknya tetapkan parameter API durasi dan resolusi saat membuat permintaan. Jika disediakan, Throughput yang Disediakan dapat memberikan pengalaman yang lebih akurat. Jika parameter ini tidak diberikan, estimasi ukuran permintaan Throughput yang Disediakan mengasumsikan durasi dan resolusi maksimum, yang dapat menyebabkan spillover prematur yang dapat dihindari ke model bayar sesuai penggunaan dan mengurangi penggunaan Throughput yang Disediakan yang Anda beli.
Memperkirakan persyaratan GSU
Sebaiknya gunakan alat estimasi di halaman Throughput yang Disediakan untuk memperkirakan jumlah GSU yang diperlukan untuk workload Anda. Alat ini memerlukan input Anda berupa estimasi total token input dan token output untuk jangka waktu frekuensi tertentu. Untuk mengetahui informasi selengkapnya tentang penggunaan alat estimasi, lihat Melakukan pemesanan Throughput yang Disediakan standar.
Untuk memperkirakan jumlah token, gunakan metode berikut:
- Token teks input: Gunakan tokenizer SDK atau countTokens API.
- Token input modalitas lainnya: Gunakan perkiraan berdasarkan asumsi di halaman harga.
- Beban kerja yang ada: Menjumlahkan penggunaan token dari respons yang dihasilkan dalam jangka waktu tertentu.
Misalnya, pertimbangkan beban kerja yang menghasilkan lima video 720p berdurasi 10 detik dan lima video 1080p berdurasi 10 detik setiap 30 detik (total 10 permintaan). Misalkan setiap permintaan memiliki 20 token teks input, satu gambar (1.120 token), dan 100 token pemikiran respons. Input untuk estimator GSU adalah sebagai berikut:
- Frekuensi: 30 dtk
- Total token teks input: 20 × 10 (permintaan) = 200
- Total token gambar: 1.120 × 10 (permintaan) = 11.200
- Total token alasan output: 100 × 10 (permintaan) = 1.000
- Total token video output: 10 dtk (durasi) × 5.792 (token/dtk) × 5 video (720p) + 10 dtk (durasi) × 8.688 (token/dtk) × 5 video (1080p) = 724.000
- Estimasi GSU: 434
Skenario resolusi dan durasi tinggi
Satu permintaan besar tidak dapat dibagi di antara dua periode penegakan. Jika satu permintaan memerlukan lebih banyak kapasitas daripada yang tersedia di periode penegakan Anda, permintaan tersebut akan ditayangkan dengan model bayar sesuai penggunaan setiap saat—tidak peduli seberapa jarang Anda mengirimkannya dan tidak peduli berapa banyak kuota Throughput yang Disediakan yang tidak digunakan yang mungkin ada di periode berikutnya.
Hal ini hanya memengaruhi video 4K berdurasi 7 detik atau lebih. Pada 360p, 720p, dan 1080p, setiap durasi yang didukung muat dalam satu jendela pada ukuran pembelian apa pun, seperti halnya video 4K berdurasi 6 detik atau lebih singkat (dengan asumsi token input dan penalaran umum kurang dari 88 ribu token).
Jika Anda membuat video 4K berdurasi 7 detik atau lebih, bandingkan hasil alat estimasi dengan tabel berikut dan urutkan angka yang lebih besar:
| Video 4K terpanjang | 1–9 GSU | 10–19 GSU | 20–39 GSU | 40–66 GSU | 67+ GSU |
|---|---|---|---|---|---|
| 7 detik | 2 | 12 | 23 | 46 | 76 |
| 8 detik | 2 | 13 | 26 | 52 | 87 |
| 9 detik | 2 | 15 | 29 | 58 | 97 |
| 10 detik | 2 | 17 | 33 | 65 | 107 |
Baca kolom yang sesuai dengan perkiraan jumlah GSU Anda. Misalnya, Anda membuat enam video 4K berdurasi 10 detik setiap 2.000 detik. Estimator menampilkan 10 GSU, yang cukup untuk throughput rata-rata. Namun, pada 10 GSU, jangka waktu penegakan adalah 200 detik, dan tidak ada video 10 detik Anda yang sesuai dalam satu jangka waktu. Menjeda enam permintaan lebih lama tidak akan menyelesaikan masalah ini. Untuk berhasil memproses permintaan tanpa peluapan bayar sesuai penggunaan, pesan 17 GSU.
Angka ini mengasumsikan token penalaran dan perintah yang umum—perintah teks atau gambar, atau video berdurasi hingga 10 detik untuk diedit.