Bagian ini menjelaskan konsep unit skala AI generatif (GSU) dan tingkat burndown. Throughput yang Disediakan dihitung dan diberi harga menggunakan unit skala AI generatif (GSU) dan tingkat burndown.
GSU dan laju penggunaan
Unit Skala AI Generatif (GSU) adalah ukuran throughput untuk perintah dan respons Anda. Jumlah ini menentukan seberapa besar throughput yang akan disediakan untuk model.
Burndown rate adalah rasio yang mengonversi unit input dan output (seperti token, karakter, atau gambar) menjadi token input per detik, karakter input per detik, atau gambar input per detik. Rasio ini mewakili throughput dan digunakan untuk menghasilkan unit standar di seluruh model.
Model yang berbeda menggunakan jumlah throughput yang berbeda. Untuk mengetahui informasi tentang jumlah pembelian minimum dan penambahan GSU untuk setiap model, lihat Model yang didukung dan tingkat burndown dalam dokumen ini.
Persamaan ini menunjukkan cara penghitungan throughput:
inputs_per_query = inputs_across_modalities_converted_using_burndown_rates
outputs_per_query = outputs_across_modalities_converted_using_burndown_rates
throughput_per_second = (inputs_per_query + outputs_per_query) * queries_per_second
Throughput per detik yang dihitung menentukan jumlah GSU yang Anda perlukan untuk kasus penggunaan Anda.
Pertimbangan Penting
Untuk membantu Anda merencanakan kebutuhan Throughput yang Disediakan, tinjau pertimbangan penting berikut:
Permintaan diprioritaskan.
Pelanggan Throughput yang Disediakan diprioritaskan dan dilayani terlebih dahulu sebelum permintaan on-demand.
Throughput tidak terakumulasi.
Throughput yang tidak digunakan tidak akan diakumulasikan atau dialihkan ke bulan berikutnya.
Throughput yang Disediakan diukur dalam token per detik, karakter per detik, atau gambar per detik.
Throughput yang Disediakan tidak diukur hanya berdasarkan kueri per menit (QPM). Biaya ini diukur berdasarkan ukuran kueri untuk kasus penggunaan Anda, ukuran respons, dan QPM.
Throughput yang Disediakan bersifat spesifik untuk project, region, model, dan versi.
Throughput yang Disediakan ditetapkan ke kombinasi project-region-model-version tertentu. Model yang sama yang dipanggil dari region lain tidak akan mengurangi kuota Throughput yang Disediakan dan tidak akan diprioritaskan dibandingkan permintaan on-demand.
Context caching
Throughput yang Disediakan mendukung caching implisit dan caching eksplisit. Untuk mengetahui informasi tentang model dan batasan yang didukung, lihat Cache konteks.
Caching implisit diaktifkan di semua project Cloud de Confiance by S3NS , secara default. Caching implisit mengurangi biaya dan latensi selama cache ditemukan. Token yang di-cache dikenai biaya dengan diskon dibandingkan dengan token input standar saat cache ditemukan. Caching eksplisit menawarkan lebih banyak kontrol dan memastikan diskon saat cache eksplisit direferensikan. Untuk mempelajari cara membuat cache konteks untuk caching eksplisit, lihat Membuat cache konteks. Untuk melihat diskon khusus model, lihat Ringkasan cache konteks. Untuk Throughput yang Disediakan, diskon diterapkan melalui pengurangan tarif burndown.
Misalnya, Gemini 2.5 Pro memiliki tingkat burndown berikut untuk token teks input dan token yang di-cache:
1 token teks input = 1 token
1 token teks input yang di-cache = 0,1 token
Mengirim 1.000 token input ke model ini akan mengurangi Throughput yang Disediakan sebesar 1.000 token input per detik. Namun, jika Anda mengirim 1.000 token yang di-cache ke Gemini 2.5 Pro, hal ini akan mengakibatkan pengurangan Throughput yang Disediakan sebesar 100 token per detik.
Perhatikan bahwa hal ini dapat menyebabkan throughput yang lebih tinggi untuk kueri serupa yang tokennya tidak di-cache dan diskon cache tidak diterapkan.
Untuk melihat tarif burndown untuk model yang didukung di Throughput yang Disediakan, lihat Model yang didukung dan tarif burndown.
Memahami burndown untuk Gemini Live API
Throughput yang Disediakan mendukung Gemini 2.5 Flash dengan Gemini Live API. Untuk memahami cara menghitung burndown saat menggunakan Gemini Live API, lihat Memperkirakan persyaratan GSU.
Untuk mengetahui informasi selengkapnya tentang penggunaan Throughput yang Disediakan untuk Gemini 2.5 Flash dengan Gemini Live API, lihat Throughput yang Disediakan untuk Gemini Live API.
Contoh memperkirakan kebutuhan Throughput yang Disediakan
Untuk memperkirakan kebutuhan Throughput yang Disediakan, gunakan alat estimasi di konsol Cloud de Confiance . Contoh berikut mengilustrasikan proses memperkirakan jumlah Throughput yang Disediakan untuk model Anda. Wilayah tidak dipertimbangkan dalam penghitungan estimasi.
Tabel ini memberikan tingkat burndown untuk Gemini 3.6 Flash yang dapat Anda gunakan untuk mengikuti contoh.
| Model | Throughput per GSU | Unit | Kenaikan pembelian GSU minimum | Burndown rate |
|---|---|---|---|---|
| Gemini 3.6 Flash | 675 | Token | 1 |
1 token teks input = 1 token 1 token gambar input = 1 token 1 token video input = 1 token 1 token audio input = 1 token 1 token caching teks input = 0,1 token 1 token caching gambar input = 0,1 token 1 token caching video input = 0,1 token 1 token caching audio input = 0,1 token 1 token respons teks output = 5 token |
Kumpulkan persyaratan Anda. Dalam contoh ini, persyaratan Anda adalah memverifikasi bahwa Anda dapat mendukung 10 kueri per detik (QPS) dari kueri dengan input 1.000 token teks dan 500 token audio, untuk menerima output 300 token respons teks menggunakan
gemini-3.6-flash.Untuk menghitung throughput untuk kasus penggunaan spesifik Anda, gunakan tingkat burndown untuk model yang Anda pilih.
Hitung throughput Anda. Kalikan input Anda dengan rasio burndown untuk mendapatkan total token input:
$\text{1.000} \times (\text{1 token per token teks input}) + \text{500} \times (\text{1 token per token audio input}) = \text{1.500}$ token input yang disesuaikan dengan burndown per kueri.
Kalikan output Anda dengan tingkat burndown untuk mendapatkan total token output:
$\text{300} \times (\text{5 token per token respons teks output}) = \text{1.500}$ token output yang disesuaikan dengan burndown per kueri.
Jumlahkan total Anda:
$\text{1.500 token input yang disesuaikan dengan burndown} + \text{1.500 token output yang disesuaikan dengan burndown} = \text{3.000}$ total token per kueri.
Kalikan jumlah total token dengan QPS untuk mendapatkan total throughput per detik:
$\text{3.000 total token per kueri} \times \text{10 QPS} = \text{30.000}$ total token per detik.
Hitung GSU yang Anda perlukan. GSU adalah total token per detik dibagi dengan throughput per detik per GSU dari tabel burndown:
$\text{30.000 total token per detik} \div \text{675 throughput per detik per GSU} = \text{44,44}$ GSU.
Kenaikan pembelian GSU minimum untuk
gemini-3.6-flashadalah 1, jadi Anda memerlukan 45 GSU untuk memastikan workload Anda.