In diesem Abschnitt werden die Konzepte der Maßeinheit für generative KI (GSU) und der Abnahmeraten erläutert. Der bereitgestellte Durchsatz wird anhand von Maßeinheiten für generative KI (GSUs) und Abnahmeraten berechnet und festgelegt.
GSU und Burndown-Rate
Eine Maßeinheit für generative KI (GSU) ist ein Maß für den Durchsatz Ihrer Prompts und Antworten. Dieser Betrag gibt an, wie viel Durchsatz für ein Modell bereitgestellt werden soll.
Eine Burndown-Rate ist ein Verhältnis, das die Eingabe- und Ausgabeeinheiten (z. B. Tokens, Zeichen oder Bilder) in Eingabetokens pro Sekunde, Eingabezeichen pro Sekunde oder Eingabebilder pro Sekunde umwandelt. Dieses Verhältnis stellt den Durchsatz dar und wird verwendet, um eine Standardeinheit für alle Modelle zu erzeugen.
Für verschiedene Modelle wird ein unterschiedlicher Durchsatz verwendet. Informationen zum Mindestkaufbetrag für GSU und zu den Schritten für jedes Modell finden Sie in diesem Dokument unter Unterstützte Modelle und Burndown-Raten.
Diese Gleichung zeigt, wie der Durchsatz berechnet wird:
inputs_per_query = inputs_across_modalities_converted_using_burndown_rates
outputs_per_query = outputs_across_modalities_converted_using_burndown_rates
throughput_per_second = (inputs_per_query + outputs_per_query) * queries_per_second
Der berechnete Durchsatz pro Sekunde bestimmt, wie viele GSUs Sie für Ihren Anwendungsfall benötigen.
Wichtige Hinweise
Beachten Sie die folgenden wichtigen Punkte, um Ihren Bedarf an bereitgestelltem Durchsatz zu planen:
Anfragen werden priorisiert.
Anfragen von Provisioned Throughput-Kunden werden vor On-Demand-Anfragen priorisiert und bearbeitet.
Der Durchsatz wird nicht akkumuliert.
Nicht genutzter Durchsatz wird nicht akkumuliert oder in den nächsten Monat übertragen.
Der bereitgestellte Durchsatz wird in Tokens pro Sekunde, Zeichen pro Sekunde oder Bildern pro Sekunde gemessen.
Der bereitgestellte Durchsatz wird nicht nur anhand von Abfragen pro Minute (QPM) gemessen. Sie wird anhand der Abfragegröße für Ihren Anwendungsfall, der Antwortgröße und der Anzahl der Abfragen pro Minute gemessen.
Der bereitgestellte Durchsatz ist spezifisch für ein Projekt, eine Region, ein Modell und eine Version.
Der bereitgestellte Durchsatz wird einer bestimmten Kombination aus Projekt, Region, Modell und Version zugewiesen. Dasselbe Modell, das aus einer anderen Region aufgerufen wird, wird nicht auf Ihr Kontingent für bereitgestellten Durchsatz angerechnet und nicht gegenüber On-Demand-Anfragen priorisiert.
Kontext-Caching
Der bereitgestellte Durchsatz unterstützt implizites Caching und explizites Caching. Informationen zu unterstützten Modellen und Limits finden Sie unter Kontext-Caching.
Implizites Caching ist standardmäßig in allen Cloud de Confiance by S3NS -Projekten aktiviert. Implizites Caching reduziert die Kosten und die Latenz bei Cache-Treffern. Für im Cache gespeicherte Tokens wird bei einem Cache-Treffer ein Rabatt im Vergleich zu Standardeingabetokens gewährt. Das explizite Caching bietet mehr Kontrolle und sorgt für einen Rabatt, wenn auf explizite Caches verwiesen wird. Informationen zum Erstellen eines Kontext-Cache für explizites Caching finden Sie unter Kontext-Cache erstellen. Modellspezifische Rabatte finden Sie in der Übersicht über das Kontext-Caching. Beim bereitgestellten Durchsatz wird der Rabatt über eine reduzierte Abnahmerate angewendet.
Gemini 2.5 Pro hat beispielsweise die folgenden Burndown-Raten für Eingabetext-Tokens und im Cache gespeicherte Tokens:
1 Eingabetexttoken = 1 Token
1 im Cache gespeichertes Eingabetexttoken = 0,1 Token
Wenn Sie 1.000 Eingabetokens an dieses Modell senden, wird Ihr bereitgestellter Durchsatz um 1.000 Eingabetokens pro Sekunde reduziert. Wenn Sie jedoch 1.000 im Cache gespeicherte Tokens an Gemini 2.5 Pro senden, wird Ihr bereitgestellter Durchsatz um 100 Tokens pro Sekunde reduziert.
Beachten Sie, dass dies zu einem höheren Durchsatz für ähnliche Abfragen führen kann, bei denen die Tokens nicht im Cache gespeichert werden und der Cache-Rabatt nicht angewendet wird.
Die Abnahmeraten für Modelle, die in Bereitgestelltem Durchsatz unterstützt werden, finden Sie unter Unterstützte Modelle und Abnahmeraten.
Burndown für die Gemini Live API verstehen
Der bereitgestellte Durchsatz unterstützt Gemini 2.5 Flash mit der Gemini Live API. Informationen zum Berechnen des Burndowns bei Verwendung der Gemini Live API finden Sie unter GSU-Anforderungen schätzen.
Weitere Informationen zur Verwendung des bereitgestellten Durchsatzes für Gemini 2.5 Flash mit der Gemini Live API finden Sie unter Bereitgestellter Durchsatz für die Gemini Live API.
Beispiel für die Schätzung Ihrer Anforderungen an Bereitgestellten Durchsatz
Verwenden Sie das Schätzungstool in der Cloud de Confiance Console, um Ihre Anforderungen für Bereitgestellten Durchsatz zu ermitteln. Im folgenden Beispiel wird gezeigt, wie Sie den bereitgestellten Durchsatz für Ihr Modell schätzen. Die Region wird bei den Schätzungsberechnungen nicht berücksichtigt.
In dieser Tabelle finden Sie die Burndown-Raten für Gemini 3.6 Flash, die Sie für das Beispiel verwenden können.
| Modell | Durchsatz pro GSU | Einheiten | Mindestkaufsteigerung für GSUs | Abnahmeraten |
|---|---|---|---|---|
| Gemini 3.6 Flash | 675 | Tokens | 1 |
1 Eingabetext-Token = 1 Token 1 Eingabebild-Token = 1 Token 1 Eingabevideo-Token = 1 Token 1 Eingabeaudio-Token = 1 Token 1 Eingabetext-Caching-Token = 0,1 Token 1 Eingabebild-Caching-Token = 0,1 Token 1 Eingabevideo-Caching-Token = 0,1 Token 1 Eingabeaudio-Caching-Token = 0,1 Token 1 Ausgabetext-Antwort-Token = 5 Token |
Anforderungen zusammenstellen: In diesem Beispiel besteht Ihre Anforderung darin, zu prüfen,ob Sie 10 Abfragen pro Sekunde (QPS) einer Abfrage mit einer Eingabe von 1.000 Text-Tokens und 500 Audio-Tokens unterstützen können, um eine Ausgabe von 300 Textantwort-Tokens mit
gemini-3.6-flashzu erhalten.Verwenden Sie die Burndown-Raten für das ausgewählte Modell, um den Durchsatz für Ihren spezifischen Anwendungsfall zu berechnen.
Durchsatz berechnen Multiplizieren Sie Ihre Eingaben mit den Burndown-Raten, um die Gesamtzahl der Eingabetokens zu erhalten:
$\text{1.000} \times (\text{1 Token pro Eingabetexttoken}) + \text{500} \times (\text{1 Token pro Eingabeaudiotoken}) = \text{1.500}$ angepasste Eingabetokens pro Anfrage.
Multiplizieren Sie die Ausgaben mit den Burndown-Raten, um die Gesamtzahl der Ausgabetokens zu erhalten:
$\text{300} \times (\text{5 Tokens pro Ausgabetextantwort-Token}) = \text{1.500}$ Burndown-angepasste Ausgabetokens pro Abfrage.
Addieren Sie die Summen:
$\text{1.500 Burndown-angepasste Eingabetokens} + \text{1.500 Burndown-angepasste Ausgabetokens} = \text{3.000}$ Tokens insgesamt pro Abfrage.
Multiplizieren Sie die Gesamtzahl der Tokens mit den Abfragen pro Sekunde, um den Gesamtdurchsatz pro Sekunde zu erhalten:
$\text{3.000 Tokens insgesamt pro Abfrage} \times \text{10 QPS} = \text{30.000}$ Tokens insgesamt pro Sekunde.
Berechnen Sie die erforderlichen GSUs. Die GSUs sind die Gesamtzahl der Tokens pro Sekunde geteilt durch den Durchsatz pro Sekunde und GSU aus der Abnahmetabelle:
$\text{30.000 Tokens insgesamt pro Sekunde} \div \text{675 Durchsatz pro Sekunde pro GSU} = \text{44,44}$ GSUs.
Die Mindestkaufsteigerung für
gemini-3.6-flashbeträgt 1. Sie benötigen also 45 GSUs, um Ihre Arbeitslast zu sichern.