In diesem Abschnitt wird erläutert, wie Bereitgestellter Durchsatz für Gemini Omni-Modelle funktioniert, einschließlich des Verhaltens bei der Kontingenterzwingung und der Mindestinkremente für den Kauf von Maßeinheiten für generative KI (GSU).
Bei Gemini Omni-Modellen variieren die Zeiträume für die Kontingentdurchsetzung je nach Anzahl der GSUs, die Sie für das Modell erwerben. Sie können sich ändern. In den folgenden Abschnitten sind die Zeiträume für die Kontingentdurchsetzung für verschiedene GSU-Größen aufgeführt.
Gemini Omni Flash (Vorabversion): Zeiträume für die Kontingentdurchsetzung
Die folgenden Zeiträume für die Kontingentdurchsetzung gelten für verschiedene GSU-Größen für die Gemini Omni Flash-Vorschau:
- 1–9 GSUs: 2.000 Sekunden
- 10–19 GSUs: 200 Sekunden
- 20–39 GSUs: 100 Sekunden
- 40–66 GSUs: 50 Sekunden
- 67 oder mehr GSUs: 30 Sekunden
Die aufgeführten Werte sind unabhängig von der Latenz der Anfrage. Die Zeit, die für die Bearbeitung Ihrer Anfrage benötigt wird, ist nicht mit dem Zeitraum für die Kontingentdurchsetzung identisch.
Bei kleineren GSU-Beträgen sind die Durchsetzungszeiträume länger, damit kleinere Anfragen innerhalb des Zeitraums erfolgreich verarbeitet werden können. Wenn die Anzahl der GSUs für ein Modell steigt, sind längere Zeiträume für die Verarbeitung einer Anfrage nicht erforderlich. Wenn Sie Ausgaben in Omni Flash häufiger mit bereitgestelltem Durchsatz verarbeiten müssen, empfehlen wir, die Anzahl der gekauften GSUs zu erhöhen und das entsprechende Erzwingungszeitfenster zu prüfen.
Angenommen, Sie haben 1 GSU von Omni Flash Preview für eine Arbeitslast gekauft, für die ein einzelnes 10-sekündiges 1080p-Video generiert werden muss. In diesem Fall können Sie das Video in der Regel innerhalb von 60 Sekunden generieren und der Traffic wird als bereitgestellter Durchsatz verarbeitet. Wenn Sie jedoch ein weiteres Video mit derselben Dauer generieren möchten, müssen Sie warten, bis das Zeitfenster für die Kontingentdurchsetzung endet (2.000 Sekunden für 1 GSU). Der Zeitpunkt dieses Zeitrahmens wird durch die Uhrzeit der Gemini Enterprise Agent Platform bestimmt und nicht durch den Zeitpunkt der Anfrage. Die Zeiträume für die Durchsetzung hängen von Backend-Algorithmen ab und können sich ändern.
Wir empfehlen, beim Senden einer Anfrage die API-Parameter für Dauer und Auflösung festzulegen. Wenn der bereitgestellte Durchsatz angegeben wird, kann die Erfahrung genauer sein. Wenn diese Parameter nicht angegeben werden, wird bei der Schätzung der Anforderungsgröße für bereitgestellten Durchsatz von der maximalen Dauer und Auflösung ausgegangen. Dies kann zu einem vorzeitigen, vermeidbaren Übergang zum Pay-as-you-go-Modell führen und die Nutzung Ihres erworbenen bereitgestellten Durchsatzes verringern.
GSU-Anforderungen schätzen
Wir empfehlen, das Schätzungstool auf der Seite Bereitgestellter Durchsatz zu verwenden, um die Anzahl der GSUs zu schätzen, die für Ihre Arbeitslast erforderlich sind. Für das Tool müssen Sie die Gesamtzahl der Eingabetokens und die Schätzung der Ausgabetokens für einen bestimmten Häufigkeitszeitraum eingeben. Weitere Informationen zur Verwendung des Schätztools finden Sie unter Standardbestellung für bereitgestellten Durchsatz aufgeben.
Verwenden Sie die folgenden Methoden, um die Anzahl der Tokens zu schätzen:
- Tokens für Eingabetext: Verwenden Sie den SDK-Tokenizer oder die countTokens API.
- Eingabetokens anderer Modalitäten: Verwenden Sie Schätzungen, die auf den Annahmen auf der Preisseite basieren.
- Bestehende Arbeitslasten: Summieren Sie die Tokennutzung aus Antworten, die innerhalb eines bestimmten Zeitfensters generiert wurden.
Nehmen wir beispielsweise eine Arbeitslast, die alle 30 Sekunden fünf 10-Sekunden-Videos mit 720p und fünf 10-Sekunden-Videos mit 1080p generiert (insgesamt 10 Anfragen). Angenommen, jede Anfrage hat 20 Eingabetext-Tokens, ein Bild (1.120 Tokens) und 100 Tokens für die Antwort. Die Eingaben für die GSU-Schätzung sind:
- Häufigkeit: 30 Sekunden
- Eingabetexttokens insgesamt: 20 × 10 (Anfragen) = 200
- Bildtokens insgesamt: 1.120 × 10 (Anfragen) = 11.200
- Tokens für Ausgabebegründung insgesamt: 100 × 10 (Anfragen) = 1.000
- Ausgabevideotokens insgesamt: 10 Sekunden (Dauer) × 5.792 (Tokens/s) × 5 Videos (720p) + 10 Sekunden (Dauer) × 8.688 (Tokens/s) × 5 Videos (1080p) = 724.000
- Geschätzte GSUs: 434
Szenarien mit hoher Auflösung und langer Dauer
Eine einzelne, große Anfrage kann nicht auf zwei Durchsetzungszeiträume aufgeteilt werden. Wenn für eine Anfrage mehr als das in Ihrem Durchsetzungszeitraum verfügbare Kontingent erforderlich ist, wird sie jedes Mal als „Pay-as-you-go“ bereitgestellt – unabhängig davon, wie selten Sie sie senden und wie viel ungenutztes Bereitgestellter Durchsatz-Kontingent in nachfolgenden Zeiträumen vorhanden ist.
Dies betrifft nur 4K-Videos, die mindestens 7 Sekunden lang sind. Bei 360p, 720p und 1080p passt jede unterstützte Dauer in ein Fenster, unabhängig von der Kaufgröße. Das gilt auch für 4K-Videos mit einer Länge von 6 Sekunden oder weniger (vorausgesetzt, die Anzahl der Eingabe- und Begründungs-Tokens liegt unter 88.000).
Wenn Sie 4K-Videos mit einer Länge von mindestens 7 Sekunden generieren, vergleichen Sie das Ergebnis des Schätztools mit der folgenden Tabelle und bestellen Sie die größere Zahl:
| Längstes 4K‑Video | 1–9 GSUs | 10–19 GSUs | 20–39 GSUs | 40–66 GSUs | 67 oder mehr GSUs |
|---|---|---|---|---|---|
| 7 Sekunden | 2 | 12 | 23 | 46 | 76 |
| 8 Sekunden | 2 | 13 | 26 | 52 | 87 |
| 9 Sekunden | 2 | 15 | 29 | 58 | 97 |
| 10 Sekunden | 2 | 17 | 33 | 65 | 107 |
Sehen Sie sich die Spalte an, die Ihrer geschätzten Anzahl von GSU entspricht. Angenommen, Sie generieren alle 2.000 Sekunden sechs 10‑sekündige 4K-Videos. Der Schätzer gibt 10 GSUs zurück, was für den durchschnittlichen Durchsatz ausreicht. Bei 10 GSUs beträgt das Zeitfenster für die Durchsetzung jedoch 200 Sekunden und keines Ihrer 10‑Sekunden-Videos passt in ein einzelnes Zeitfenster. Wenn Sie die sechs Anfragen zeitlich weiter auseinanderlegen, wird das Problem nicht behoben. Damit die Anfragen ohne Pay-as-you-go-Überschreitung verarbeitet werden können, müssen Sie 17 GSUs bestellen.
Diese Zahlen basieren auf typischen Prompt- und Reasoning-Tokens – einem Text- oder Bild-Prompt oder einem Video von bis zu 10 Sekunden, das bearbeitet werden soll.