Batchinferenz mit Gemini

Mit der Batch-Inferenz von Gemini (früher als Batch-Vorhersage bezeichnet) erhalten Sie asynchrone, kostengünstige Inferenz mit hohem Durchsatz für Ihre Anforderungen an die Verarbeitung großer Datenmengen. In diesem Leitfaden werden die Vorteile der Batch-Inferenz, ihre Funktionsweise, ihre Einschränkungen und Best Practices für optimale Ergebnisse erläutert.

Vorteile der Batch-Inferenz

In vielen realen Szenarien benötigen Sie keine sofortige Antwort von einem Language Model. Stattdessen haben Sie möglicherweise ein großes Dataset mit Prompts, die Sie effizient und kostengünstig verarbeiten müssen. Hier ist die Batchinferenz besonders nützlich.

Wichtige Vorteile:

  • Kosteneffizienz: Die Batchverarbeitung wird im Vergleich zur Echtzeit-Inferenz zu einem um 50% reduzierten Preis angeboten und eignet sich daher ideal für umfangreiche, nicht dringende Aufgaben. Implizites Caching ist für Gemini 2.5- und Gemini 3-Modelle standardmäßig aktiviert. Das implizite Caching bietet einen Rabatt von 90% auf im Cache gespeicherte Tokens im Vergleich zu Standardeingabetokens. Die Rabatte für Cache und Batch sind jedoch nicht kombinierbar. Der Cache-Treffer-Rabatt von 90% hat Vorrang vor dem Batch-Rabatt.
  • Hohe Ratenbegrenzungen: Verarbeiten Sie Hunderttausende von Anfragen in einem einzigen Batch mit einer höheren Ratenbegrenzung als bei der Echtzeit-Gemini API.
  • Vereinfachter Workflow: Anstatt eine komplexe Pipeline einzelner Echtzeitanfragen zu verwalten, können Sie einen einzelnen Batchjob senden und die Ergebnisse abrufen, sobald die Verarbeitung abgeschlossen ist. Der Dienst übernimmt die Formatvalidierung, parallelisiert Anfragen für die gleichzeitige Verarbeitung und versucht automatisch, eine hohe Abschlussrate mit einer Bearbeitungszeit von 24 Stunden zu erreichen.

Die Batch-Inferenz ist für umfangreiche Verarbeitungsaufgaben optimiert, z. B.:

  • Inhaltsgenerierung: Generieren Sie Produktbeschreibungen, Beiträge für soziale Medien oder andere kreative Texte im Bulk.
  • Datenannotation und -klassifizierung: Nutzerrezensionen klassifizieren, Dokumente kategorisieren oder Sentimentanalysen für einen großen Textkorpus durchführen.
  • Offline-Analyse: Artikel zusammenfassen, wichtige Informationen aus Berichten extrahieren oder Dokumente in großem Umfang übersetzen.
  • Einbettungen generieren: Generieren Sie Vektoreinbettungen für einen großen Dokumentkorpus, um Arbeitslasten für semantische Suche, Abruf und Clustering zu unterstützen.

Gemini-Modelle, die Batch-Inferenz unterstützen

Die folgenden Gemini-Basismodelle und abgestimmten Gemini-Modelle unterstützen die Batch-Inferenz:

Klicken, um unterstützte Modelle einzublenden

Einbettungsmodelle, die Batch-Inferenz unterstützen

Die Batch-Inferenz ist auch für Einbettungsmodelle verfügbar:

  • Gemini-Einbettungsmodelle (Vorabversion): gemini-embedding-001 und gemini-embedding-2. Jeder Batchjob unterstützt bis zu 1.000.000 Zeilen und jedes Projekt bis zu 10.000 gleichzeitige Batchjobs in der Warteschlange.
  • Legacy-Texteinbettungsmodelle: alle stabilen Versionen, einschließlich text-embedding-004, text-embedding-005 und text-multilingual-embedding-002. Jede Anfrage kann bis zu 30.000 Prompts enthalten.

Für Batchjobs zur Einbettung wird ein anderes Eingabe- und Ausgabeschema als für Batchjobs zur Gemini-Textgenerierung verwendet. Die Anfragelimits unter Kontingente und Limits gelten nicht für sie. Informationen zum erforderlichen JSONL-Schema, zu den modellspezifischen Konfigurationsoptionen und zu Beispielen finden Sie unter Batch-Einbettungsinferenzen abrufen.

Unterstützung globaler Endpunktmodelle

Die Batch-Inferenz unterstützt die Verwendung des globalen Endpunkts für Gemini-Basismodelle. Der globale Endpunkt für abgestimmte Gemini-Modelle wird nicht unterstützt.

Der globale Endpunkt trägt zur Verbesserung der allgemeinen Verfügbarkeit bei, da Ihre Anfragen aus jeder Region bedient werden, die vom verwendeten Modell unterstützt wird. Beachten Sie, dass die Anforderungen an den Datenstandort nicht unterstützt werden. Wenn Sie Anforderungen an den Datenstandort haben, verwenden Sie die regionalen Endpunkte.

Kontingente und Limits

Die Batch-Inferenz ist zwar leistungsstark, aber es ist wichtig, sich der folgenden Einschränkungen bewusst zu sein.

  • Quota: Es gibt keine vordefinierten Kontingentlimits für Ihre Nutzung. Stattdessen bietet der Batch-Dienst Zugriff auf einen großen, gemeinsam genutzten Ressourcenpool, der dynamisch basierend auf der Verfügbarkeit von Ressourcen und der Echtzeitnachfrage aller Kunden dieses Modells zugewiesen wird. Wenn mehr Kunden aktiv sind und unsere Kapazität ausgelastet ist, werden Ihre Batchanfragen möglicherweise in eine Warteschlange gestellt.
  • Warteschlangenzeit: Wenn unser Dienst stark ausgelastet ist, wird Ihr Batchjob in die Warteschlange gestellt, bis Kapazität verfügbar ist. Der Job bleibt bis zu 72 Stunden in der Warteschlange, bevor er abläuft.
  • Anfragelimits: Ein einzelner Batchjob kann bis zu 200.000 Anfragen enthalten. Wenn Sie Cloud Storage als Eingabe verwenden, gilt außerdem ein Dateigrößenlimit von 1 GB. Für Einbettungsmodelle gelten unterschiedliche Anfragelimits. Weitere Informationen finden Sie unter Einbettungsmodelle, die Batch-Inferenz unterstützen.
  • Verarbeitungszeit: Batchjobs werden asynchron verarbeitet und sind nicht für Echtzeitanwendungen konzipiert. Die meisten Jobs werden innerhalb von 24 Stunden nach dem Start abgeschlossen (ohne die Zeit in der Warteschlange). Nach 24 Stunden werden unvollständige Jobs abgebrochen und Ihnen werden nur abgeschlossene Anfragen in Rechnung gestellt.
  • Abgebrochene Jobs: Sie können Batchinferenzjobs jederzeit abbrechen. Wenn Sie einen Job abbrechen, werden alle verbleibenden Arbeiten abgebrochen und alle bereits abgeschlossenen Arbeiten zurückgegeben. Ihnen werden nur die abgeschlossenen Arbeiten in Rechnung gestellt.
  • Nicht unterstützte Funktionen: Die Batch-Inferenz unterstützt weder bereitgestellten Durchsatz noch explizites Caching oder RAG. Implizites Caching für Batch-Inferenz wird in Gemini 2.0 Flash und Gemini 2.0 Flash-Lite nicht unterstützt.
  • Bildausgabe: Die Batch-Inferenz ist auf die Standardauflösung von 1K beschränkt. 2K- und 4K-Ausgaben werden nicht unterstützt.

Best Practices

Damit Sie die Batch-Inferenz mit Gemini optimal nutzen können, empfehlen wir die folgenden Best Practices:

  • Jobs kombinieren: Wenn Sie den Durchsatz maximieren möchten, kombinieren Sie kleinere Jobs im Rahmen der Systemlimits zu einem großen Job. Wenn Sie beispielsweise einen Batchjob mit 200.000 Anfragen senden, erzielen Sie einen besseren Durchsatz als mit 1.000 Jobs mit jeweils 200 Anfragen. Vermeiden Sie Jobs mit weniger als 1.000 Anfragen, da der feste Overhead pro Job den größten Teil der Laufzeit in Anspruch nimmt.
  • Jobstatus überwachen: Sie können den Jobfortschritt über die API, das SDK oder die Benutzeroberfläche überwachen. Weitere Informationen finden Sie unter Jobstatus überwachen. Wenn ein Job fehlschlägt, prüfen Sie die Fehlermeldungen, um das Problem zu diagnostizieren und zu beheben.
  • Kosten optimieren: Nutzen Sie die Kosteneinsparungen, die die Batchverarbeitung für alle Aufgaben bietet, die keine sofortige Antwort erfordern.

Nächste Schritte