Provisioned Throughput verwenden

Auf dieser Seite wird erläutert, wie Bereitgestellter Durchsatz funktioniert, wie Sie Überschreitungen steuern oder Bereitgestellten Durchsatz umgehen und wie Sie die Nutzung überwachen.

Funktionsweise von Bereitgestelltem Durchsatz

In diesem Abschnitt wird erläutert, wie Bereitgestellter Durchsatz funktioniert. Dabei wird die Kontingentprüfung während des Zeitraums der Kontingenterzwingung verwendet.

Kontingentprüfung für bereitgestellten Durchsatz

Das maximale Kontingent für den bereitgestellten Durchsatz ist ein Vielfaches der Anzahl der gekauften Maßeinheiten für generative KI (GSUs) und des Durchsatzes pro GSU. Sie wird jedes Mal geprüft, wenn Sie eine Anfrage innerhalb des Zeitraums für die Kontingenterzwingung stellen. Das ist die Häufigkeit, mit der das maximale Kontingent für den bereitgestellten Durchsatz erzwungen wird.

Wenn eine Anfrage eingeht, ist die tatsächliche Antwortgröße unbekannt. Da wir die Antwortgeschwindigkeit für Echtzeitanwendungen priorisieren, wird die Größe der Ausgabetokens beim bereitgestellten Durchsatz geschätzt. Wenn die anfängliche Schätzung das verfügbare maximale Kontingent für den bereitgestellten Durchsatz überschreitet, wird die Anfrage als „Pay as you go“ verarbeitet. Andernfalls wird sie als bereitgestellter Durchsatz verarbeitet. Dazu wird die ursprüngliche Schätzung mit dem maximalen Kontingent für den bereitgestellten Durchsatz verglichen.

Wenn die Antwort generiert wird und die tatsächliche Größe des Ausgabe-Tokens bekannt ist, werden die tatsächliche Nutzung und das Kontingent abgeglichen. Dazu wird die Differenz zwischen der Schätzung und der tatsächlichen Nutzung zu Ihrem verfügbaren Kontingent für den bereitgestellten Durchsatz hinzugefügt.

Zeitfenster für die Durchsetzung von Kontingenten für bereitgestellten Durchsatz

Die Agent Platform wendet ein dynamisches Fenster an, wenn das Kontingent für den bereitgestellten Durchsatz für Gemini-Modelle erzwungen wird. Dies bietet optimale Stabilität für Traffic, der anfällig für Spitzen ist. Anstelle eines festen Zeitfensters erzwingt die Agent Platform das Kontingent über ein flexibles Zeitfenster, das sich automatisch an den Modelltyp und die Anzahl der von Ihnen bereitgestellten GSUs anpasst. Daher kann es in einigen Fällen vorübergehend zu priorisiertem Traffic kommen, der Ihr Kontingent pro Sekunde überschreitet. Sie dürfen Ihr Kontingent jedoch während der Dauer des Zeitfensters nicht überschreiten. Diese Zeiträume basieren auf der internen Uhrzeit der Agent Platform und sind unabhängig davon, wann Anfragen gestellt werden.

Funktionsweise des Zeitfensters für die Kontingentdurchsetzung

Das Erzwingungsfenster bestimmt, wie weit Sie Ihr Limit pro Sekunde überschreiten können, bevor Sie gedrosselt werden. Dieses Fenster wird automatisch angewendet. Beachten Sie, dass sich diese Zeitfenster ändern können, um die Leistung und Zuverlässigkeit zu optimieren.

• Kleine GSU-Zuweisungen (3 GSUs oder weniger): Das Zeitfenster kann zwischen 40 und 120 Sekunden liegen, damit größere einzelne Anfragen ohne Unterbrechung verarbeitet werden können.

  Wenn Sie beispielsweise 1 GSU von gemini-2.5-flash kaufen, erhalten Sie einen durchschnittlichen kontinuierlichen Durchsatz von 2.690 Tokens pro Sekunde. Ihre Gesamtnutzung in einem beliebigen 120-Sekunden-Fenster darf 322.800 Tokens (2.690 Tokens pro Sekunde * 120 Sekunden) nicht überschreiten. Wenn Sie also eine Anfrage senden, die 70.000 Tokens pro Sekunde verwendet, die Gesamtnutzung über 120 Sekunden jedoch unter 322.800 Tokens bleibt, zählt der Burst von 70.000 Tokens pro Sekunde weiterhin als bereitgestellter Durchsatz, da die durchschnittliche Nutzung 2.690 Tokens pro Sekunde nicht überschreitet.

• Standardmäßige (mittelgroße) GSU-Zuweisungen (mehr als 3 GSUs): Bei mittelgroßen GSU-Bereitstellungen (z. B. weniger als 50 GSUs) kann das Fenster zwischen 5 und 30 Sekunden liegen. Die GSU-Schwellenwerte und Kontextfenster variieren je nach Modell.

  Wenn Sie beispielsweise 25 GSUs von gemini-2.5-flash kaufen, erhalten Sie einen durchschnittlichen kontinuierlichen Durchsatz von 67.250 Tokens pro Sekunde (2.690 Tokens pro Sekunde * 25). Ihre Gesamtnutzung in einem 30-Sekunden-Fenster darf 2.017.500 Tokens (67.250 Tokens pro Sekunde * 30 Sekunden) nicht überschreiten. Wenn Sie also eine Anfrage senden, die 1.000.000 Tokens pro Sekunde verwendet, die Gesamtnutzung über 30 Sekunden jedoch innerhalb von 2.017.500 Tokens bleibt, zählt der Burst von 1.000.000 Tokens pro Sekunde weiterhin als bereitgestellter Durchsatz, da die durchschnittliche Nutzung 67.250 Tokens pro Sekunde nicht überschreitet.

• Hochpräzise (groß angelegte) GSU-Zuweisungen: Bei groß angelegten GSU-Bereitstellungen (z. B. 50 GSUs oder mehr) kann das Fenster zwischen 1 und 5 Sekunden liegen, um sicherzustellen, dass hochfrequente Anfragen mit maximaler Genauigkeit in der gesamten Infrastruktur verarbeitet werden.

  Wenn Sie beispielsweise 250 GSUs von gemini-2.5-flash kaufen, erhalten Sie einen durchschnittlichen kontinuierlichen Durchsatz von 672.500 Tokens pro Sekunde (2.690 Tokens pro Sekunde * 250). Ihre Gesamtnutzung in einem beliebigen 5-Sekunden-Zeitfenster darf 3.362.500 Tokens (672.500 Tokens pro Sekunde * 5 Sekunden) nicht überschreiten. Wenn Sie also eine Anfrage senden, die 5.000.000 Tokens pro Sekunde verwendet, wird sie nicht als bereitgestellter Durchsatz verarbeitet, da die Gesamtnutzung von 5.000.000 Tokens das Limit von 3.362.500 Tokens in einem 5-Sekunden-Fenster überschreitet. Eine Anfrage, die 1.000.000 Tokens pro Sekunde verwendet, kann dagegen als Bereitgestellter Durchsatz verarbeitet werden, wenn die durchschnittliche Nutzung im 5-Sekunden-Fenster 672.500 Tokens pro Sekunde nicht überschreitet.

Überschreitungen steuern oder Bereitgestellten Durchsatz umgehen

Mit der API können Sie Überschreitungen steuern, wenn Sie den gekauften Durchsatz überschreiten, oder Bereitgestellten Durchsatz pro Anfrage umgehen.

Lesen Sie sich die einzelnen Optionen durch, um herauszufinden, was Sie tun müssen, um Ihren Anwendungsfall zu erfüllen.

Standardverhalten

Wenn eine Anfrage das verbleibende Kontingent für den bereitgestellten Durchsatz überschreitet, wird die gesamte Anfrage standardmäßig als On-Demand-Anfrage verarbeitet und zum Pay-as-you-go-Tarif abgerechnet. In diesem Fall wird der Traffic in den Monitoring-Dashboards als Spillover angezeigt. Weitere Informationen zum Monitoring der Nutzung von Bereitgestelltem Durchsatz finden Sie unter Bereitgestellten Durchsatz überwachen.

Sobald Ihre Bestellung für Bereitgestellten Durchsatz aktiv ist, wird das Standardverhalten automatisch angewendet. Sie müssen Ihren Code nicht ändern, um Ihre Bestellung zu nutzen, solange Sie sie in der bereitgestellten Region nutzen.

Nur Bereitgestellter Durchsatz verwenden

Wenn Sie Kosten verwalten, indem Sie On-Demand-Gebühren vermeiden, verwenden Sie nur Bereitgestellter Durchsatz. Bei Anfragen, die den Bestellbetrag für Bereitgestellten Durchsatz überschreiten, wird der Fehler 429 zurückgegeben.

Wenn Sie Anfragen an die API senden, setzen Sie den HTTP-Header X-Vertex-AI-LLM-Request-Type auf dedicated.

Nur „Pay as you go“ verwenden

Dies wird auch als On-Demand-Nutzung bezeichnet. Anfragen umgehen die Bestellung von Bereitgestelltem Durchsatz und werden direkt an Pay-as-you-go gesendet. Das kann für Tests oder Anwendungen in der Entwicklungsphase nützlich sein.

Wenn Sie Anfragen an die API senden, setzen Sie den HTTP-Header X-Vertex-AI-LLM-Request-Type auf shared.

Beispiel

pip install --upgrade google-genai

# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
# with appropriate values for your project.
export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
export GOOGLE_CLOUD_LOCATION=global
export GOOGLE_GENAI_USE_ENTERPRISE=True

from google import genai
from google.genai.types import HttpOptions

client = genai.Client(
    http_options=HttpOptions(
        api_version="v1",
        headers={
            # Options:
            # - "dedicated": Use Provisioned Throughput
            # - "shared": Use pay-as-you-go
            # https://cloud.google.com/vertex-ai/generative-ai/docs/use-provisioned-throughput
            "X-Vertex-AI-LLM-Request-Type": "shared"
        },
    )
)
response = client.models.generate_content(
    model="gemini-3.5-flash",
    contents="How does AI work?",
)
print(response.text)
# Example response:
# Okay, let's break down how AI works. It's a broad field, so I'll focus on the ...
#
# Here's a simplified overview:
# ...

# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
# with appropriate values for your project.
export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
export GOOGLE_CLOUD_LOCATION=global
export GOOGLE_GENAI_USE_ENTERPRISE=True

import (
	"context"
	"fmt"
	"io"
	"net/http"

	"google.golang.org/genai"
)

// generateText shows how to generate text Provisioned Throughput.
func generateText(w io.Writer) error {
	ctx := context.Background()

	client, err := genai.NewClient(ctx, &genai.ClientConfig{
		HTTPOptions: genai.HTTPOptions{
			APIVersion: "v1",
			Headers: http.Header{
				// Options:
				// - "dedicated": Use Provisioned Throughput
				// - "shared": Use pay-as-you-go
				// https://cloud.google.com/vertex-ai/generative-ai/docs/use-provisioned-throughput
				"X-Vertex-AI-LLM-Request-Type": []string{"shared"},
			},
		},
	})
	if err != nil {
		return fmt.Errorf("failed to create genai client: %w", err)
	}

	modelName := "gemini-2.5-flash"
	contents := genai.Text("How does AI work?")

	resp, err := client.Models.GenerateContent(ctx, modelName, contents, nil)
	if err != nil {
		return fmt.Errorf("failed to generate content: %w", err)
	}

	respText := resp.Text()

	fmt.Fprintln(w, respText)

	// Example response:
	// Artificial Intelligence (AI) isn't magic, nor is it a single "thing." Instead, it's a broad field of computer science focused on creating machines that can perform tasks that typically require human intelligence.
	// .....
	// In Summary:
	// ...

	return nil
}

npm install @google/genai

# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
# with appropriate values for your project.
export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
export GOOGLE_CLOUD_LOCATION=global
export GOOGLE_GENAI_USE_ENTERPRISE=True

const {GoogleGenAI} = require('@google/genai');

const GOOGLE_CLOUD_PROJECT = process.env.GOOGLE_CLOUD_PROJECT;
const GOOGLE_CLOUD_LOCATION = process.env.GOOGLE_CLOUD_LOCATION || 'global';

async function generateWithProvisionedThroughput(
  projectId = GOOGLE_CLOUD_PROJECT,
  location = GOOGLE_CLOUD_LOCATION
) {
  const client = new GoogleGenAI({
    vertexai: true,
    project: projectId,
    location: location,
    httpOptions: {
      apiVersion: 'v1',
      headers: {
        // Options:
        // - "dedicated": Use Provisioned Throughput
        // - "shared": Use pay-as-you-go
        // https://cloud.google.com/vertex-ai/generative-ai/docs/use-provisioned-throughput
        'X-Vertex-AI-LLM-Request-Type': 'shared',
      },
    },
  });

  const response = await client.models.generateContent({
    model: 'gemini-2.5-flash',
    contents: 'How does AI work?',
  });

  console.log(response.text);

  // Example response:
  //  Okay, let's break down how AI works. It's a broad field, so I'll focus on the ...
  //  Here's a simplified overview:
  //  ...

  return response.text;
}

# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
# with appropriate values for your project.
export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
export GOOGLE_CLOUD_LOCATION=global
export GOOGLE_GENAI_USE_ENTERPRISE=True

import com.google.genai.Client;
import com.google.genai.types.GenerateContentConfig;
import com.google.genai.types.GenerateContentResponse;
import com.google.genai.types.HttpOptions;
import java.util.Map;

public class ProvisionedThroughputWithTxt {

  public static void main(String[] args) {
    // TODO(developer): Replace these variables before running the sample.
    String modelId = "gemini-2.5-flash";
    generateContent(modelId);
  }

  // Generates content with Provisioned Throughput.
  public static String generateContent(String modelId) {
    // Client Initialization. Once created, it can be reused for multiple requests.
    try (Client client =
        Client.builder()
            .location("us-central1")
            .vertexAI(true)
            .httpOptions(
                HttpOptions.builder()
                    .apiVersion("v1")
                    .headers(
                        // Options:
                        // - "dedicated": Use Provisioned Throughput
                        // - "shared": Use pay-as-you-go
                        // https://cloud.google.com/vertex-ai/generative-ai/docs/use-provisioned-throughput
                        Map.of("X-Vertex-AI-LLM-Request-Type", "shared"))
                    .build())
            .build()) {

      GenerateContentResponse response =
          client.models.generateContent(
              modelId, "How does AI work?", GenerateContentConfig.builder().build());

      System.out.println(response.text());
      // Example response:
      // At its core, **AI (Artificial Intelligence) works by enabling machines to learn,
      // reason, and make decisions in ways that simulate human intelligence.** Instead of being
      // explicitly programmed for every single task...
      return response.text();
    }
  }
}

curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -H "X-Vertex-AI-LLM-Request-Type: dedicated" \ # Options: dedicated, shared
  $URL \
  -d '{"contents": [{"role": "user", "parts": [{"text": "Hello."}]}]}'

Bereitgestellter Durchsatz mit einem API-Schlüssel verwenden

Wenn Sie den bereitgestellten Durchsatz für ein bestimmtes Projekt, ein bestimmtes Google-Modell und eine bestimmte Region erworben haben und ihn zum Senden einer Anfrage mit einem API-Schlüssel verwenden möchten, müssen Sie die Projekt-ID, das Modell, den Standort und den API-Schlüssel als Parameter in Ihre Anfrage aufnehmen.

Informationen zum Erstellen eines an ein Dienstkonto gebundenen Cloud de Confiance by S3NS -API-Schlüssels finden Sie unter Cloud de Confiance by S3NS -API-Schlüssel abrufen. Informationen zum Senden von Anfragen an die Gemini API mit einem API-Schlüssel finden Sie unter Mit dem Knowledge-MCP-Server verbinden.

Im folgenden Beispiel wird gezeigt, wie Sie eine Anfrage mit einem API-Schlüssel senden, wenn Sie den bereitgestellten Durchsatz verwenden:

curl \
-X POST \
-H "Content-Type: application/json" \
"https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/MODEL_ID:generateContent?key=YOUR_API_KEY" \
-d $'{
  "contents": [
    {
      "role": "user",
      "parts": [
        {
          "text": "Explain how AI works in a few words"
        }
      ]
    }
  ]
}'

E-Mail-Benachrichtigungen erhalten

Mit der Essential Contacts API können Sie E-Mail-Benachrichtigungen zu Ihren Bestellungen für bereitgestellten Durchsatz erhalten. Klicken Sie nach der Aktivierung oben auf der Seite „Bestellungen für bereitgestellten Durchsatz“ auf Benachrichtigungen. Klicken Sie dann im angezeigten Dialogfeld auf Wichtige Kontakte und folgen Sie der Anleitung auf dem Bildschirm.

1. Aktivieren Sie die Essential Contacts API, falls sie noch nicht aktiviert ist.

   Erforderliche Rollen zum Aktivieren von APIs

   Zum Aktivieren von APIs benötigen Sie die Berechtigung serviceusage.services.enable. Wenn Sie das Projekt erstellt haben, haben Sie diese Berechtigung wahrscheinlich bereits über die Inhaberrolle (roles/owner). Andernfalls können Sie diese Berechtigung über die Rolle „Service Usage-Administrator“ (roles/serviceusage.serviceUsageAdmin) erhalten. Informationen zum Zuweisen von Rollen

   API aktivieren

2. Rufen Sie die Seite „Bereitgestellter Durchsatz“ auf.

   Zu „Bereitgestellter Durchsatz“

3. Klicken Sie auf Benachrichtigungen.

4. Klicken Sie im Dialogfeld Benachrichtigungen auf Wichtige Kontakte.

   Die Seite „Wichtige Kontakte“ wird geöffnet.

5. Klicken Sie auf Kontakt hinzufügen.

6. Geben Sie im Dialogfeld Kontakt hinzufügen die E‑Mail-Adresse des Kontakts in die Felder E‑Mail und E‑Mail-Adresse bestätigen ein.

7. Wählen Sie Produktupdates aus.

8. Klicken Sie auf Speichern.

Die Kontakt-E-Mail-Adresse wird über die folgenden Ereignisse im Zusammenhang mit dem bereitgestellten Durchsatz benachrichtigt:

Bereitgestellten Durchsatz überwachen

Sie können die Nutzung von Bereitgestellter Durchsatz selbst überwachen, indem Sie eine Reihe von Messwerten verwenden, die für den Ressourcentyp aiplatform.googleapis.com/PublisherModel erfasst werden.

Das Monitoring des Traffics für den bereitgestellten Durchsatz ist eine Funktion in der öffentlichen Vorschau.

Dimensionen

Sie können Messwerte nach den folgenden Dimensionen filtern:

Pfadpräfix

Das Pfadpräfix für einen Messwert ist aiplatform.googleapis.com/publisher/online_serving.

Der vollständige Pfad für den Messwert /consumed_throughput lautet beispielsweise aiplatform.googleapis.com/publisher/online_serving/consumed_throughput.

Messwerte

Die folgenden Cloud Monitoring-Messwerte sind für die Ressource aiplatform.googleapis.com/PublisherModel für die Gemini-Modelle verfügbar. Verwenden Sie die Anfragetypen dedicated, um nach der Nutzung von Bereitgestellter Durchsatz zu filtern.

Anthropic-Modelle haben auch einen Filter für bereitgestellten Durchsatz, aber nur für tokens und token_count.

Dashboards

Die Standard-Monitoring-Dashboards für Bereitgestellter Durchsatz bieten Messwerte, mit denen Sie Ihre Nutzung und die Auslastung von Bereitgestellter Durchsatz besser nachvollziehen können. So greifen Sie auf die Dashboards zu:

1. Rufen Sie in der Cloud de Confiance Console die Seite Bereitgestellter Durchsatz auf.

   Zu „Bereitgestellter Durchsatz“

2. Wenn Sie die Auslastung des bereitgestellten Durchsatzes für jedes Modell in Ihren Bestellungen aufrufen möchten, wählen Sie den Tab Auslastungsübersicht aus.

   In der Tabelle Auslastung des bereitgestellten Durchsatzes nach Modell können Sie Folgendes für den ausgewählten Zeitraum sehen:

   • Gesamtzahl der GSUs, die Sie hatten.

   • Spitzendurchsatznutzung in GSUs.

   • Die durchschnittliche GSU-Auslastung.

   • Die Häufigkeit, mit der Sie das Limit für den bereitgestellten Durchsatz erreicht haben.

3. Wählen Sie ein Modell aus der Tabelle Auslastung des bereitgestellten Durchsatzes nach Modell aus, um weitere Messwerte für das ausgewählte Modell aufzurufen.

Monitoring-Dashboards interpretieren

Der bereitgestellte Durchsatz prüft das verfügbare Kontingent in Echtzeit auf Millisekundenebene für Anfragen, während sie gestellt werden. Diese Daten werden jedoch mit einem rollierenden Kontingentzeitraum verglichen, der auf der internen Uhrzeit der Agent Platform basiert. Dieser Vergleich ist unabhängig vom Zeitpunkt der Anfragen. In den Monitoring-Dashboards werden Nutzungsmesswerte nach dem Kontingentabgleich angezeigt. Diese Messwerte werden jedoch aggregiert, um Durchschnittswerte für Dashboard-Ausrichtungszeiträume basierend auf dem ausgewählten Zeitraum bereitzustellen. Die niedrigste Granularität, die von den Monitoring-Dashboards unterstützt wird, ist die Minutenebene. Außerdem unterscheidet sich die Uhrzeit für die Monitoring-Dashboards von der der Agent Platform.

Diese zeitlichen Unterschiede können gelegentlich zu Abweichungen zwischen den Daten in den Monitoring-Dashboards und der Echtzeitleistung führen. Diese können folgende Ursachen haben:

• Kontingente werden in Echtzeit erzwungen. In den Monitoring-Diagrammen werden die Daten jedoch je nach dem in den Monitoring-Dashboards angegebenen Zeitraum in durchschnittlichen Dashboard-Ausrichtungszeiträumen von einer Minute oder mehr aggregiert.

• Die Agent Platform und die Monitoring-Dashboards werden mit unterschiedlichen Systemuhren ausgeführt.

• Wenn innerhalb einer Sekunde ein Traffic-Burst Ihr Kontingent für den bereitgestellten Durchsatz basierend auf dem Erzwingungsfenster überschreitet, wird die gesamte Anfrage als Spillover-Traffic verarbeitet. Die Gesamtauslastung des bereitgestellten Durchsatzes kann jedoch niedrig erscheinen, wenn die Monitoring-Daten für diese Sekunde innerhalb des 1-minütigen Ausrichtungszeitraums gemittelt werden, da die durchschnittliche Auslastung über den gesamten Ausrichtungszeitraum möglicherweise nicht 100 % überschreitet. Wenn Sie Spillover-Traffic sehen, ist das ein Zeichen dafür, dass Ihr Kontingent für den bereitgestellten Durchsatz während des Zeitraums der Kontingentdurchsetzung, in dem diese spezifischen Anfragen gestellt wurden, vollständig ausgeschöpft war. Dies gilt unabhängig von der durchschnittlichen Auslastung, die in den Monitoring-Dashboards angezeigt wird.

Beispiel für eine potenzielle Diskrepanz bei Monitoringdaten

In diesem Beispiel werden einige der Abweichungen veranschaulicht, die sich aus der falschen Ausrichtung von Fenstern ergeben. Abbildung 1 zeigt die Durchsatznutzung über einen bestimmten Zeitraum. In dieser Abbildung gilt:

• Die blauen Balken stellen den Traffic dar, der als bereitgestellter Durchsatz zugelassen ist.

• Der orangefarbene Balken stellt Traffic dar, der die Nutzung über das GSU-Limit hinaus erhöht und als Überlauf verarbeitet wird.

Abbildung 2 zeigt mögliche visuelle Abweichungen aufgrund einer fehlerhaften Fensteranordnung, basierend auf der Durchsatznutzung. In dieser Abbildung gilt:

• Die blaue Linie stellt den Traffic für den bereitgestellten Durchsatz dar.

• Die orangefarbene Linie stellt den Spillover-Traffic dar.

In diesem Fall zeigen die Monitoring-Daten möglicherweise die Nutzung des bereitgestellten Durchsatzes ohne Überlauf für einen Monitoring-Aggregationszeitraum, während gleichzeitig die Nutzung des bereitgestellten Durchsatzes unter dem GSU-Limit mit einem Überlauf in einem anderen Monitoring-Aggregationszeitraum zusammenfällt.

Fehlerbehebung bei Monitoring-Dashboards

So können Sie unerwartete Überläufe in Ihren Dashboards oder 429-Fehler beheben:

1. Heranzoomen: Legen Sie den Zeitraum des Dashboards auf 12 Stunden oder weniger fest, um den detailliertesten Ausrichtungszeitraum von 1 Minute zu erhalten. Große Zeiträume glätten Spitzen, die zu einer Drosselung führen, und erhöhen die Durchschnittswerte des Ausrichtungszeitraums.

2. Gesamttraffic prüfen: In Ihren modellspezifischen Dashboards werden dedizierter und Spillover-Traffic als zwei separate Linien angezeigt. Dies kann zu dem falschen Schluss führen, dass das Kontingent für den bereitgestellten Durchsatz nicht vollständig genutzt wird und vorzeitig überläuft. Wenn Ihr Traffic das verfügbare Kontingent überschreitet, wird die gesamte Anfrage als Spillover verarbeitet. Eine weitere hilfreiche Visualisierung ist das Hinzufügen einer Abfrage zum Dashboard mit dem Metrics Explorer, die den Token-Durchsatz für das spezifische Modell und die Region enthält. Fügen Sie keine zusätzlichen Aggregationen oder Filter hinzu, um den gesamten Traffic für alle Traffictypen (dediziert, Spillover und freigegeben) zu sehen.

Genmedia-Modelle überwachen

Das Monitoring des bereitgestellten Durchsatzes ist für Veo-Modelle nicht verfügbar.

Benachrichtigungen

Nachdem Sie Benachrichtigungen aktiviert haben, können Sie Standardbenachrichtigungen festlegen, um die Traffic-Nutzung zu verwalten.

Benachrichtigungen aktivieren

So aktivieren Sie Benachrichtigungen im Dashboard:

1. Rufen Sie in der Cloud de Confiance Console die Seite Bereitgestellter Durchsatz auf.

   Zu „Bereitgestellter Durchsatz“

2. Wenn Sie die Auslastung des bereitgestellten Durchsatzes für jedes Modell in Ihren Bestellungen aufrufen möchten, wählen Sie den Tab Auslastungsübersicht aus.

3. Wählen Sie Empfohlene Benachrichtigungen aus. Die folgenden Benachrichtigungen werden angezeigt:

   • Provisioned Throughput Usage Reached Limit
   • Provisioned Throughput Utilization Exceeded 80%
   • Provisioned Throughput Utilization Exceeded 90%

4. Prüfen Sie die Benachrichtigungen, die Ihnen bei der Verwaltung Ihres Traffics helfen.

Weitere Details zur Benachrichtigung ansehen

So rufen Sie weitere Informationen zu Benachrichtigungen auf:

1. Rufen Sie die Seite Integrationen auf.

   Zu „Integrationen“

2. Geben Sie im Feld Filter Agent Platform ein und drücken Sie die Eingabetaste. Die Google Agent Platform wird angezeigt.

3. Wenn Sie weitere Informationen aufrufen möchten, klicken Sie auf Details ansehen. Der Bereich Details zur Google Agent Platform wird angezeigt.

4. Wählen Sie den Tab Benachrichtigungen aus. Sie können dann eine Vorlage für eine Benachrichtigungsrichtlinie auswählen.

Nächste Schritte

• Behebe den Fehlercode 429.