Kontinuierliche Evaluierung mit Online-Monitoren

Mit dem Onlinemonitoring können Sie die Qualität Ihrer KI-Agenten in der Produktion kontinuierlich bewerten. Mit diesem proaktiven Ansatz können Sie eine Qualitätsabweichung erkennen, also eine beobachtbare Abnahme der Agentenleistung im Laufe der Zeit, die durch Änderungen im Nutzerverhalten oder externe Daten verursacht wird. Wenn Sie Online-Monitore konfigurieren, können Sie Live-Traces asynchron mit vordefinierten und benutzerdefinierten Messwerten bewerten. So bleibt Ihr KI-Agent zuverlässig und entspricht Ihren Leistungsstandards.

Hinweis

Damit Sie das Onlinemonitoring für Ihre Agenten aktivieren können, müssen die folgenden Anforderungen erfüllt sein:

  • Stellen Sie Ihren KI-Agenten wie unter KI-Agenten bereitstellen beschrieben bereit.
  • Prüfen Sie, ob Cloud Trace für Ihr Projekt aktiviert ist.
  • (Optional) Wenn Sie Monitore programmatisch erstellen möchten, finden Sie auf der Seite Agenten bewerten eine Anleitung zur Initialisierung des Agent Platform SDK.

Telemetrieanforderungen

Für das Online-Monitoring muss Ihr Agent bestimmte OpenTelemetry-Signale exportieren, um den erforderlichen Kontext für die Bewertung bereitzustellen:

  1. Agent-Span aufrufen: Muss die folgenden Attribute enthalten:

    • gen_ai.agent.name: Die Kennung für den Agenten.
    • gen_ai.agent.description: Eine kurze Beschreibung des Zwecks des KI-Agenten.
    • gen_ai.conversation.id: Eine eindeutige Kennung für die jeweilige Unterhaltungssitzung.

  2. Inferenzereignisse: Das Ereignis gen_ai.client.inference.operation.details muss Folgendes erfassen:

    • gen_ai.input.messages: Die Prompts, die an den Agenten gesendet wurden.
    • gen_ai.output.messages: Die vom KI-Agenten generierten Antworten.
    • gen_ai.system_instructions: Die zugrunde liegenden System-Prompts.
    • gen_ai.tool.definitions: Metadaten zu allen Tools, die dem KI-Agenten zur Verfügung stehen.

Wenn Sie das Agent Development Kit verwenden, müssen Sie diese Telemetriefunktionen aktivieren, indem Sie die folgenden Umgebungsvariablen festlegen:

OTEL_SEMCONV_STABILITY_OPT_IN='gen_ai_latest_experimental'
OTEL_INSTRUMENTATION_GENAI_CAPTURE_MESSAGE_CONTENT='EVENT_ONLY'

Aufzeichnungsmedien in Cloud Storage

Wenn Ihr Agent multimodale Daten wie Bilder oder große Dokumente verwendet, empfehlen wir, die Ein- und Ausgaben in einem Cloud Storage-Bucket aufzuzeichnen, anstatt sie direkt in Trace-Spans einzubetten. Konfigurieren Sie die folgenden Umgebungsvariablen, um dies zu aktivieren:

OTEL_INSTRUMENTATION_GENAI_UPLOAD_FORMAT='jsonl'
OTEL_INSTRUMENTATION_GENAI_COMPLETION_HOOK='upload'
OTEL_INSTRUMENTATION_GENAI_UPLOAD_BASE_PATH='gs://STORAGE_BUCKET_NAME/PATH'

Weitere Informationen finden Sie unter Multimodale Prompts und Antworten erfassen.

So funktionieren Online-Monitore

Online-Monitore werden in einer geplanten Bewertungsschleife ausgeführt, in der Regel alle 10 Minuten. Die Schleife umfasst folgende Schritte:

  1. Abfrage: Erstellt Stichproben von Daten aus Cloud Trace und Cloud Logging basierend auf Ihren Filtern.
  2. Bewerten: Führt konfigurierte Messwerte mit dem Gemini Enterprise Agent Platform Evaluation Service aus.
  3. Bericht: Schreibt Ergebnisse zurück in Cloud Logging und exportiert numerische Werte in Cloud Monitoring.

Online-Monitor erstellen

  1. Rufen Sie in der Cloud de Confiance Console die Seite Agent Platform > Agents > Evaluation auf.

    Zur Bewertung

  2. Wählen Sie den Tab Onlinemonitore aus und klicken Sie auf Neuer Monitor.

  3. Filter-Traces angeben:

    • Agent-Engine: Wählen Sie im Drop-down-Menü den Agenten aus, den Sie beobachten möchten.
    • Filterkriterien: Wählen Sie aus, ob alle Traces für den Agenten ausgewertet oder bestimmte Filterkriterien angewendet werden sollen.

  4. Filterkriterien definieren (bei Verwendung gefilterter Traces):

    • Erste Prüfung: Wählen Sie einen Zeitraum aus (z. B. Letzter Tag), um eine Vorschau der Produktions-Traces zu sehen, die mit Ihrem Filter übereinstimmen.
    • Filter: Geben Sie Kriterien ein, um bestimmten Traffic anzusprechen. Sie können nach Attributen wie Duration (z. B. Duration > 2) oder Token usage filtern.

  5. Messwerte konfigurieren: Fügen Sie die Messwerte hinzu, die Sie kontinuierlich erfassen möchten, z. B. Sicherheit.

  6. Stichprobenerhebung festlegen:

    • Stichprobenprozentsatz: Legen Sie fest, welcher Prozentsatz Ihres Live-Traffics ausgewertet werden soll.
    • Maximale Anzahl von Stichproben pro Ausführung: Legen Sie eine Obergrenze fest, um die Bewertungskosten zu verwalten.

  7. Klicken Sie auf Erstellen.

Monitore verwalten

Nachdem Sie einen Monitor erstellt haben, können Sie ihn über die Liste Online-Monitore verwalten:

  • Status-Umschalter: Klicken Sie auf Weitere Optionen und wählen Sie Aktivieren oder Deaktivieren aus, um die Bewertung zu pausieren, ohne die Konfiguration zu löschen.
  • Pausieren und fortsetzen:Über Weitere Optionen können Sie die Bewertung vorübergehend anhalten.
  • Duplizieren: Erstellen Sie einen neuen Monitor mit vorausgefüllten Einstellungen aus einem vorhandenen Monitor.
  • Traces ansehen: Klicken Sie in der Spalte Stichproben-Traces für einen Monitor auf den Link Traces ansehen, um direkt zu den gefilterten Traces auf dem Tab Traces des Agents zu gelangen.

Ergebnisse im Observability-Dashboard ansehen

So rufen Sie Ihre Bewertungsmesswerte zusammen mit anderen Leistungssignalen auf:

  1. Rufen Sie in der Cloud de Confiance Console die Seite Agent Platform > Agenten auf.
  2. Wählen Sie im linken Navigationsmenü Bereitstellungen aus.

  3. Wählen Sie den Agent aus.

    Zu Deployments

  4. Wählen Sie in der Ansicht Dashboard den Unterabschnitt Bewertung aus, um Zeitreihendiagramme für Ihre konfigurierten Messwerte wie Antwortqualität, Sicherheit und Halluzinationsraten aufzurufen.

Ergebnisse für einzelne Traces ansehen

Sie können die Bewertungsergebnisse für bestimmte Unterhaltungen auch direkt in der Traces-Ansicht prüfen:

  1. Rufen Sie in der Cloud de Confiance Console den Tab Traces des KI-Agenten auf.
  2. Wählen Sie in der Tabelle eine Sitzung oder einen Trace aus, um den Detailbereich zu öffnen.
  3. Wählen Sie den Tab Bewertung aus, um die Punktzahlen und Begründungen für diese Interaktion aufzurufen.

Fehlerbehebung bei Online-Monitoren

Wenn Ihr Online-Monitor aktiv ist, aber keine Ergebnisse in Ihrem Dashboard angezeigt werden:

  1. Telemetrie prüfen: Prüfen Sie, ob Ihr Agent die erforderlichen OpenTelemetry-Spans und -Ereignisse korrekt exportiert. Prüfen Sie in Cloud Trace, ob Live-Traces die gen_ai.-Attribute enthalten.
  2. Filter prüfen:Überprüfen Sie die Filterkriterien Ihres Monitors. Mit der Funktion Erstprüfung können Sie prüfen, ob Ihre Filter mit dem Produktionstraffic übereinstimmen.

  3. Interne Logs prüfen: Online-Monitore schreiben Diagnoseinformationen in Cloud Logging. Wenn eine Auswertung fehlschlägt, wird ein Fehlerprotokoll erstellt. Sie finden diese Logs im Log-Explorer, indem Sie nach Ihrer Monitor-ID oder nach bestimmten Traces und Agents suchen:

    resource.labels.online_evaluator="projects/YOUR_PROJECT_ID/locations/YOUR_REGION/onlineEvaluators/YOUR_MONITOR_ID"
# Or search by trace or agent
labels.trace="YOUR_TRACE_ID"
labels.reasoning_engine_id="YOUR_AGENT_ID"