Beobachtbarkeit – Übersicht

Die Beobachtbarkeit von KI-Agenten in der Gemini Enterprise Agent Platform bietet umfassende Einblicke in die Leistung, das Verhalten und den Zustand Ihrer bereitgestellten KI-Agenten und MCP-Server (Model Context Protocol). Durch das Monitoring wichtiger Messwerte, das Tracing von Ausführungspfaden und die Beobachtung Ihres Multi-Agenten-Systems als Ganzes können Sie Probleme diagnostizieren, den Ressourcenverbrauch optimieren und die Zuverlässigkeit Ihrer Agenten verbessern.

Dieses Dokument bietet eine Übersicht über die Beobachtbarkeitstools, die in der Gemini Enterprise Agent Platform verfügbar sind, einschließlich systemweiter Topologie, Monitoring einzelner KI-Agenten und MCP-Servermesswerte.

Telemetrie einrichten

Damit diese Dashboards, Topologien und Traces zur Beobachtbarkeit mit Daten gefüllt werden, müssen Ihre KI-Agenten so konfiguriert sein, dass sie Telemetriedaten im OpenTelemetry-Format an Speichersysteme in Google Cloud Observability senden.

Achten Sie darauf, dass Ihre KI-Agenten- und MCP-Serverumgebungen richtig konfiguriert sind, um diese Daten auszugeben. Integrierte Cloud de Confiance by S3NS -Komponenten geben automatisch Telemetriedaten im OpenTelemetry-Format aus. Model Armor gibt beispielsweise standardisierte Telemetriedaten aus, sodass Sie Richtlinienverletzungen in Echtzeit direkt in Ihren Trace-Daten sichtbar machen und überwachen können, ohne dass eine benutzerdefinierte Instrumentierung erforderlich ist.

Anleitungen und Anforderungen zur Einrichtung der Agent-Telemetrie finden Sie in den folgenden Ressourcen:

Beobachtbarkeitssignale

Die Gemini Enterprise Agent Platform bietet Beobachtbarkeit durch Messwerte, Traces und Logs.

Wenn Sie einen bestimmten KI-Agenten aus der Registry auswählen, finden Sie auf dem Tab Beobachtbarkeit eine Reihe von Dashboards, mit denen Sie den Betriebszustand, die Leistung und die Infrastrukturnutzung überwachen können. Verwenden Sie die linke Navigation auf dem Tab Beobachtbarkeit, um zwischen den folgenden Ansichten zu wechseln:

  • Übersicht: Hier wird die allgemeine Nutzung im ausgewählten Zeitraum erfasst, einschließlich der Gesamtzahl der Sitzungen, der durchschnittlichen Turns pro Sitzung und der Gesamtzahl der Agentenaufrufe. In Zeitreihendiagrammen werden die Tokennutzung (Eingabe im Vergleich zur Ausgabe), das gesamte Trafficvolumen des Agents, Latenzperzentile (p50, p95, p99) und Fehlerraten angezeigt.
  • Bewertung: Zeigt Onlinemonitore für die kontinuierliche Qualitätsbewertung an. Dazu gehören Zeitreihen-Widgets, mit denen die durchschnittliche Antwortqualität, Sicherheitsmesswerte, Halluzinationsraten und die Qualität der Toolnutzung erfasst werden.
  • Modelle: Schlägt die Leistung nach dem zugrunde liegenden Foundation Model auf. Sie können die P95-Latenz, die Gesamtzahl der Aufrufe, die Fehlerraten, die Ratenkontingentfehler und die Tokennutzung für bestimmte Modelle isoliert überwachen.
  • Tools: Überwacht die externen Tools und Dienste, die mit dem Agenten verbunden sind. In dieser Ansicht werden die P95-Latenz, die Anzahl der Aufrufe und die Fehlerraten pro Tool sowie die Häufigkeit von Interaktionen, bei denen kein Tool aufgerufen wurde, aufgeführt.
  • Nutzung: Bietet Messwerte auf Infrastrukturebene für die Laufzeitumgebung des Agenten, einschließlich Container-CPU-Zuweisung, Container-Arbeitsspeicherzuweisung und Tokennutzung.
  • Logs: Zeigt einen filterbaren Stream von Rohlogs des KI-Agenten an, einschließlich Schweregrad, Zeitstempeln und Ausführungszusammenfassungen für eine detaillierte Fehlerbehebung. Weitere Informationen finden Sie unter Agent-Logs ansehen.

Zusätzlich zu den Dashboards auf dem Tab Beobachtbarkeit können Sie auf dem Tab Traces des KI-Agenten die schrittweise Ausführung bestimmter Sitzungen prüfen, einschließlich gerichteter azyklischer Graphen von Spans und Ein-/Ausgaben. Weitere Informationen finden Sie unter Agent-Traces ansehen. Sie können auch den Tab Topologie verwenden, um die spezifischen eingehenden und ausgehenden Abhängigkeiten für diesen einzelnen Agenten aufzurufen.

Bei MCP-Servern können Sie die Anzahl der Anfragen und die P95-Anfragedauer überwachen, um die Auslastung und Reaktionsfähigkeit zu verfolgen.

KI-Agentenaktionen prüfen

Zur Unterstützung von Sicherheits- und Compliance-Audits in Unternehmen verwendet die Gemini Enterprise Agent Platform Logging mit doppelter Attribution, um Agentenaktivitäten in Cloud Logging aufzuzeichnen. Wenn ein Agent im Namen einer Person eine Aktion ausführt oder ein Tool aufruft (vom Nutzer delegierte Berechtigung), werden in den Audit- und Ausführungslogs sowohl die SPIFFE-basierte Agentenidentität (principal://... in Audit-Logs oder spiffe://... in Ausführungslogs) als auch die Identität des initiierenden menschlichen Nutzers aufgezeichnet. Wenn ein KI-Agent autonom in eigener Verantwortung handelt, werden die Aktionen in den Logs direkt der eindeutigen Identität des KI-Agenten zugeordnet.

Prüfer und Sicherheitsadministratoren können von KI-Agenten initiierte Ereignisse in Cloud Logging isolieren und überprüfen, indem sie in Logabfragen nach dem Flag is_agentic=true filtern. Wenn Sie is_agentic=true mit der Agentenidentität oder dem Nutzer-Principal kombinieren, können Sie End-to-End-Ausführungspfade verfolgen und die Durchsetzung von Richtlinien für alle Agenteninteraktionen überprüfen.

OpenTelemetry-Konventionen für generative KI

Agent-Traces und Prompt-und-Antwort-Logs basieren stark auf den semantischen OpenTelemetry-Konventionen für generative KI-Systeme, um die Erfassung, Strukturierung und Meldung von Telemetriedaten für generative KI zu standardisieren.

Die Einhaltung dieser Konventionen ist für das Agent-Tracing von entscheidender Bedeutung, da sie ein universelles, herstellerunabhängiges Format für die Beschreibung komplexer, mehrstufiger Agent-Workflows wie Toolausführungen, Abrufschritte und Tokenverbrauch festlegt. Diese Standardisierung ermöglicht eine nahtlose Interoperabilität zwischen verschiedenen Beobachtbarkeits-Back-Ends und Analysetools, sowohl innerhalb als auch außerhalb von Cloud de Confiance by S3NS.

Nächste Schritte