Bewertungsmesswerte verwalten

Hinweis

Bevor Sie Auswertungsstatistiken verwalten, müssen Sie Folgendes haben:

• Ein Cloud de Confiance by S3NS -Projekt mit aktivierter Agent Platform API.
• Optional: Wenn Sie das Agent Platform SDK verwenden, initialisieren Sie den Client wie unter Agenten bewerten beschrieben.

In der Messwertregistrierung können Sie wiederverwendbare Konfigurationen für die Bewertung Ihrer Agents definieren, speichern und verwalten. Anstatt Kriterien für jeden Testlauf zu konfigurieren, können Sie standardisierte Messwerte speichern, z. B. eine benutzerdefinierte LLM-basierte Rubrik für die Sicherheit oder eine Python-Funktion für die Ausführungsgenauigkeit, und sie konsistent sowohl auf Offline-Bewertungen als auch auf kontinuierliche Online-Monitore anwenden.

Messwerttypen

Die Agent-Plattform unterstützt drei Arten von Messwerten in der Registrierung:

• Vordefinierte Messwerte:Von Google bereitgestellte verwaltete Messwerte, einschließlich Mehrfachdialog-Ratern für Erfolg von Aufgaben, Qualität der Toolnutzung und Einhaltung von Trajektorien.
• Benutzerdefinierte LLM-Messwerte:Rubriken in natürlicher Sprache, in denen ein „Judge-LLM“ die Antwort eines KI-Agents anhand Ihrer spezifischen Kriterien und Bewertungsskalen bewertet.
• Benutzerdefinierte Code-Messwerte:Python-Funktionen, mit denen das Verhalten von KI-Agenten programmatisch validiert wird, z. B. durch Überprüfung auf ein bestimmtes Ausgabeformat oder eine Tool-Antwort.

Zusätzlich zu den von Google bereitgestellten verwalteten Messwerten können Sie auch benutzerdefinierte registrierte Messwerte für die Auswertung verwenden.

Vordefinierte Messwerte

Die Agent Platform bietet eine Reihe vordefinierter Messwerte zur Bewertung von Agenten. Diese Messwerte werden von Google verwaltet und decken gängige Bewertungsdimensionen für Agent-Interaktionen mit einem und mehreren Turns ab.

Sie können mit types.RubricMetric.METRIC_NAME auf vordefinierte Messwerte im SDK zugreifen. Ausführliche Informationen zu allen verwalteten, auf Rubriken basierenden Messwerten, einschließlich der Anforderungen an die Eingabe und der Ausgabeformate, finden Sie unter Details zu verwalteten, auf Rubriken basierenden Messwerten.

Messwerte für Agenten mit nur einem Durchlauf

Die folgenden Messwerte bewerten eine einzelne Agent-Interaktion (ein Prompt und eine Antwort, möglicherweise mit zwischenzeitlichen Tool-Aufrufen):

Messwerte für Agents mit Mehrfachdialog

Die folgenden Messwerte werden zur Bewertung von Mehrfachdialogen mit Agenten verwendet. Sie analysieren den gesamten Unterhaltungskontext, um die Gesamtleistung des Kundenservicemitarbeiters über mehrere Runden hinweg zu bewerten:

Vordefinierte Messwerte im SDK verwenden

from vertexai import evals, types

# Run an evaluation with predefined metrics
result = client.evals.evaluate(
    dataset=eval_dataset,
    metrics=[
        types.RubricMetric.FINAL_RESPONSE_QUALITY,
        types.RubricMetric.TOOL_USE_QUALITY,
        types.RubricMetric.HALLUCINATION,
        types.RubricMetric.SAFETY,
    ],
)

# Visualize results in Colab
result.show()

Messwerte in der Console verwalten

1. Rufen Sie in der Cloud de Confiance Console die Seite Agent Platform > Agents > Evaluation auf.

   Zur Auswertung

2. Klicken Sie auf den Tab Messwerte, um die Registrierung aufzurufen.

3. Messwert erstellen:Klicken Sie auf Neuer Messwert und wählen Sie Benutzerdefinierter LLM-Messwert oder Benutzerdefinierter Codemesswert aus.

4. Rubriken definieren:Verwenden Sie für LLM-Messwerte die Schaltflächen Beispiel, um Anleitungen, Kriterien (z. B. Klarheit oder Begeisterung) und Bewertungen schnell zu erstellen.

5. Ansehen und bearbeiten:Klicken Sie auf einen beliebigen Messwertnamen, um die Definition im schreibgeschützten Modus aufzurufen. Über das Dreipunkt-Menü Weitere Optionen more_vert können Sie die Ressource Duplizieren oder Löschen.

Messwerte mit dem SDK verwalten

Sie können Messwerte programmatisch mit dem Agent Platform SDK registrieren und verwenden.

Benutzerdefinierten LLM-Messwert registrieren

from vertexai import evals, types

# Define a metric with a specific rubric
tone_check_metric = types.LLMMetric(
        name="tone_check",
        prompt_template="Analyze the tone of the response ...",
        result_parsing_function="""
          import json, re
          def parse_results(responses):
              response = json.loads(responses[0])
              return {"score": response.get("score", 0.0),
                      "explanation": response.get("explanation", "default explanation")}
          """
)

# Register the custom metric
tone_check_metric_path = client.evals.create_evaluation_metric(
    metric=tone_check_metric
)

Benutzerdefinierten Codemesswert registrieren

from vertexai import evals, types

# Define a metric with custom python code
accuracy_metric_code = """
def evaluate(instance: dict) -> float:
    agent_data = instance.get('agent_eval_data', {})
    turns = agent_data.get('turns', [])
    for turn in turns:
        ...
"""

accuracy_metric = types.CodeExecutionMetric(
    name="multi_turn_accuracy",
    custom_function=accuracy_metric_code
)

# Register the custom metric
accuracy_metric_path = client.evals.create_evaluation_metric(
    metric=accuracy_metric
)