Gestisci metriche di valutazione

Prima di iniziare

Prima di gestire le metriche di valutazione, assicurati di disporre di quanto segue:

• Un progetto Cloud de Confiance by S3NS con l'API Agent Platform abilitata.
• (Facoltativo) Se utilizzi l'SDK Agent Platform, inizializza il client come descritto in Valutare gli agenti.

Il registro delle metriche ti consente di definire, archiviare e gestire configurazioni riutilizzabili per la modalità di valutazione degli agenti. Anziché configurare i criteri per ogni esecuzione del test, puoi salvare metriche standardizzate, ad esempio una griglia personalizzata basata su LLM per la sicurezza o una funzione Python per l'esecuzione accurata, e applicarle in modo coerente sia alle valutazioni offline sia ai monitor online continui.

Tipi di metriche

Agent Platform supporta tre tipi di metriche nel registry:

• Metriche predefinite:metriche gestite fornite da Google, tra cui valutatori multi-turno per il successo dell'attività, la qualità dell'utilizzo dello strumento e la conformità della traiettoria.
• Metriche LLM personalizzate: griglie in linguaggio naturale in cui un "LLM giudice" valuta la risposta di un agente in base a criteri e scale di valutazione specifici.
• Metriche del codice personalizzato:funzioni Python che convalidano in modo programmatico il comportamento dell'agente, ad esempio controllando un formato di output specifico o verificando una risposta dello strumento.

Oltre alle metriche gestite fornite da Google, puoi utilizzare metriche registrate personalizzate per la valutazione.

Metriche predefinite

Agent Platform fornisce un insieme di metriche predefinite per valutare gli agenti. Queste metriche sono gestite da Google e coprono le dimensioni di valutazione comuni per le interazioni degli agenti a turno singolo e multi-turno.

Puoi accedere alle metriche predefinite nell'SDK utilizzando types.RubricMetric.METRIC_NAME. Per i dettagli completi di tutte le metriche basate su rubriche gestite, inclusi i requisiti di input e i formati di output, consulta Dettagli delle metriche basate su rubriche gestite.

Metriche dell'agente a singolo turno

Le seguenti metriche valutano una singola interazione dell'agente (un prompt e una risposta, potenzialmente con chiamate di strumenti intermedie):

Metriche degli agenti multi-turn

Le seguenti metriche valutano le conversazioni multi-turno dell'agente. Analizzano l'intero contesto della conversazione per valutare il rendimento complessivo dell'agente in più turni:

Utilizzare le metriche predefinite nell'SDK

from vertexai import evals, types

# Run an evaluation with predefined metrics
result = client.evals.evaluate(
    dataset=eval_dataset,
    metrics=[
        types.RubricMetric.FINAL_RESPONSE_QUALITY,
        types.RubricMetric.TOOL_USE_QUALITY,
        types.RubricMetric.HALLUCINATION,
        types.RubricMetric.SAFETY,
    ],
)

# Visualize results in Colab
result.show()

Gestire le metriche nella console

1. Nella console Cloud de Confiance , vai alla pagina Agent Platform > Agenti > Valutazione.

   Vai a Valutazione

2. Fai clic sulla scheda Metriche per visualizzare il registro.

3. Crea una metrica:fai clic su Nuova metrica e seleziona Metrica LLM personalizzata o Metrica codice personalizzato.

4. Definisci rubriche:per le metriche LLM, utilizza i pulsanti Esempio per compilare rapidamente istruzioni, criteri (ad esempio Chiarezza o Entusiasmo) e punteggi di valutazione.

5. Visualizza e modifica:fai clic sul nome di una metrica per visualizzarne la definizione in modalità di sola lettura oppure utilizza l'icona Altre opzioni more_vert per duplicare o eliminare la risorsa.

Gestire le metriche con l'SDK

Puoi registrare e utilizzare le metriche a livello di programmazione utilizzando l'SDK Agent Platform.

Registrare una metrica LLM personalizzata

from vertexai import evals, types

# Define a metric with a specific rubric
tone_check_metric = types.LLMMetric(
        name="tone_check",
        prompt_template="Analyze the tone of the response ...",
        result_parsing_function="""
          import json, re
          def parse_results(responses):
              response = json.loads(responses[0])
              return {"score": response.get("score", 0.0),
                      "explanation": response.get("explanation", "default explanation")}
          """
)

# Register the custom metric
tone_check_metric_path = client.evals.create_evaluation_metric(
    metric=tone_check_metric
)

Registrare una metrica codice personalizzato

from vertexai import evals, types

# Define a metric with custom python code
accuracy_metric_code = """
def evaluate(instance: dict) -> float:
    agent_data = instance.get('agent_eval_data', {})
    turns = agent_data.get('turns', [])
    for turn in turns:
        ...
"""

accuracy_metric = types.CodeExecutionMetric(
    name="multi_turn_accuracy",
    custom_function=accuracy_metric_code
)

# Register the custom metric
accuracy_metric_path = client.evals.create_evaluation_metric(
    metric=accuracy_metric
)