Gerenciar métricas de avaliação

Antes de começar

Antes de gerenciar as métricas de avaliação, verifique se você tem o seguinte:

• Um projeto do Cloud de Confiance by S3NS com a API Agent Platform ativada.
• (Opcional) Se estiver usando o SDK da Agent Platform, inicialize o cliente conforme descrito em Avaliar seus agentes.

O registro de métricas permite definir, armazenar e gerenciar configurações reutilizáveis para a avaliação dos seus agentes. Em vez de configurar critérios para cada execução de teste, você pode salvar métricas padronizadas, como uma rubrica personalizada baseada em LLM para segurança ou uma função Python para precisão de execução, e aplicá-las de maneira consistente a avaliações off-line e monitores on-line contínuos.

Tipos de métricas

A Agent Platform é compatível com três tipos de métricas no registro:

• Métricas predefinidas:métricas gerenciadas fornecidas pelo Google, incluindo avaliadores multiturno para sucesso da tarefa, qualidade do uso de ferramentas e conformidade da trajetória.
• Métricas personalizadas de LLM:rubricas de linguagem natural em que um "LLM de avaliação" avalia a resposta de um agente com base nos seus critérios e escalas de classificação específicos.
• Métricas de código personalizadas:funções Python que validam programaticamente o comportamento do agente, como verificar um formato de saída específico ou uma resposta da ferramenta.

Além das métricas gerenciadas fornecidas pelo Google, você pode usar métricas registradas personalizadas para avaliação.

Métricas predefinidas

A Agent Platform oferece um conjunto de métricas predefinidas para avaliar agentes. Essas métricas são gerenciadas pelo Google e abrangem dimensões comuns de avaliação para interações de agente de turno único e multiturno.

É possível acessar métricas predefinidas no SDK usando types.RubricMetric.METRIC_NAME. Para conferir todos os detalhes das métricas gerenciadas com base em rubricas, incluindo requisitos de entrada e formatos de saída, consulte Detalhes das métricas gerenciadas com base em rubricas.

Métricas de agente de uma única interação

As métricas a seguir avaliam uma única interação do agente (um comando e uma resposta, possivelmente com chamadas de ferramenta intermediárias):

Métricas de agente multiturno

As métricas a seguir avaliam conversas com agentes multiturno. Eles analisam o contexto completo da conversa para avaliar a performance geral do agente em várias interações:

Usar métricas predefinidas no SDK

from vertexai import evals, types

# Run an evaluation with predefined metrics
result = client.evals.evaluate(
    dataset=eval_dataset,
    metrics=[
        types.RubricMetric.FINAL_RESPONSE_QUALITY,
        types.RubricMetric.TOOL_USE_QUALITY,
        types.RubricMetric.HALLUCINATION,
        types.RubricMetric.SAFETY,
    ],
)

# Visualize results in Colab
result.show()

Gerenciar métricas no console

1. No console do Cloud de Confiance , navegue até a página Agent Platform > Agentes > Avaliação.

   Acessar "Avaliação"

2. Clique na guia Métricas para ver o registro.

3. Criar uma métrica:clique em Nova métrica e selecione Métrica personalizada de LLM ou Métrica de código personalizada.

4. Definir rubricas:para métricas de LLM, use os botões Exemplo para preencher rapidamente instruções, critérios (por exemplo, Clareza ou Entusiasmo) e pontuações de classificação.

5. Visualizar e editar:clique no nome de qualquer métrica para conferir a definição dela no modo somente leitura ou use o ícone Mais opções more_vert para Duplicar ou Excluir o recurso.

Gerenciar métricas com o SDK

É possível registrar e usar métricas de maneira programática com o SDK da Agent Platform.

Registrar uma métrica personalizada de LLM

from vertexai import evals, types

# Define a metric with a specific rubric
tone_check_metric = types.LLMMetric(
        name="tone_check",
        prompt_template="Analyze the tone of the response ...",
        result_parsing_function="""
          import json, re
          def parse_results(responses):
              response = json.loads(responses[0])
              return {"score": response.get("score", 0.0),
                      "explanation": response.get("explanation", "default explanation")}
          """
)

# Register the custom metric
tone_check_metric_path = client.evals.create_evaluation_metric(
    metric=tone_check_metric
)

Registrar uma métrica personalizada de código

from vertexai import evals, types

# Define a metric with custom python code
accuracy_metric_code = """
def evaluate(instance: dict) -> float:
    agent_data = instance.get('agent_eval_data', {})
    turns = agent_data.get('turns', [])
    for turn in turns:
        ...
"""

accuracy_metric = types.CodeExecutionMetric(
    name="multi_turn_accuracy",
    custom_function=accuracy_metric_code
)

# Register the custom metric
accuracy_metric_path = client.evals.create_evaluation_metric(
    metric=accuracy_metric
)