Detalhes das métricas gerenciadas com base em rubricas

Esta página oferece uma lista completa de métricas gerenciadas baseadas em rubricas oferecidas pelo serviço de avaliação de IA generativa, que podem ser usadas no cliente de IA generativa no SDK da Agent Platform.

Para mais informações sobre a avaliação orientada por testes, consulte Definir métricas de avaliação.

Visão geral

O serviço de avaliação de IA generativa oferece uma lista de métricas gerenciadas baseadas em rubricas para o framework de avaliação orientada por testes:

• Para métricas com rubricas adaptativas, a maioria inclui o fluxo de trabalho para geração de rubricas em cada comando e validação de rubricas. Você pode executá-los separadamente, se necessário. Consulte Executar uma avaliação para mais detalhes.

• Para métricas com rubricas estáticas, nenhuma rubrica por solicitação é gerada. Para mais detalhes sobre as saídas pretendidas, consulte Detalhes da métrica.

Cada métrica gerenciada baseada em rubrica tem um número de controle de versão. Por padrão, a métrica usa a versão mais recente, mas é possível fixar uma versão específica, se necessário:

from vertexai import types

text_quality_metric = types.RubricMetric.TEXT_QUALITY
general_quality_v1 = types.RubricMetric.GENERAL_QUALITY(version='v1')

Versões de modelo e disponibilidade regional

As versões mais recentes da maioria das métricas gerenciadas (por exemplo, general_quality_v2, instruction_following_v2, safety_v3 e final_response_match_v3) usam o Gemini 3.5 Flash como modelo de avaliação. As métricas do agente que geram rubricas, como final_response_quality_v2 e tool_use_quality_v2, também usam o Gemini 3.1 Pro para essa finalidade. As versões anteriores usam o Gemini 2.5 Flash e o Gemini 2.5 Pro. A versão anterior de cada métrica e as chamadas de LLM estão listadas em Detalhes da métrica.

As versões mais recentes estão disponíveis apenas em locais onde o Gemini 3.5 Flash está disponível. Se você executar avaliações em um local onde o Gemini 3.5 Flash não está disponível, fixe a métrica na versão anterior, conforme mostrado no exemplo anterior.

Compatibilidade com versões anteriores

Para métricas oferecidas como modelos de solicitação de métrica, ainda é possível acessar as métricas pontuais pelo cliente de IA generativa no SDK da Agent Platform usando a mesma abordagem. As métricas aos pares não são compatíveis com o cliente de IA generativa no SDK da plataforma de agentes. No entanto, consulte Executar uma avaliação para comparar dois modelos na mesma avaliação.

from vertexai import types

# Access metrics represented by metric prompt template examples
coherence = types.RubricMetric.COHERENCE
fluency = types.RubricMetric.FLUENCY

Detalhes das métricas gerenciadas

Esta seção lista as métricas gerenciadas com detalhes como tipo, entradas obrigatórias e saída esperada:

• Qualidade geral
• Qualidade do texto
• Seguir instruções
• Embasamento
• Segurança
• Qualidade geral multiturno
• Qualidade do texto multiturno
• Correspondência da resposta final do agente
• Resposta final do agente sem referência
• Qualidade da resposta final do agente
• Alucinação de agentes
• Qualidade do uso de ferramentas do agente
• Sucesso da tarefa multiturno do agente
• Qualidade do uso de ferramentas multiturno do agente
• Qualidade da trajetória multiturno do agente
• Qualidade da criação de imagens a partir de texto do Gecko
• Qualidade do texto em vídeo do Gecko

Qualidade geral

Qualidade do texto

Seguir a instrução

Embasamento

[
  {
    "sentence": "string",
    "label": "supported | unsupported | contradictory | no_rad",
    "rationale": "string",
    "excerpt": "string or null"
  }
]

Segurança

Qualidade geral multiturno

Qualidade do texto multiturno

Correspondência da resposta final do agente

Referência livre da resposta final do agente

Qualidade da resposta final do agente

Alucinação de agentes

[
  {
    "response": "string",
    "score": "double",
    "explanation": [
      {
        "sentence": "string",
        "label": "supported | unsupported | contradictory | disputed | no_rad",
        "rationale": "string",
        "supporting_excerpt": "string or null",
        "contradicting_excerpt": "string or null"
      }
    ]
  }
]

Qualidade do uso de ferramentas do agente

Sucesso da tarefa multiturno do agente

Qualidade do uso de ferramentas multiturno do agente

Qualidade da trajetória multiturno do agente

Qualidade da criação de imagens a partir de texto do Gecko

Qualidade de texto para vídeo do Gecko

A seguir

• Prepare o conjunto de dados de avaliação.