Detalles de las métricas administradas basadas en rúbricas

En esta página, se proporciona una lista completa de las métricas administradas basadas en rúbricas que ofrece el servicio de evaluación de IA generativa, que puedes usar en el cliente de IA generativa del SDK de Agent Platform.

Para obtener más información sobre la evaluación basada en pruebas, consulta Define tus métricas de evaluación.

Descripción general

El servicio de evaluación de IA generativa ofrece una lista de métricas administradas basadas en rúbricas para el marco de trabajo de evaluación basado en pruebas:

• En el caso de las métricas con rúbricas adaptativas, la mayoría de ellas incluyen el flujo de trabajo para la generación de rúbricas para cada instrucción y la validación de rúbricas. Puedes ejecutarlos por separado si es necesario. Consulta Cómo ejecutar una evaluación para obtener más detalles.

• En el caso de las métricas con rúbricas estáticas, no se generan rúbricas por instrucción. Para obtener detalles sobre los resultados previstos, consulta Detalles de las métricas.

Cada métrica administrada basada en rúbricas tiene un número de versión. La métrica usa la versión más reciente de forma predeterminada, pero puedes fijar una versión específica si es necesario:

from vertexai import types

text_quality_metric = types.RubricMetric.TEXT_QUALITY
general_quality_v1 = types.RubricMetric.GENERAL_QUALITY(version='v1')

Versiones del modelo y disponibilidad regional

Las versiones más recientes de la mayoría de las métricas administradas (por ejemplo, general_quality_v2, instruction_following_v2, safety_v3 y final_response_match_v3) usan Gemini 3.5 Flash como modelo de evaluación. Las métricas de agentes que generan rúbricas, como final_response_quality_v2 y tool_use_quality_v2, también usan Gemini 3.1 Pro para la generación de rúbricas. Las versiones anteriores usan Gemini 2.5 Flash y Gemini 2.5 Pro. La versión anterior de cada métrica y sus llamadas al LLM se enumeran en Detalles de la métrica.

Las versiones más recientes solo están disponibles en las ubicaciones donde se ofrece Gemini 3.5 Flash. Si ejecutas evaluaciones en una ubicación en la que Gemini 3.5 Flash no está disponible, fija la métrica en su versión anterior, como se muestra en el ejemplo anterior.

Retrocompatibilidad

En el caso de las métricas que se ofrecen como plantillas de instrucciones de métricas, puedes acceder a las métricas puntuales a través del cliente de IA generativa en el SDK de Agent Platform con el mismo enfoque. El cliente de IA generativa en el SDK de Agent Platform no admite métricas por pares, pero consulta Cómo ejecutar una evaluación para comparar dos modelos en la misma evaluación.

from vertexai import types

# Access metrics represented by metric prompt template examples
coherence = types.RubricMetric.COHERENCE
fluency = types.RubricMetric.FLUENCY

Detalles de las métricas administradas

En esta sección, se enumeran las métricas administradas con detalles como su tipo, las entradas requeridas y el resultado esperado:

• Calidad general
• Calidad del texto
• Acatamiento de instrucciones
• Fundamentación
• Seguridad
• Calidad general de varios turnos
• Calidad del texto en conversaciones de varios turnos
• Coincidencia de la respuesta final del agente
• Referencia de respuesta final del agente gratuita
• Calidad de la respuesta final del agente
• Alucinación del agente
• Calidad del uso de herramientas del agente
• Éxito de la tarea en varios turnos del agente
• Calidad del uso de herramientas en varios turnos del agente
• Calidad de la trayectoria de varios turnos del agente
• Calidad de Gecko en la conversión de texto a imagen
• Calidad de texto a video de Gecko

Calidad general

Calidad del texto

Seguimiento de las instrucciones

Fundamentación

[
  {
    "sentence": "string",
    "label": "supported | unsupported | contradictory | no_rad",
    "rationale": "string",
    "excerpt": "string or null"
  }
]

Seguridad

Calidad general de varios turnos

Calidad del texto de varios turnos

Coincidencia de la respuesta final del agente

La respuesta final del agente no tiene referencias

Calidad de la respuesta final del agente

Alucinación del agente

[
  {
    "response": "string",
    "score": "double",
    "explanation": [
      {
        "sentence": "string",
        "label": "supported | unsupported | contradictory | disputed | no_rad",
        "rationale": "string",
        "supporting_excerpt": "string or null",
        "contradicting_excerpt": "string or null"
      }
    ]
  }
]

Calidad del uso de herramientas de agentes

Éxito de la tarea en varios turnos del agente

Calidad del uso de herramientas de varios turnos del agente

Calidad de la trayectoria del agente en varios turnos

Calidad de texto a imagen de Gecko

Calidad de texto a video de Gecko

¿Qué sigue?

• Prepara tu conjunto de datos de evaluación.