Informations sur les métriques gérées basées sur des rubriques

Cette page fournit la liste complète des métriques gérées basées sur des rubriques proposées par le service d'évaluation Gen AI. Vous pouvez les utiliser dans le client Gen AI du SDK Agent Platform.

Pour en savoir plus sur l'évaluation axée sur les tests, consultez Définir vos métriques d'évaluation.

Présentation

Le service d'évaluation de l'IA générative propose une liste de métriques gérées basées sur des rubriques pour le framework d'évaluation axé sur les tests :

  • Pour les métriques avec des rubriques adaptatives, la plupart d'entre elles incluent à la fois le workflow de génération de rubriques pour chaque requête et la validation des rubriques. Vous pouvez les exécuter séparément si nécessaire. Pour en savoir plus, consultez Exécuter une évaluation.

  • Pour les métriques avec des grilles d'évaluation statiques, aucune grille d'évaluation par requête n'est générée. Pour en savoir plus sur les résultats attendus, consultez Détails sur les métriques.

Chaque métrique gérée basée sur un barème possède un numéro de version. Par défaut, la métrique utilise la dernière version, mais vous pouvez l'épingler à une version spécifique si nécessaire :

from vertexai import types

text_quality_metric = types.RubricMetric.TEXT_QUALITY
general_quality_v1 = types.RubricMetric.GENERAL_QUALITY(version='v1')

Versions du modèle et disponibilité régionale

Les dernières versions de la plupart des métriques gérées (par exemple, general_quality_v2, instruction_following_v2, safety_v3 et final_response_match_v3) utilisent Gemini 3.5 Flash comme modèle de référence. Les métriques d'agent qui génèrent des rubriques, telles que final_response_quality_v2 et tool_use_quality_v2, utilisent également Gemini 3.1 Pro pour la génération de rubriques. Les versions précédentes utilisent Gemini 2.5 Flash et Gemini 2.5 Pro. L'ancienne version de chaque métrique et ses appels LLM sont listés dans Détails de la métrique.

Les dernières versions ne sont disponibles que dans les pays où Gemini 3.5 Flash est disponible. Si vous exécutez des évaluations dans un emplacement où Gemini 3.5 Flash n'est pas disponible, épinglez la métrique à sa version précédente, comme indiqué dans l'exemple précédent.

Rétrocompatibilité

Pour les métriques proposées en tant que modèles de requête de métrique, vous pouvez toujours accéder aux métriques ponctuelles via le client GenAI dans le SDK Agent Platform de la même manière. Les métriques par paires ne sont pas prises en charge par le client GenAI dans le SDK Agent Platform. Toutefois, consultez Exécuter une évaluation pour comparer deux modèles dans la même évaluation.

from vertexai import types

# Access metrics represented by metric prompt template examples
coherence = types.RubricMetric.COHERENCE
fluency = types.RubricMetric.FLUENCY

Détails des métriques gérées

Cette section liste les métriques gérées et fournit des informations telles que leur type, les entrées requises et les sorties attendues :

Qualité générale

Dernière version general_quality_v2
Type Rubriques adaptatives
Description Métrique complète de rubriques adaptatives qui évalue la qualité globale de la réponse d'un modèle. Il génère et évalue automatiquement un large éventail de critères en fonction du contenu de la requête. Il s'agit du point de départ recommandé pour la plupart des évaluations.
Accéder au SDK types.RubricMetric.GENERAL_QUALITY
Entrée
  • prompt
  • response
  • (Facultatif) rubric_groups
Si vous avez déjà généré des rubriques, vous pouvez les fournir directement pour évaluation.
Résultat
  • score
  • rubrics et verdicts correspondant
Le score représente le taux de réussite de la réponse en fonction des rubriques.
Nombre d'appels LLM 6 appels à Gemini 3.5 Flash
Version précédente general_quality_v1 : six appels à Gemini 2.5 Flash

Qualité du texte

Dernière version text_quality_v2
Type Rubriques adaptatives
Description Métrique de rubriques adaptatives ciblée qui évalue spécifiquement la qualité linguistique de la réponse. Il évalue des aspects tels que la fluidité, la cohérence et la grammaire.
Accéder au SDK types.RubricMetric.TEXT_QUALITY
Entrée
  • prompt
  • response
  • (Facultatif) rubric_groups
Si vous avez déjà généré des rubriques, vous pouvez les fournir directement pour évaluation.
Résultat
  • score
  • rubrics et verdicts correspondant
Le score représente le taux de réussite de la réponse en fonction des rubriques.
Nombre d'appels LLM 6 appels à Gemini 3.5 Flash
Version précédente text_quality_v1 : six appels à Gemini 2.5 Flash

Suivi des instructions

Dernière version instruction_following_v2
Type Rubriques adaptatives
Description Métrique de rubriques adaptatives ciblée qui mesure dans quelle mesure la réponse respecte les contraintes et instructions spécifiques fournies dans la requête.
Accéder au SDK types.RubricMetric.INSTRUCTION_FOLLOWING
Entrée
  • prompt
  • response
  • (Facultatif) rubric_groups
Si vous avez déjà généré des rubriques, vous pouvez les fournir directement pour l'évaluation.
Résultat
  • score (taux de réussite)
  • rubrics et verdicts correspondant
Le score représente le taux de réussite de la réponse en fonction des rubriques.
Nombre d'appels LLM 6 appels à Gemini 3.5 Flash
Version précédente instruction_following_v1 : six appels à Gemini 2.5 Flash

Surface de référence

Dernière version grounding_v2
Type Rubriques statiques
Description Métrique basée sur un score qui vérifie la factualité et la cohérence. Elle vérifie que la réponse du modèle est ancrée dans le contexte.
Accéder au SDK types.RubricMetric.GROUNDING
Entrée
  • prompt
  • response
  • context
Résultat
  • score
  • explanation
Le score est compris entre 0-1. Si une phrase est associée au libellé unsupported ou contradictory, le score est 0. Dans le cas contraire, le score représente le ratio de phrases libellées supported ou no_rad par rapport au nombre total de phrases.

Le champ explanation est une chaîne JSON contenant une liste d'objets par phrase avec le schéma suivant : 
[
  {
    "sentence": "string",
    "label": "supported | unsupported | contradictory | no_rad",
    "rationale": "string",
    "excerpt": "string or null"
  }
]
 Chaque objet contient les champs suivants :
  • sentence : phrase analysée à partir de la réponse.
  • label : classification de la phrase, l'une des suivantes :
    • supported : la phrase est impliquée par le contexte.
    • unsupported : la phrase n'est pas impliquée par le contexte.
    • contradictory : la phrase est falsifiée par le contexte.
    • no_rad : la phrase ne nécessite pas d'attribution factuelle (par exemple, les opinions, les salutations, les questions ou les clauses de non-responsabilité).
  • rationale : brève explication de l'attribution du libellé.
  • excerpt (présent pour les libellés supported et contradictory) : extrait pertinent du contexte qui soutient ou contredit la phrase.
Nombre d'appels LLM 1 appel à Gemini 3.5 Flash
Version précédente grounding_v1 : 1 appel à Gemini 2.5 Flash

Sécurité

Dernière version safety_v3
Type Rubriques statiques
Description Métrique basée sur un score qui évalue si la réponse du modèle a enfreint une ou plusieurs règles de sécurité.

safety_v3 vérifie les règles suivantes :
  • Haine et harcèlement (hate_harassment)
  • Contenu à caractère sexuel (sexual_content)
  • Contenu violent et sanglant (violence_gore)
  • Conseils médicaux (medical_advice)
  • Contenus dangereux (dangerous_content)
  • Abus et exploitation sexuels de mineurs (csae)
safety_v1 vérifie les règles suivantes :
  • Données permettant d'identifier personnellement les utilisateurs et données démographiques
  • Incitation à la haine
  • Contenu dangereux
  • Harcèlement
  • Caractère sexuel explicite
Accéder au SDK types.RubricMetric.SAFETY
Entrée
  • prompt
  • response
Résultat
  • score
  • explanation
Le score a une signification opposée dans chaque version :
  • safety_v3 : 1 signifie qu'au moins une règle a été enfreinte, et 0 signifie qu'aucune règle n'a été enfreinte.
  • safety_v1 : 0 n'est pas sûr et 1 est sûr.
Le champ d'explication inclut les règles enfreintes.
Nombre d'appels LLM 31 appels à Gemini 3.5 Flash
Version précédente safety_v1 : 10 appels à Gemini 2.5 Flash

Qualité générale multitour

Dernière version multi_turn_general_quality_v2
Type Rubriques adaptatives
Description Métrique de rubriques adaptatives qui évalue la qualité globale de la réponse d'un modèle dans le contexte d'un dialogue multitours.
Accéder au SDK types.RubricMetric.MULTI_TURN_GENERAL_QUALITY
Entrée
  • prompt avec des conversations multitours
  • response
  • (Facultatif) rubric_groups
Si vous avez déjà généré des rubriques, vous pouvez les fournir directement pour évaluation.
Résultat
  • score
  • les rubriques et les verdicts correspondants.
Le score représente le taux de réussite de la réponse en fonction des rubriques.
Nombre d'appels LLM 6 appels à Gemini 3.5 Flash
Version précédente multi_turn_general_quality_v1 : six appels à Gemini 2.5 Flash

Qualité du texte multitour

Dernière version multi_turn_text_quality_v2
Type Rubriques adaptatives
Description Métrique de rubriques adaptatives qui évalue la qualité du texte de la réponse d'un modèle dans le contexte d'un dialogue multitours.
Accéder au SDK types.RubricMetric.TEXT_QUALITY
Entrée
  • prompt avec des conversations multitours
  • response
  • (Facultatif) rubric_groups
Si vous avez déjà généré des rubriques, vous pouvez les fournir directement pour évaluation.
Résultat
  • score
  • rubrics et verdicts correspondant
Le score représente le taux de réussite de la réponse en fonction des rubriques.
Nombre d'appels LLM 6 appels à Gemini 3.5 Flash
Version précédente multi_turn_text_quality_v1 : six appels à Gemini 2.5 Flash

Correspondance de la réponse finale de l'agent

Dernière version final_response_match_v3
Type Rubriques statiques
Description Métrique qui évalue la qualité de la réponse finale d'un agent d'IA en la comparant à une réponse de référence fournie (vérité terrain).
Accéder au SDK types.RubricMetric.FINAL_RESPONSE_MATCH
Entrée
  • prompt
  • response
  • reference
Résultat Score
  • 1 : Réponse valide qui correspond à la référence.
  • 0 : réponse non valide qui ne correspond pas à la référence.
Explication
Nombre d'appels LLM 5 appels à Gemini 3.5 Flash
Version précédente final_response_match_v2 : 5 appels à Gemini 2.5 Flash

Référence de la réponse finale de l'agent sans frais

Dernière version final_response_reference_free_v2
Type Rubriques adaptatives
Description Métrique de rubriques adaptatives qui évalue la qualité de la réponse finale d'un agent d'IA sans avoir besoin d'une réponse de référence.
Vous devez fournir des rubriques pour cette métrique, car elle n'est pas compatible avec les rubriques générées automatiquement.
Accéder au SDK types.RubricMetric.FINAL_RESPONSE_REFERENCE_FREE
Entrée
  • prompt
  • response
  • rubric_groups
Résultat
  • score
  • rubrics et verdicts correspondant
Le score représente le taux de réussite de la réponse en fonction des rubriques.
Nombre d'appels LLM 5 appels à Gemini 3.5 Flash
Version précédente final_response_reference_free_v1 : 5 appels à Gemini 2.5 Flash

Qualité de la réponse finale de l'agent

Dernière version final_response_quality_v2
Type Rubriques adaptatives
Description Métrique complète de rubriques adaptatives qui évalue la qualité globale de la réponse d'un agent. Il génère automatiquement un large éventail de critères en fonction de la configuration de l'agent (instructions du développeur et déclarations pour les outils disponibles pour l'agent) et de la requête de l'utilisateur, puis évalue les critères générés en fonction de l'utilisation des outils dans les événements intermédiaires et de la réponse finale de l'agent.
Accéder au SDK types.RubricMetric.FINAL_RESPONSE_QUALITY
Entrée
  • prompt
  • response
  • developer_instruction
  • tool_declarations (peut être une liste vide)
  • intermediate_events (contenant les appels de fonction et les réponses, peut être une liste vide)
  • (Facultatif) rubric_groups (si vous avez déjà généré des grilles d'évaluation, vous pouvez les fournir directement pour évaluation)
Résultat
  • score
  • rubrics et verdicts correspondant

Le score représente le taux de réussite de la réponse en fonction des rubriques.
Nombre d'appels LLM 5 appels à Gemini 3.5 Flash et 1 appel à Gemini 3.1 Pro
Version précédente final_response_quality_v1 : 5 appels à Gemini 2.5 Flash et 1 appel à Gemini 2.5 Pro

Hallucination de l'agent

Dernière version hallucination_v2
Type Grilles d'évaluation statiques
Description Métrique basée sur un score qui vérifie la factualité et la cohérence des réponses textuelles en segmentant la réponse en affirmations atomiques. Il vérifie si chaque affirmation est fondée ou non en fonction de l'utilisation de l'outil dans les événements intermédiaires. Vous pouvez également l'utiliser pour évaluer les réponses textuelles intermédiaires en définissant le flag evaluate_intermediate_nl_responses sur "true".
Accéder au SDK types.RubricMetric.HALLUCINATION
Entrée
  • response
  • developer_instruction
  • tool_declarations (peut être une liste vide)
  • intermediate_events (contenant les appels de fonction et les réponses, peut être une liste vide)
  • evaluate_intermediate_nl_responses (la valeur par défaut est "false")
Résultat
  • score
  • explanation et verdicts correspondant
Le score est compris dans la plage 0-1 et représente le ratio de phrases libellées comme supported ou no_rad par rapport au nombre total de phrases.

Le champ explanation est une chaîne JSON contenant une liste d'objets par événement avec le schéma suivant : 
[
  {
    "response": "string",
    "score": "double",
    "explanation": [
      {
        "sentence": "string",
        "label": "supported | unsupported | contradictory | disputed | no_rad",
        "rationale": "string",
        "supporting_excerpt": "string or null",
        "contradicting_excerpt": "string or null"
      }
    ]
  }
]
 Chaque entrée explanation contient un objet par phrase segmentée avec les champs suivants :
  • sentence : phrase exacte extraite lors de l'étape de segmentation des phrases.
  • label : classification de la phrase, l'une des suivantes :
    • supported : la phrase est impliquée par le contexte.
    • unsupported : la phrase n'est pas impliquée par le contexte.
    • contradictory : la phrase est falsifiée par le contexte.
    • disputed : le contexte contient des informations à la fois favorables et défavorables.
    • no_rad : la phrase ne nécessite pas d'attribution factuelle (par exemple, les opinions, les salutations, les questions ou les clauses de non-responsabilité).
  • rationale : brève explication de l'attribution du libellé.
  • supporting_excerpt (présent pour les libellés supported et disputed) : extrait pertinent du contexte qui appuie la phrase.
  • contradicting_excerpt (présent pour les libellés contradictory et disputed) : extrait pertinent du contexte qui contredit la phrase.
Nombre d'appels LLM 2 appels à Gemini 3.5 Flash
Version précédente hallucination_v1 : deux appels à Gemini 2.5 Flash

Qualité de l'utilisation des outils par l'agent

Dernière version tool_use_quality_v2
Type Rubriques adaptatives
Description Métrique de rubriques adaptatives ciblée qui évalue la sélection d'outils appropriés, l'utilisation correcte des paramètres et le respect de la séquence d'opérations spécifiée.
Accéder au SDK types.RubricMetric.TOOL_USE_QUALITY
Entrée
  • prompt
  • developer_instruction
  • tool_declarations (peut être une liste vide)
  • intermediate_events (contenant les appels de fonction et les réponses, peut être une liste vide)
  • (Facultatif) rubric_groups (si vous avez déjà généré des grilles d'évaluation, vous pouvez les fournir directement pour évaluation)
Résultat
  • score
  • rubrics et verdicts correspondant
Le score représente le taux de réussite de la réponse en fonction des rubriques.
Nombre d'appels LLM 5 appels à Gemini 3.5 Flash et 1 appel à Gemini 3.1 Pro
Version précédente tool_use_quality_v1 : 5 appels à Gemini 2.5 Flash et 1 appel à Gemini 2.5 Pro

Réussite de la tâche multitour de l'agent

Dernière version multi_turn_task_success_v1
Type Rubriques adaptatives
Description Métrique de rubriques adaptatives qui évalue si l'agent a réussi à atteindre les objectifs de l'utilisateur tout au long d'une conversation multitour. Elle se concentre sur les résultats et les confirmations observables dans les réponses de l'agent plutôt que sur les processus intermédiaires tels que les appels d'outils spécifiques ou les étapes de raisonnement.

La métrique fonctionne en trois étapes :
  1. Extraction de l'intention : identifie les objectifs et les intentions des utilisateurs à partir de la conversation.
  2. Génération de grilles d'évaluation : crée des critères en fonction des intentions extraites, des instructions de l'agent et des définitions des outils.
  3. Validation des rubriques : valide les réponses globales de l'agent par rapport aux rubriques générées.
Accéder au SDK types.RubricMetric.MULTI_TURN_TASK_SUCCESS
Entrée
  • agent_eval_data (trace de conversation multitour incluant les entrées, les réponses et les appels d'outils du modèle)
Résultat
  • score
  • rubrics et verdicts correspondant
Le score représente le taux de réussite de la réponse en fonction des rubriques.
Nombre d'appels LLM 2 appels à Gemini 3.1 Pro et 5 appels à Gemini 3 Flash

Qualité de l'utilisation des outils multitour par l'agent

Dernière version multi_turn_tool_use_quality_v1
Type Rubriques adaptatives
Description Métrique de rubriques adaptatives qui évalue l'exactitude technique et sémantique des appels d'outils de l'agent tout au long d'une conversation multitour. Il vérifie que l'agent a sélectionné les bons outils, renseigné correctement les arguments et respecté les schémas d'outils pour chaque objectif utilisateur.

La métrique fonctionne en trois étapes :
  1. Extraction de l'intention : identifie les objectifs et les intentions des utilisateurs à partir de la conversation.
  2. Génération de rubriques : mappe chaque intention aux critères attendus de sélection d'outils, d'exactitude des arguments et de conformité au schéma.
  3. Validation de la grille d'évaluation : valide les appels d'outils réels de l'agent par rapport aux grilles d'évaluation générées.
Accéder au SDK types.RubricMetric.MULTI_TURN_TOOL_USE_QUALITY
Entrée
  • agent_eval_data (trace de conversation multitour incluant les entrées, les réponses et les appels d'outils du modèle)
Résultat
  • score
  • rubrics et verdicts correspondant
Le score représente le taux de réussite de la réponse en fonction des rubriques.
Nombre d'appels LLM 2 appels à Gemini 3.1 Pro et 5 appels à Gemini 3 Flash

Qualité de la trajectoire multitour de l'agent

Dernière version multi_turn_trajectory_quality_v1
Type Rubriques adaptatives
Description Métrique de rubriques adaptatives qui évalue la qualité de la trajectoire d'exécution étape par étape de l'agent sur l'ensemble d'une conversation multitour. Elle se concentre sur la structure logique et la validité technique du chemin de l'agent, et pas seulement sur la réponse finale.

La métrique fonctionne en trois étapes :
  1. Extraction de l'intention : identifie les objectifs et les intentions des utilisateurs à partir de la conversation.
  2. Génération de rubriques : produit des critères selon trois dimensions : validité causale (séquence correcte de routage des outils, de suivi de l'état et de transmission des données), efficacité (minimisation des étapes inutiles) et robustesse adaptative (gestion des cas extrêmes et des erreurs).
  3. Validation de la grille d'évaluation : valide le chemin d'exécution réel de l'agent par rapport aux grilles d'évaluation générées.
Accéder au SDK types.RubricMetric.MULTI_TURN_TRAJECTORY_QUALITY
Entrée
  • agent_eval_data (trace de conversation multitour incluant les entrées, les réponses et les appels d'outils du modèle)
Résultat
  • score
  • rubrics et verdicts correspondant
Le score représente le taux de réussite de la réponse en fonction des rubriques.
Nombre d'appels LLM 2 appels à Gemini 3.1 Pro et 5 appels à Gemini 3 Flash

Qualité de la conversion de texte en image de Gecko

Dernière version gecko_text2image_v2
Type Rubriques adaptatives
Description La métrique Gecko texte-vers-image est une méthode adaptative basée sur des rubriques qui permet d'évaluer la qualité d'une image générée par rapport à la requête textuelle correspondante. Pour ce faire, il génère d'abord un ensemble de questions à partir de la requête, qui servent de grille d'évaluation détaillée et spécifique à la requête. Un modèle répond ensuite à ces questions en fonction de l'image générée.
Accéder au SDK types.RubricMetric.GECKO_TEXT2IMAGE
Entrée
  • prompt
  • response : données de fichier avec le type MIME de l'image
Résultat
  • score
  • rubrics et verdicts correspondant
Le score représente le taux de réussite de la réponse en fonction des rubriques.
Nombre d'appels LLM 2 appels à Gemini 3.5 Flash
Version précédente gecko_text2image_v1 : deux appels à Gemini 2.5 Flash

Qualité de Gecko texte-vers-vidéo

Dernière version gecko_text2video_v2
Type Rubriques adaptatives
Description La métrique Gecko de conversion de texte en vidéo est une méthode adaptative basée sur des rubriques permettant d'évaluer la qualité d'une vidéo générée par rapport au prompt textuel correspondant. Pour ce faire, il génère d'abord un ensemble de questions à partir de la requête, qui servent de grille d'évaluation détaillée et spécifique à la requête. Un modèle répond ensuite à ces questions en se basant sur la vidéo générée.
Accéder au SDK types.RubricMetric.GECKO_TEXT2VIDEO
Entrée
  • prompt
  • response : doit correspondre à des données de fichier avec un type MIME vidéo.
Résultat
  • score
  • rubrics et verdicts correspondant
Le score représente le taux de réussite de la réponse en fonction des rubriques.
Nombre d'appels LLM 2 appels à Gemini 3.5 Flash
Version précédente gecko_text2video_v1 : deux appels à Gemini 2.5 Flash

Étapes suivantes