Dettagli per le metriche gestite basate su rubrica

Questa pagina fornisce un elenco completo delle metriche gestite basate su rubriche offerte da Gen AI evaluation service, che puoi utilizzare nel client GenAI nell'SDK Agent Platform.

Per saperne di più sulla valutazione basata sui test, consulta Definisci le metriche di valutazione.

Panoramica

Gen AI evaluation service offre un elenco di metriche gestite basate su griglie per il framework di valutazione basato su test:

  • Per le metriche con rubriche adattive, la maggior parte include sia il workflow per la generazione della rubrica per ogni prompt sia la convalida della rubrica. Se necessario, puoi eseguirli separatamente. Per maggiori dettagli, consulta la sezione Eseguire una valutazione.

  • Per le metriche con rubriche statiche, non vengono generate rubriche per prompt. Per dettagli sugli output previsti, consulta Dettagli delle metriche.

Ogni metrica gestita basata su rubrica ha un numero di versione. La metrica utilizza l'ultima versione per impostazione predefinita, ma puoi bloccarla su una versione specifica, se necessario:

from vertexai import types

text_quality_metric = types.RubricMetric.TEXT_QUALITY
general_quality_v1 = types.RubricMetric.GENERAL_QUALITY(version='v1')

Versioni del modello e disponibilità regionale

Le versioni più recenti della maggior parte delle metriche gestite (ad esempio, general_quality_v2, instruction_following_v2, safety_v3 e final_response_match_v3) utilizzano Gemini 3.5 Flash come modello di valutazione. Anche le metriche dell'agente che generano griglie, come final_response_quality_v2 e tool_use_quality_v2, utilizzano Gemini 3.1 Pro per la generazione delle griglie. Le versioni precedenti utilizzano Gemini 2.5 Flash e Gemini 2.5 Pro. La versione precedente di ogni metrica e le relative chiamate LLM sono elencate in Dettagli metrica.

Le ultime versioni sono disponibili solo nelle località in cui Gemini 3.5 Flash è disponibile. Se esegui valutazioni in una località in cui Gemini 3.5 Flash non è disponibile, blocca la metrica nella versione precedente, come mostrato nell'esempio precedente.

Compatibilità con le versioni precedenti

Per le metriche offerte come modelli di prompt delle metriche, puoi comunque accedere alle metriche puntuali tramite il client GenAI nell'SDK Agent Platform con lo stesso approccio. Le metriche pairwise non sono supportate dal client GenAI nell'SDK Agent Platform, ma consulta Esegui una valutazione per confrontare due modelli nella stessa valutazione.

from vertexai import types

# Access metrics represented by metric prompt template examples
coherence = types.RubricMetric.COHERENCE
fluency = types.RubricMetric.FLUENCY

Dettagli delle metriche gestite

Questa sezione elenca le metriche gestite con dettagli quali tipo, input richiesti e output previsto:

Qualità generale

Ultima versione general_quality_v2
Tipo Griglie adattive
Descrizione Una metrica di griglie adattive completa che valuta la qualità complessiva della risposta di un modello. Genera e valuta automaticamente un'ampia gamma di criteri in base ai contenuti del prompt. Questo è il punto di partenza consigliato per la maggior parte delle valutazioni.
Come accedere nell'SDK types.RubricMetric.GENERAL_QUALITY
Input
  • prompt
  • response
  • (Facoltativo) rubric_groups
Se hai già generato le rubriche, puoi fornirle direttamente per la valutazione.
Output
  • score
  • rubrics e verdicts corrispondente
Il punteggio rappresenta il tasso di superamento della risposta in base ai criteri di valutazione.
Numero di chiamate LLM 6 chiamate a Gemini 3.5 Flash
Versione precedente general_quality_v1: 6 chiamate a Gemini 2.5 Flash

Qualità del testo

Ultima versione text_quality_v2
Tipo Griglie adattive
Descrizione Una metrica di griglie adattive mirata che valuta in modo specifico la qualità linguistica della risposta. Valuta aspetti come fluidità, coerenza e grammatica.
Come accedere nell'SDK types.RubricMetric.TEXT_QUALITY
Input
  • prompt
  • response
  • (Facoltativo) rubric_groups
Se hai già generato rubriche, puoi fornirle direttamente per la valutazione.
Output
  • score
  • rubrics e verdicts corrispondente
Il punteggio rappresenta il tasso di superamento della risposta in base ai criteri di valutazione.
Numero di chiamate LLM 6 chiamate a Gemini 3.5 Flash
Versione precedente text_quality_v1: 6 chiamate a Gemini 2.5 Flash

Secondo istruzioni

Ultima versione instruction_following_v2
Tipo Griglie adattive
Descrizione Una metrica di griglie adattive mirata che misura il rispetto dei vincoli e delle istruzioni specifici forniti nel prompt.
Come accedere nell'SDK types.RubricMetric.INSTRUCTION_FOLLOWING
Input
  • prompt
  • response
  • (Facoltativo) rubric_groups
Se hai già generato le rubriche, puoi fornirle direttamente per la valutazione.
Output
  • score (tasso di superamento)
  • rubrics e verdicts corrispondente
Il punteggio rappresenta il tasso di superamento della risposta in base ai criteri di valutazione.
Numero di chiamate LLM 6 chiamate a Gemini 3.5 Flash
Versione precedente instruction_following_v1: 6 chiamate a Gemini 2.5 Flash

Grounding

Ultima versione grounding_v2
Tipo Griglie statiche
Descrizione Una metrica basata sul punteggio che verifica l'oggettività e la coerenza. Verifica che la risposta del modello sia basata sul contesto.
Come accedere nell'SDK types.RubricMetric.GROUNDING
Input
  • prompt
  • response
  • context
Output
  • score
  • explanation
Il punteggio ha un intervallo di 0-1. Se una frase è etichettata come unsupported o contradictory, il punteggio è 0. In caso contrario, il punteggio rappresenta il rapporto tra le frasi etichettate come supported o no_rad e il numero totale di frasi.

Il campo explanation è una stringa JSON contenente un elenco di oggetti per frase con il seguente schema: 
[
  {
    "sentence": "string",
    "label": "supported | unsupported | contradictory | no_rad",
    "rationale": "string",
    "excerpt": "string or null"
  }
]
 Ogni oggetto contiene i seguenti campi:
  • sentence: la frase analizzata dalla risposta.
  • label: La classificazione della frase, una delle seguenti:
    • supported: La frase è implicita nel contesto.
    • unsupported: La frase non è implicita nel contesto.
    • contradictory: La frase è falsificata dal contesto.
    • no_rad: La frase non richiede l'attribuzione fattuale (ad esempio opinioni, saluti, domande o dichiarazioni di non responsabilità).
  • rationale: Una breve spiegazione dell'assegnazione dell'etichetta.
  • excerpt (presente per le etichette supported e contradictory): un estratto pertinente dal contesto che supporta o contraddice la frase.
Numero di chiamate LLM 1 chiamata a Gemini 3.5 Flash
Versione precedente grounding_v1: 1 chiamata a Gemini 2.5 Flash

Sicurezza

Ultima versione safety_v3
Tipo Griglie statiche
Descrizione Una metrica basata sul punteggio che valuta se la risposta del modello ha violato una o più norme di sicurezza.

safety_v3 controlla le seguenti norme:
  • Incitamento all'odio e molestie (hate_harassment)
  • Contenuti di natura sessuale (sexual_content)
  • Contenuti violenti e cruenti (violence_gore)
  • Consulenza medica (medical_advice)
  • Contenuti pericolosi (dangerous_content)
  • Abuso e sfruttamento sessuale di minori (csae)
safety_v1 controlla le seguenti norme:
  • Dati demografici e PII
  • Incitamento all'odio
  • Contenuti pericolosi
  • Molestie
  • Contenuti sessualmente espliciti
Come accedere nell'SDK types.RubricMetric.SAFETY
Input
  • prompt
  • response
Output
  • score
  • explanation
Il punteggio ha il significato opposto in ogni versione:
  • safety_v3: 1 significa che è stata violata almeno una policy, mentre 0 significa che non è stata violata alcuna policy.
  • safety_v1: 0 non è sicuro e 1 è sicuro.
Il campo della spiegazione include le norme violate.
Numero di chiamate LLM 31 chiamate a Gemini 3.5 Flash
Versione precedente safety_v1: 10 chiamate a Gemini 2.5 Flash

Qualità generale multi-turno

Ultima versione multi_turn_general_quality_v2
Tipo Griglie adattive
Descrizione Una metrica di griglie adattive che valuta la qualità complessiva della risposta di un modello nel contesto di un dialogo multi-turno.
Come accedere nell'SDK types.RubricMetric.MULTI_TURN_GENERAL_QUALITY
Input
  • prompt con conversazioni a più turni
  • response
  • (Facoltativo) rubric_groups
Se hai già generato rubriche, puoi fornirle direttamente per la valutazione.
Output
  • score
  • rubriche e relativi esiti
Il punteggio rappresenta il tasso di superamento della risposta in base ai criteri di valutazione.
Numero di chiamate LLM 6 chiamate a Gemini 3.5 Flash
Versione precedente multi_turn_general_quality_v1: 6 chiamate a Gemini 2.5 Flash

Qualità del testo multi-turno

Ultima versione multi_turn_text_quality_v2
Tipo Griglie adattive
Descrizione Una metrica di griglie adattive che valuta la qualità del testo della risposta di un modello nel contesto di un dialogo multi-turno.
Come accedere nell'SDK types.RubricMetric.TEXT_QUALITY
Input
  • prompt con conversazioni a più turni
  • response
  • (Facoltativo) rubric_groups
Se hai già generato rubriche, puoi fornirle direttamente per la valutazione.
Output
  • score
  • rubrics e verdicts corrispondente
Il punteggio rappresenta il tasso di superamento della risposta in base ai criteri di valutazione.
Numero di chiamate LLM 6 chiamate a Gemini 3.5 Flash
Versione precedente multi_turn_text_quality_v1: 6 chiamate a Gemini 2.5 Flash

Corrispondenza della risposta finale dell'agente

Ultima versione final_response_match_v3
Tipo Griglie statiche
Descrizione Una metrica che valuta la qualità della risposta finale di un agente AI confrontandola con una risposta di riferimento fornita (dato di fatto).
Come accedere nell'SDK types.RubricMetric.FINAL_RESPONSE_MATCH
Input
  • prompt
  • response
  • reference
Output Punteggio
  • 1: Risposta valida che corrisponde al riferimento.
  • 0: Risposta non valida che non corrisponde al riferimento.
Spiegazione
Numero di chiamate LLM 5 chiamate a Gemini 3.5 Flash
Versione precedente final_response_match_v2: 5 chiamate a Gemini 2.5 Flash

Riferimento senza costi alla risposta finale dell'agente

Ultima versione final_response_reference_free_v2
Tipo Griglie adattive
Descrizione Una metrica di griglie adattive che valuta la qualità della risposta finale di un agente AI senza richiedere una risposta di riferimento.
Devi fornire i criteri per questa metrica, in quanto non supporta i criteri generati automaticamente.
Come accedere nell'SDK types.RubricMetric.FINAL_RESPONSE_REFERENCE_FREE
Input
  • prompt
  • response
  • rubric_groups
Output
  • score
  • rubrics e verdicts corrispondente
Il punteggio rappresenta il tasso di superamento della risposta in base ai criteri di valutazione.
Numero di chiamate LLM 5 chiamate a Gemini 3.5 Flash
Versione precedente final_response_reference_free_v1: 5 chiamate a Gemini 2.5 Flash

Qualità della risposta finale dell'agente

Ultima versione final_response_quality_v2
Tipo Griglie adattive
Descrizione Una metrica di griglie adattive completa che valuta la qualità complessiva della risposta di un agente. Genera automaticamente un'ampia gamma di criteri in base alla configurazione dell'agente (istruzioni e dichiarazioni degli sviluppatori relative agli strumenti disponibili per l'agente) e al prompt dell'utente, quindi valuta i criteri generati in base all'utilizzo degli strumenti negli eventi intermedi e nella risposta finale dell'agente.
Come accedere nell'SDK types.RubricMetric.FINAL_RESPONSE_QUALITY
Input
  • prompt
  • response
  • developer_instruction
  • tool_declarations (può essere un elenco vuoto)
  • intermediate_events (contenente chiamate di funzioni e risposte, può essere un elenco vuoto)
  • (Facoltativo) rubric_groups (se hai già generato le rubriche, puoi fornirle direttamente per la valutazione)
Output
  • score
  • rubrics e verdicts corrispondente

Il punteggio rappresenta il tasso di superamento della risposta in base alle rubriche.
Numero di chiamate LLM 5 chiamate a Gemini 3.5 Flash e 1 chiamata a Gemini 3.1 Pro
Versione precedente final_response_quality_v1: 5 chiamate a Gemini 2.5 Flash e 1 chiamata a Gemini 2.5 Pro

Allucinazione dell'agente

Ultima versione hallucination_v2
Tipo Griglie statiche
Descrizione Una metrica basata sul punteggio che verifica l'oggettività e la coerenza delle risposte di testo segmentando la risposta in attestazioni atomiche. Verifica se ogni attestazione è fondata o meno in base all'utilizzo degli strumenti negli eventi intermedi. Può anche essere utilizzato per valutare eventuali risposte di testo intermedie impostando il flag evaluate_intermediate_nl_responses su true.
Come accedere nell'SDK types.RubricMetric.HALLUCINATION
Input
  • response
  • developer_instruction
  • tool_declarations (può essere un elenco vuoto)
  • intermediate_events (contenente chiamate di funzioni e risposte, può essere un elenco vuoto)
  • evaluate_intermediate_nl_responses (il valore predefinito è False)
Output
  • score
  • explanation e verdicts corrispondente
Il punteggio ha un intervallo di 0-1 e rappresenta il rapporto tra le frasi etichettate come supported o no_rad e il numero totale di frasi.

Il campo explanation è una stringa JSON contenente un elenco di oggetti per evento con il seguente schema: 
[
  {
    "response": "string",
    "score": "double",
    "explanation": [
      {
        "sentence": "string",
        "label": "supported | unsupported | contradictory | disputed | no_rad",
        "rationale": "string",
        "supporting_excerpt": "string or null",
        "contradicting_excerpt": "string or null"
      }
    ]
  }
]
 Ogni voce explanation contiene un oggetto per frase segmentata con i seguenti campi:
  • sentence: la frase esatta estratta durante il passaggio di segmentazione delle frasi.
  • label: La classificazione della frase, una delle seguenti:
    • supported: La frase è implicita nel contesto.
    • unsupported: La frase non è implicita nel contesto.
    • contradictory: La frase è falsificata dal contesto.
    • disputed: il contesto contiene informazioni sia a supporto che in contraddizione.
    • no_rad: La frase non richiede l'attribuzione fattuale (ad esempio opinioni, saluti, domande o dichiarazioni di non responsabilità).
  • rationale: Una breve spiegazione dell'assegnazione dell'etichetta.
  • supporting_excerpt (presente per le etichette supported e disputed): un estratto pertinente del contesto che supporta la frase.
  • contradicting_excerpt (presente per le etichette contradictory e disputed): un estratto pertinente del contesto che contraddice la frase.
Numero di chiamate LLM 2 chiamate a Gemini 3.5 Flash
Versione precedente hallucination_v1: 2 chiamate a Gemini 2.5 Flash

Qualità dell'utilizzo degli strumenti dell'agente

Ultima versione tool_use_quality_v2
Tipo Griglie adattive
Descrizione Una metrica di griglie adattive mirata che valuta la selezione degli strumenti appropriati, l'utilizzo corretto dei parametri e il rispetto della sequenza di operazioni specificata.
Come accedere nell'SDK types.RubricMetric.TOOL_USE_QUALITY
Input
  • prompt
  • developer_instruction
  • tool_declarations (può essere un elenco vuoto)
  • intermediate_events (contenente chiamate di funzioni e risposte, può essere un elenco vuoto)
  • (Facoltativo) rubric_groups (se hai già generato le rubriche, puoi fornirle direttamente per la valutazione)
Output
  • score
  • rubrics e verdicts corrispondente
Il punteggio rappresenta il tasso di superamento della risposta in base ai criteri di valutazione.
Numero di chiamate LLM 5 chiamate a Gemini 3.5 Flash e 1 chiamata a Gemini 3.1 Pro
Versione precedente tool_use_quality_v1: 5 chiamate a Gemini 2.5 Flash e 1 chiamata a Gemini 2.5 Pro

Successo dell'attività multi-turno dell'agente

Ultima versione multi_turn_task_success_v1
Tipo Griglie adattive
Descrizione Una metrica di griglie adattive che valuta se l'agente ha raggiunto gli obiettivi dell'utente in un'intera conversazione multi-turno. Si concentra sui risultati e sulle conferme osservabili nelle risposte dell'agente, anziché su processi intermedi come chiamate di strumenti o passaggi di ragionamento specifici.

La metrica funziona in tre passaggi:
  1. Estrazione dell'intento: identifica gli obiettivi e gli intenti dell'utente dalla conversazione.
  2. Generazione di griglie: crea criteri in base agli intent estratti, alle istruzioni dell'agente e alle definizioni degli strumenti.
  3. Convalida della griglia: convalida le risposte complessive dell'agente in base alle griglie generate.
Come accedere nell'SDK types.RubricMetric.MULTI_TURN_TASK_SUCCESS
Input
  • agent_eval_data (traccia della conversazione multi-turno, inclusi input, risposte e chiamate agli strumenti del modello)
Output
  • score
  • rubrics e verdicts corrispondente
Il punteggio rappresenta il tasso di superamento della risposta in base ai criteri di valutazione.
Numero di chiamate LLM 2 chiamate a Gemini 3.1 Pro e 5 chiamate a Gemini 3 Flash

Qualità dell'utilizzo dello strumento multi-turno dell'agente

Ultima versione multi_turn_tool_use_quality_v1
Tipo Griglie adattive
Descrizione Una metrica di griglie adattive che valuta la correttezza tecnica e semantica delle chiamate di strumenti dell'agente in un'intera conversazione multi-turno. Verifica che l'agente abbia selezionato gli strumenti corretti, compilato correttamente gli argomenti e rispettato gli schemi degli strumenti per ogni obiettivo dell'utente.

La metrica funziona in tre passaggi:
  1. Estrazione dell'intento: identifica gli obiettivi e gli intenti dell'utente dalla conversazione.
  2. Generazione della griglia: mappa ogni intent in base ai criteri di selezione dello strumento previsto, correttezza degli argomenti e conformità allo schema.
  3. Convalida della rubrica: convalida le chiamate effettive agli strumenti dell'agente in base alle rubriche generate.
Come accedere nell'SDK types.RubricMetric.MULTI_TURN_TOOL_USE_QUALITY
Input
  • agent_eval_data (traccia della conversazione multi-turno, inclusi input, risposte e chiamate agli strumenti del modello)
Output
  • score
  • rubrics e verdicts corrispondente
Il punteggio rappresenta il tasso di superamento della risposta in base ai criteri di valutazione.
Numero di chiamate LLM 2 chiamate a Gemini 3.1 Pro e 5 chiamate a Gemini 3 Flash

Qualità della traiettoria multi-turno dell'agente

Ultima versione multi_turn_trajectory_quality_v1
Tipo Griglie adattive
Descrizione Una metrica di griglie adattive che valuta la qualità della traiettoria di esecuzione passo passo dell'agente in un'intera conversazione multi-turno. Si concentra sulla struttura logica e sulla validità tecnica del percorso dell'agente, anziché solo sulla risposta finale.

La metrica funziona in tre passaggi:
  1. Estrazione dell'intento: identifica gli obiettivi e gli intenti dell'utente dalla conversazione.
  2. Generazione di rubriche: produce criteri in tre dimensioni: validità causale (sequenza corretta di routing degli strumenti, monitoraggio dello stato e trasferimento dei dati), efficienza (riduzione al minimo dei passaggi non necessari) e robustezza adattiva (gestione di casi limite ed errori).
  3. Convalida della rubrica: convalida il percorso di esecuzione effettivo dell'agente rispetto alle rubriche generate.
Come accedere nell'SDK types.RubricMetric.MULTI_TURN_TRAJECTORY_QUALITY
Input
  • agent_eval_data (traccia della conversazione multi-turno, inclusi input, risposte e chiamate agli strumenti del modello)
Output
  • score
  • rubrics e verdicts corrispondente
Il punteggio rappresenta il tasso di superamento della risposta in base ai criteri di valutazione.
Numero di chiamate LLM 2 chiamate a Gemini 3.1 Pro e 5 chiamate a Gemini 3 Flash

Qualità della generazione di immagini a partire da testo di Gecko

Ultima versione gecko_text2image_v2
Tipo Griglie adattive
Descrizione La metrica da testo a immagine Gecko è un metodo adattivo basato su griglie per valutare la qualità di un'immagine creata dall'AI rispetto al prompt testuale corrispondente. Funziona generando prima un insieme di domande dal prompt, che fungono da rubrica dettagliata e specifica per il prompt. Un modello risponde quindi a queste domande in base all'immagine creata dall'AI.
Come accedere nell'SDK types.RubricMetric.GECKO_TEXT2IMAGE
Input
  • prompt
  • response: devono essere dati di file con tipo MIME immagine
Output
  • score
  • rubrics e verdicts corrispondente
Il punteggio rappresenta il tasso di superamento della risposta in base ai criteri di valutazione.
Numero di chiamate LLM 2 chiamate a Gemini 3.5 Flash
Versione precedente gecko_text2image_v1: 2 chiamate a Gemini 2.5 Flash

Qualità della funzionalità da testo a video di Gecko

Ultima versione gecko_text2video_v2
Tipo Griglie adattive
Descrizione La metrica di sintesi vocale Gecko è un metodo adattivo basato su griglie per valutare la qualità di un video generato rispetto al prompt testuale corrispondente. Funziona generando prima un insieme di domande dal prompt, che fungono da rubrica dettagliata e specifica per il prompt. Un modello risponde quindi a queste domande in base al video generato.
Come accedere nell'SDK types.RubricMetric.GECKO_TEXT2VIDEO
Input
  • prompt
  • response: devono essere dati di file con tipo MIME video
Output
  • score
  • rubrics e verdicts corrispondente
Il punteggio rappresenta il tasso di superamento della risposta in base ai criteri di valutazione.
Numero di chiamate LLM 2 chiamate a Gemini 3.5 Flash
Versione precedente gecko_text2video_v1: 2 chiamate a Gemini 2.5 Flash

Passaggi successivi