Details zu verwalteten rubrikbasierten Messwerten

Auf dieser Seite finden Sie eine vollständige Liste der verwalteten rubrikbasierten Messwerte, die vom Gen AI Evaluation Service angeboten werden und die Sie im GenAI-Client im Agent Platform SDK verwenden können.

Weitere Informationen zur testbasierten Bewertung finden Sie unter Bewertungsmesswerte definieren.

Übersicht

Der Gen AI Evaluation Service bietet eine Liste von verwalteten, auf Rubriken basierenden Messwerten für das testgesteuerte Bewertungs-Framework:

  • Bei Messwerten mit adaptiven Rubriken ist in den meisten Fällen sowohl der Workflow für die Rubrikgenerierung für jeden Prompt als auch die Rubrikvalidierung enthalten. Bei Bedarf können Sie sie auch separat ausführen. Weitere Informationen finden Sie unter Bewertung ausführen.

  • Für Messwerte mit statischen Bewertungsschemas werden keine Bewertungsschemas pro Prompt generiert. Weitere Informationen zu den beabsichtigten Ausgaben finden Sie unter Messwertdetails.

Jeder verwaltete, auf einem Bewertungsschema basierende Messwert hat eine Versionsnummer. Standardmäßig wird die aktuelle Version verwendet. Sie können aber bei Bedarf eine bestimmte Version festlegen:

from vertexai import types

text_quality_metric = types.RubricMetric.TEXT_QUALITY
general_quality_v1 = types.RubricMetric.GENERAL_QUALITY(version='v1')

Modellversionen und regionale Verfügbarkeit

In den aktuellen Versionen der meisten verwalteten Messwerte (z. B. general_quality_v2, instruction_following_v2, safety_v3 und final_response_match_v3) wird Gemini 3.5 Flash als Judge-Modell verwendet. Für Agent-Messwerte, mit denen Bewertungsschemas generiert werden, z. B. final_response_quality_v2 und tool_use_quality_v2, wird ebenfalls Gemini 3.1 Pro verwendet. In den vorherigen Versionen werden Gemini 2.5 Flash und Gemini 2.5 Pro verwendet. Die vorherige Version jedes Messwerts und die zugehörigen LLM-Aufrufe sind unter Messwertdetails aufgeführt.

Die aktuellen Versionen sind nur an Standorten verfügbar, an denen Gemini 3.5 Flash verfügbar ist. Wenn Sie Auswertungen an einem Ort ausführen, an dem Gemini 3.5 Flash nicht verfügbar ist, fixieren Sie den Messwert auf die vorherige Version, wie im vorherigen Beispiel gezeigt.

Abwärtskompatibilität

Auf Messwerte, die als Vorlagen für Messwert-Prompts angeboten werden, können Sie weiterhin über den GenAI-Client im Agent Platform SDK zugreifen. Paarweise Messwerte werden vom GenAI-Client im Agent Platform SDK nicht unterstützt. Informationen zum Vergleichen von zwei Modellen in derselben Bewertung finden Sie unter Bewertung ausführen.

from vertexai import types

# Access metrics represented by metric prompt template examples
coherence = types.RubricMetric.COHERENCE
fluency = types.RubricMetric.FLUENCY

Details zu verwalteten Messwerten

In diesem Abschnitt werden verwaltete Messwerte mit Details wie Typ, erforderliche Eingaben und erwartete Ausgabe aufgeführt:

Allgemeine Qualität

Aktuelle Version general_quality_v2
Typ Adaptive Bewertungsschemas
Beschreibung Ein umfassender adaptiver Messwert des Bewertungsschemas, der die Gesamtqualität der Antwort eines Modells bewertet. Es wird automatisch eine Vielzahl von Kriterien auf Basis des Inhalts des Prompts generiert und bewertet. Dies ist der empfohlene Ausgangspunkt für die meisten Analysen.
Zugriff im SDK types.RubricMetric.GENERAL_QUALITY
Eingabe
  • prompt
  • response
  • (Optional) rubric_groups
Wenn Sie bereits Rubriken erstellt haben, können Sie diese direkt zur Bewertung bereitstellen.
Ausgabe
  • score
  • rubrics und die entsprechende verdicts
Die Punktzahl gibt die Bestehensrate der Antwort basierend auf den Rubriken an.
Anzahl der LLM-Aufrufe 6 Aufrufe von Gemini 3.5 Flash
Vorherige Version general_quality_v1: 6 Aufrufe von Gemini 2.5 Flash

Textqualität

Aktuelle Version text_quality_v2
Typ Adaptive Bewertungsschemas
Beschreibung Ein gezielter adaptiver Messwert des Bewertungsschemas, der speziell die sprachliche Qualität der Antwort bewertet. Dabei werden Aspekte wie Sprachkompetenz, Kohärenz und Grammatik bewertet.
Zugriff im SDK types.RubricMetric.TEXT_QUALITY
Eingabe
  • prompt
  • response
  • (Optional) rubric_groups
Wenn Sie bereits Rubriken erstellt haben, können Sie diese direkt zur Bewertung bereitstellen.
Ausgabe
  • score
  • rubrics und die entsprechende verdicts
Die Punktzahl gibt die Bestehensrate der Antwort basierend auf den Rubriken an.
Anzahl der LLM-Aufrufe 6 Aufrufe von Gemini 3.5 Flash
Vorherige Version text_quality_v1: 6 Aufrufe von Gemini 2.5 Flash

Anweisung folgend

Aktuelle Version instruction_following_v2
Typ Adaptive Bewertungsschemas
Beschreibung Ein gezielter adaptiver Messwert des Bewertungsschemas, der misst, wie gut die Antwort die spezifischen Einschränkungen und Anweisungen im Prompt einhält.
Zugriff im SDK types.RubricMetric.INSTRUCTION_FOLLOWING
Eingabe
  • prompt
  • response
  • (Optional) rubric_groups
Wenn Sie bereits Rubriken erstellt haben, können Sie diese direkt für die Bewertung verwenden.
Ausgabe
  • score (Bestanden)
  • rubrics und die entsprechende verdicts
Die Punktzahl gibt die Bestehensrate der Antwort basierend auf den Rubriken an.
Anzahl der LLM-Aufrufe 6 Aufrufe von Gemini 3.5 Flash
Vorherige Version instruction_following_v1: 6 Aufrufe von Gemini 2.5 Flash

Fundierung

Aktuelle Version grounding_v2
Typ Statische Bewertungsschemas
Beschreibung Ein auf Bewertungen basierender Messwert, der die Faktizität und Konsistenz überprüft. Es wird geprüft, ob die Antwort des Modells auf dem Kontext basiert.
Zugriff im SDK types.RubricMetric.GROUNDING
Eingabe
  • prompt
  • response
  • context
Ausgabe
  • score
  • explanation
Der Wert liegt im Bereich 0-1. Wenn ein Satz mit unsupported oder contradictory gekennzeichnet ist, ist die Punktzahl 0. Andernfalls entspricht der Wert dem Verhältnis der Sätze mit dem Label supported oder no_rad zur Gesamtzahl der Sätze.

Das Feld explanation ist ein JSON-String mit einer Liste von Objekten pro Satz mit dem folgenden Schema: 
[
  {
    "sentence": "string",
    "label": "supported | unsupported | contradictory | no_rad",
    "rationale": "string",
    "excerpt": "string or null"
  }
]
 Jedes Objekt enthält die folgenden Felder:
  • sentence: Der Satz aus der Antwort, der analysiert wird.
  • label: Die Klassifizierung des Satzes, einer der folgenden Werte:
    • supported: Der Satz wird vom Kontext impliziert.
    • unsupported: Der Satz wird nicht durch den Kontext impliziert.
    • contradictory: Der Satz wird durch den Kontext verfälscht.
    • no_rad: Für den Satz ist keine Quellenangabe erforderlich (z. B. bei Meinungen, Begrüßungen, Fragen oder Haftungsausschlüssen).
  • rationale: Eine kurze Erklärung für die Zuweisung des Labels.
  • excerpt (vorhanden für die Labels supported und contradictory): Ein relevanter Auszug aus dem Kontext, der den Satz unterstützt oder ihm widerspricht.
Anzahl der LLM-Aufrufe 1 Aufruf von Gemini 3.5 Flash
Vorherige Version grounding_v1: 1 Aufruf von Gemini 2.5 Flash

Sicherheit

Aktuelle Version safety_v3
Typ Statische Bewertungsschemas
Beschreibung Eine auf einem Wert basierende Messgröße, mit der bewertet wird, ob die Antwort des Modells gegen eine oder mehrere Sicherheitsrichtlinien verstoßen hat.

safety_v3 prüft die folgenden Richtlinien:
  • Hassrede und Belästigung (hate_harassment)
  • Sexuelle Inhalte (sexual_content)
  • Drastische und blutrünstige Gewaltdarstellungen (violence_gore)
  • Medizinische Beratung (medical_advice)
  • Gefährliche Inhalte (dangerous_content)
  • Sexueller Missbrauch und sexuelle Ausbeutung von Kindern (csae)
safety_v1 prüft die folgenden Richtlinien:
  • Personenbezogene Daten und demografische Daten
  • Hassrede
  • Gefährliche Inhalte
  • Belästigung
  • sexuell explizit
Zugriff im SDK types.RubricMetric.SAFETY
Eingabe
  • prompt
  • response
Ausgabe
  • score
  • explanation
Die Punktzahl hat in jeder Version die gegenteilige Bedeutung:
  • safety_v3: 1 bedeutet, dass mindestens eine Richtlinie verletzt wurde, und 0 bedeutet, dass keine Richtlinie verletzt wurde.
  • safety_v1: 0 ist unsicher und 1 ist sicher.
Das Erklärungsfeld enthält die Richtlinien, gegen die verstoßen wurde.
Anzahl der LLM-Aufrufe 31 Aufrufe von Gemini 3.5 Flash
Vorherige Version safety_v1: 10 Aufrufe von Gemini 2.5 Flash

Allgemeine Qualität von Multi-Turn-Unterhaltungen

Aktuelle Version multi_turn_general_quality_v2
Typ Adaptive Bewertungsschemas
Beschreibung Ein adaptiver Messwert des Bewertungsschemas, der die Gesamtqualität der Antwort eines Modells im Kontext eines Dialogs über mehrere Themen bewertet.
Zugriff im SDK types.RubricMetric.MULTI_TURN_GENERAL_QUALITY
Eingabe
  • prompt mit Multi-Turn-Unterhaltungen
  • response
  • (Optional) rubric_groups
Wenn Sie bereits Rubriken erstellt haben, können Sie diese direkt zur Bewertung bereitstellen.
Ausgabe
  • score
  • Rubriken und entsprechende Ergebnisse
Die Punktzahl gibt die Bestehensrate der Antwort basierend auf den Rubriken an.
Anzahl der LLM-Aufrufe 6 Aufrufe von Gemini 3.5 Flash
Vorherige Version multi_turn_general_quality_v1: 6 Aufrufe von Gemini 2.5 Flash

Qualität von Texten in mehreren Runden

Aktuelle Version multi_turn_text_quality_v2
Typ Adaptive Bewertungsschemas
Beschreibung Ein adaptiver Messwert des Bewertungsschemas, der die Textqualität der Antwort eines Modells im Kontext eines Dialogs über mehrere Runden hinweg bewertet.
Zugriff im SDK types.RubricMetric.TEXT_QUALITY
Eingabe
  • prompt mit Multi-Turn-Unterhaltungen
  • response
  • (Optional) rubric_groups
Wenn Sie bereits Rubriken erstellt haben, können Sie diese direkt zur Bewertung bereitstellen.
Ausgabe
  • score
  • rubrics und die entsprechende verdicts
Die Punktzahl gibt die Bestehensrate der Antwort basierend auf den Rubriken an.
Anzahl der LLM-Aufrufe 6 Aufrufe von Gemini 3.5 Flash
Vorherige Version multi_turn_text_quality_v1: 6 Aufrufe von Gemini 2.5 Flash

Übereinstimmung der endgültigen Antwort des KI-Agenten

Aktuelle Version final_response_match_v3
Typ Statische Bewertungsschemas
Beschreibung Ein Messwert, der die Qualität der endgültigen Antwort eines KI-Agenten bewertet, indem er sie mit einer bereitgestellten Referenzantwort (Grundwahrheit) vergleicht.
Zugriff im SDK types.RubricMetric.FINAL_RESPONSE_MATCH
Eingabe
  • prompt
  • response
  • reference
Ausgabe Punktzahl
  • 1: Gültige Antwort, die mit der Referenz übereinstimmt.
  • 0: Ungültige Antwort, die nicht mit der Referenz übereinstimmt.
Erläuterung
Anzahl der LLM-Aufrufe 5 Aufrufe von Gemini 3.5 Flash
Vorherige Version final_response_match_v2: 5 Aufrufe von Gemini 2.5 Flash

Endgültige Antwort des KI-Agenten ohne Referenzen

Aktuelle Version final_response_reference_free_v2
Typ Adaptive Bewertungsschemas
Beschreibung Ein adaptiver Messwert des Bewertungsschemas, der die Qualität der endgültigen Antwort eines KI-Agenten bewertet, ohne dass eine Referenzantwort erforderlich ist.
Sie müssen Rubriken für diesen Messwert angeben, da keine automatisch generierten Rubriken unterstützt werden.
Zugriff im SDK types.RubricMetric.FINAL_RESPONSE_REFERENCE_FREE
Eingabe
  • prompt
  • response
  • rubric_groups
Ausgabe
  • score
  • rubrics und die entsprechende verdicts
Die Punktzahl gibt die Bestehensrate der Antwort basierend auf den Rubriken an.
Anzahl der LLM-Aufrufe 5 Aufrufe von Gemini 3.5 Flash
Vorherige Version final_response_reference_free_v1: 5 Aufrufe von Gemini 2.5 Flash

Qualität der endgültigen Antwort des KI-Agenten

Aktuelle Version final_response_quality_v2
Typ Adaptive Bewertungsschemas
Beschreibung Ein umfassender adaptiver Messwert des Bewertungsschemas, der die Gesamtqualität der Antwort eines KI-Agenten bewertet. Es wird automatisch eine Vielzahl von Kriterien auf Basis der Konfiguration des KI-Agenten (Entwickleranweisung und Deklarationen für Tools, die dem KI-Agenten zur Verfügung stehen) und des Nutzerprompts generiert. Anschließend werden die generierten Kriterien auf Basis der Toolnutzung in Zwischenereignissen und der endgültigen Antwort des KI-Agenten bewertet.
Zugriff im SDK types.RubricMetric.FINAL_RESPONSE_QUALITY
Eingabe
  • prompt
  • response
  • developer_instruction
  • tool_declarations (kann eine leere Liste sein)
  • intermediate_events (mit Funktionsaufrufen und Antworten, kann eine leere Liste sein)
  • Optional: rubric_groups (Wenn Sie bereits Bewertungsschemas generiert haben, können Sie sie direkt zur Bewertung bereitstellen.)
Ausgabe
  • score
  • rubrics und die entsprechende verdicts

Die Punktzahl gibt die Bestehensrate der Antwort basierend auf den Rubriken an.
Anzahl der LLM-Aufrufe 5 Aufrufe von Gemini 3.5 Flash und 1 Aufruf von Gemini 3.1 Pro
Vorherige Version final_response_quality_v1: 5 Aufrufe von Gemini 2.5 Flash und 1 Aufruf von Gemini 2.5 Pro

Halluzination des KI-Agenten

Aktuelle Version hallucination_v2
Typ Statische Bewertungsschemata
Beschreibung Ein auf Bewertungen basierender Messwert, der die Faktizität und Konsistenz von Textantworten überprüft, indem er die Antwort in einzelne Behauptungen unterteilt. Der Messwert überprüft auf Basis der Toolnutzung in den Zwischenereignissen, ob die einzelnen Behauptungen fundiert sind oder nicht. Er kann auch verwendet werden, um beliebige Zwischentextantworten zu bewerten. Legen Sie dazu das Flag evaluate_intermediate_nl_responses auf „true“ fest.
Zugriff im SDK types.RubricMetric.HALLUCINATION
Eingabe
  • response
  • developer_instruction
  • tool_declarations (kann eine leere Liste sein)
  • intermediate_events (mit Funktionsaufrufen und Antworten, kann eine leere Liste sein)
  • evaluate_intermediate_nl_responses (Standardwert ist „False“)
Ausgabe
  • score
  • explanation und die entsprechende verdicts
Der Wert liegt im Bereich 0-1 und gibt das Verhältnis der als supported oder no_rad gekennzeichneten Sätze zur Gesamtzahl der Sätze an.

Das Feld explanation ist ein JSON-String, der eine Liste von Objekten pro Ereignis mit dem folgenden Schema enthält: 
[
  {
    "response": "string",
    "score": "double",
    "explanation": [
      {
        "sentence": "string",
        "label": "supported | unsupported | contradictory | disputed | no_rad",
        "rationale": "string",
        "supporting_excerpt": "string or null",
        "contradicting_excerpt": "string or null"
      }
    ]
  }
]
 Jeder explanation-Eintrag enthält ein Objekt pro segmentiertem Satz mit den folgenden Feldern:
  • sentence: Der genaue Satz, der während der Satzsegmentierung extrahiert wurde.
  • label: Die Klassifizierung des Satzes, einer der folgenden Werte:
    • supported: Der Satz wird vom Kontext impliziert.
    • unsupported: Der Satz wird nicht durch den Kontext impliziert.
    • contradictory: Der Satz wird durch den Kontext verfälscht.
    • disputed: Der Kontext enthält sowohl unterstützende als auch widersprüchliche Informationen.
    • no_rad: Für den Satz ist keine Quellenangabe erforderlich (z. B. bei Meinungen, Begrüßungen, Fragen oder Haftungsausschlüssen).
  • rationale: Eine kurze Erklärung für die Zuweisung des Labels.
  • supporting_excerpt (vorhanden für die Labels supported und disputed): Ein relevanter Auszug aus dem Kontext, der den Satz unterstützt.
  • contradicting_excerpt (vorhanden für die Labels contradictory und disputed): Ein relevanter Auszug aus dem Kontext, der dem Satz widerspricht.
Anzahl der LLM-Aufrufe 2 Aufrufe von Gemini 3.5 Flash
Vorherige Version hallucination_v1: 2 Aufrufe von Gemini 2.5 Flash

Qualität der Nutzung von Agenten-Tools

Aktuelle Version tool_use_quality_v2
Typ Adaptive Bewertungsschemas
Beschreibung Ein gezielter adaptiver Messwert des Bewertungsschemas, der die Auswahl geeigneter Tools, die korrekte Verwendung von Parametern und die Einhaltung der angegebenen Reihenfolge von Vorgängen bewertet.
Zugriff im SDK types.RubricMetric.TOOL_USE_QUALITY
Eingabe
  • prompt
  • developer_instruction
  • tool_declarations (kann eine leere Liste sein)
  • intermediate_events (mit Funktionsaufrufen und Antworten, kann eine leere Liste sein)
  • Optional: rubric_groups (Wenn Sie bereits Bewertungsschemas generiert haben, können Sie sie direkt zur Bewertung bereitstellen.)
Ausgabe
  • score
  • rubrics und die entsprechende verdicts
Die Punktzahl gibt die Bestehensrate der Antwort basierend auf den Rubriken an.
Anzahl der LLM-Aufrufe 5 Aufrufe von Gemini 3.5 Flash und 1 Aufruf von Gemini 3.1 Pro
Vorherige Version tool_use_quality_v1: 5 Aufrufe von Gemini 2.5 Flash und 1 Aufruf von Gemini 2.5 Pro

Erfolg von Multi-Turn-Aufgaben des KI-Agents

Aktuelle Version multi_turn_task_success_v1
Typ Adaptive Bewertungsschemas
Beschreibung Ein adaptiver Messwert des Bewertungsschemas, der bewertet, ob der KI-Agent die Nutzerziele in einer gesamten Multi-Turn-Unterhaltung erfolgreich erfüllt hat. Dabei wird der Fokus auf beobachtbare Ergebnisse und Bestätigungen in den Antworten des Agenten gelegt und nicht auf Zwischenprozesse wie bestimmte Tool-Aufrufe oder Denkprozesse.

Der Messwert wird in drei Schritten berechnet:
  1. Intent-Extraktion: Hier werden Nutzerziele und ‑Intents aus der Unterhaltung ermittelt.
  2. Erstellung von Schemata: Kriterien werden auf Grundlage der extrahierten Intentionen, Agent-Anweisungen und Tool-Definitionen erstellt.
  3. Bewertungsschema-Validierung: Die Gesamtantworten des Agenten werden anhand der generierten Bewertungsschemas validiert.
Zugriff im SDK types.RubricMetric.MULTI_TURN_TASK_SUCCESS
Eingabe
  • agent_eval_data (Multi-Turn-Unterhaltungsverlauf mit Modelleingaben, Antworten und Tool-Aufrufen)
Ausgabe
  • score
  • rubrics und die entsprechende verdicts
Die Punktzahl gibt die Bestehensrate der Antwort basierend auf den Rubriken an.
Anzahl der LLM-Aufrufe 2 Aufrufe von Gemini 3.1 Pro und 5 Aufrufe von Gemini 3 Flash

Qualität der Multi-Turn-Toolnutzung durch den KI-Agenten

Aktuelle Version multi_turn_tool_use_quality_v1
Typ Adaptive Bewertungsschemas
Beschreibung Ein adaptiver Messwert des Bewertungsschemas, der die technische und semantische Richtigkeit der Tool-Aufrufe des KI-Agenten über eine gesamte Multi-Turn-Unterhaltung hinweg bewertet. Es wird geprüft, ob der Agent die richtigen Tools ausgewählt, Argumente richtig ausgefüllt und die Tool-Schemas für jedes Nutzerziel eingehalten hat.

Der Messwert wird in drei Schritten berechnet:
  1. Intent-Extraktion: Hier werden Nutzerziele und ‑Intents aus der Unterhaltung ermittelt.
  2. Erstellung von Bewertungsschemas: Ordnet jede Intention den Kriterien für die erwartete Tool-Auswahl, die Richtigkeit von Argumenten und die Einhaltung von Schemas zu.
  3. Rubric-Validierung: Hierbei werden die tatsächlichen Tool-Aufrufe des Agenten mit den generierten Rubriken verglichen.
Zugriff im SDK types.RubricMetric.MULTI_TURN_TOOL_USE_QUALITY
Eingabe
  • agent_eval_data (Multi-Turn-Unterhaltungsverlauf mit Modelleingaben, Antworten und Tool-Aufrufen)
Ausgabe
  • score
  • rubrics und die entsprechende verdicts
Die Punktzahl gibt die Bestehensrate der Antwort basierend auf den Rubriken an.
Anzahl der LLM-Aufrufe 2 Aufrufe von Gemini 3.1 Pro und 5 Aufrufe von Gemini 3 Flash

Qualität der Multi-Turn-Vorgehensweise des KI-Agenten

Aktuelle Version multi_turn_trajectory_quality_v1
Typ Adaptive Bewertungsschemas
Beschreibung Ein adaptiver Messwert des Bewertungsschemas, der die Qualität der schrittweisen Ausführung des KI-Agenten über eine gesamte Multi-Turn-Unterhaltung hinweg bewertet. Dabei wird der Schwerpunkt auf die logische Struktur und die technische Gültigkeit des Pfads des Agenten gelegt und nicht nur auf die endgültige Antwort.

Der Messwert wird in drei Schritten berechnet:
  1. Intent-Extraktion: Hier werden Nutzerziele und ‑Intents aus der Unterhaltung ermittelt.
  2. Rubrikgenerierung: Es werden Kriterien für drei Dimensionen erstellt: kausale Gültigkeit (korrekte Reihenfolge von Tool-Routing, Statusverfolgung und Datenübergabe), Effizienz (Minimierung unnötiger Schritte) und adaptive Robustheit (Umgang mit Grenz- und Fehlerfällen).
  3. Rubric-Validierung: Der tatsächliche Ausführungspfad des KI-Agenten wird anhand der generierten Rubriken validiert.
Zugriff im SDK types.RubricMetric.MULTI_TURN_TRAJECTORY_QUALITY
Eingabe
  • agent_eval_data (Multi-Turn-Unterhaltungsverlauf mit Modelleingaben, Antworten und Tool-Aufrufen)
Ausgabe
  • score
  • rubrics und die entsprechende verdicts
Die Punktzahl gibt die Bestehensrate der Antwort basierend auf den Rubriken an.
Anzahl der LLM-Aufrufe 2 Aufrufe von Gemini 3.1 Pro und 5 Aufrufe von Gemini 3 Flash

Gecko-Text-zu-Bild-Qualität

Aktuelle Version gecko_text2image_v2
Typ Adaptive Bewertungsschemas
Beschreibung Der Gecko-Messwert für die Text-zu-Bild-Umwandlung ist eine adaptive, auf einem Bewertungsschema basierende Methode zur Bewertung der Qualität eines KI-generierten Bildes im Vergleich zum entsprechenden Text-Prompt. Dazu wird zuerst eine Reihe von Fragen aus dem Prompt generiert, die als detaillierte, promptspezifische Rubrik dienen. Ein Modell beantwortet diese Fragen dann basierend auf dem generierten Bild.
Zugriff im SDK types.RubricMetric.GECKO_TEXT2IMAGE
Eingabe
  • prompt
  • response – sollte Dateidaten mit dem MIME-Typ für Bilder sein
Ausgabe
  • score
  • rubrics und die entsprechende verdicts
Die Punktzahl gibt die Bestehensrate der Antwort basierend auf den Rubriken an.
Anzahl der LLM-Aufrufe 2 Aufrufe von Gemini 3.5 Flash
Vorherige Version gecko_text2image_v1: 2 Aufrufe von Gemini 2.5 Flash

Gecko-Text-zu-Video-Qualität

Aktuelle Version gecko_text2video_v2
Typ Adaptive Bewertungsschemas
Beschreibung Der Gecko-Messwert für Text-zu-Video ist eine adaptive, auf Bewertungsschemas basierende Methode zur Bewertung der Qualität eines generierten Videos im Vergleich zum entsprechenden Text-Prompt. Dazu wird zuerst eine Reihe von Fragen aus dem Prompt generiert, die als detaillierte, promptspezifische Rubrik dienen. Ein Modell beantwortet diese Fragen dann auf Grundlage des generierten Videos.
Zugriff im SDK types.RubricMetric.GECKO_TEXT2VIDEO
Eingabe
  • prompt
  • response – sollte Dateidaten mit Video-MIME-Typ sein
Ausgabe
  • score
  • rubrics und die entsprechende verdicts
Die Punktzahl gibt die Bestehensrate der Antwort basierend auf den Rubriken an.
Anzahl der LLM-Aufrufe 2 Aufrufe von Gemini 3.5 Flash
Vorherige Version gecko_text2video_v1: 2 Aufrufe von Gemini 2.5 Flash

Nächste Schritte