Detail untuk metrik berbasis rubrik terkelola

Halaman ini menyediakan daftar lengkap metrik berbasis rubrik terkelola yang ditawarkan oleh layanan evaluasi AI generatif, yang dapat Anda gunakan di Klien GenAI di Agent Platform SDK.

Untuk mengetahui informasi selengkapnya tentang evaluasi berbasis pengujian, lihat Menentukan metrik evaluasi.

Ringkasan

Layanan evaluasi AI generatif menawarkan daftar metrik berbasis rubrik terkelola untuk framework evaluasi berbasis pengujian:

  • Untuk metrik dengan rubrik adaptif, sebagian besar metrik mencakup alur kerja untuk pembuatan rubrik bagi setiap perintah dan validasi rubrik. Anda dapat menjalankannya secara terpisah jika diperlukan. Lihat Menjalankan evaluasi untuk mengetahui detailnya.

  • Untuk metrik dengan rubrik statis, tidak ada rubrik per-prompt yang dibuat. Untuk mengetahui detail terkait output yang diinginkan, lihat Detail metrik.

Setiap metrik berbasis rubrik terkelola memiliki nomor versi. Metrik menggunakan versi terbaru secara default, tetapi Anda dapat menyematkan ke versi tertentu jika diperlukan:

from vertexai import types

text_quality_metric = types.RubricMetric.TEXT_QUALITY
general_quality_v1 = types.RubricMetric.GENERAL_QUALITY(version='v1')

Versi model dan ketersediaan regional

Versi terbaru dari sebagian besar metrik terkelola (misalnya, general_quality_v2, instruction_following_v2, safety_v3, dan final_response_match_v3) menggunakan Gemini 3.5 Flash sebagai model penilai. Metrik agen yang membuat rubrik, seperti final_response_quality_v2 dan tool_use_quality_v2, juga menggunakan Gemini 3.1 Pro untuk pembuatan rubrik. Versi sebelumnya menggunakan Gemini 2.5 Flash dan Gemini 2.5 Pro. Versi sebelumnya dari setiap metrik dan panggilan LLM-nya tercantum di Detail metrik.

Versi terbaru hanya tersedia di lokasi tempat Gemini 3.5 Flash tersedia. Jika Anda menjalankan evaluasi di lokasi tempat Gemini 3.5 Flash tidak tersedia, sematkan metrik ke versi sebelumnya, seperti yang ditunjukkan pada contoh sebelumnya.

Kompatibilitas mundur

Untuk metrik yang ditawarkan sebagai Template perintah metrik, Anda tetap dapat mengakses metrik pointwise melalui Klien GenAI di Agent Platform SDK dengan pendekatan yang sama. Metrik berpasangan tidak didukung oleh SDK Klien GenAI di Agent Platform, tetapi lihat Menjalankan evaluasi untuk membandingkan dua model dalam evaluasi yang sama.

from vertexai import types

# Access metrics represented by metric prompt template examples
coherence = types.RubricMetric.COHERENCE
fluency = types.RubricMetric.FLUENCY

Detail metrik terkelola

Bagian ini mencantumkan metrik terkelola dengan detail seperti jenis, input yang diperlukan, dan output yang diharapkan:

Kualitas umum

Versi terbaru general_quality_v2
Jenis Rubrik adaptif
Deskripsi Metrik rubrik adaptif komprehensif yang mengevaluasi kualitas keseluruhan respons model. Alat ini otomatis membuat dan menilai berbagai kriteria berdasarkan konten perintah. Ini adalah titik awal yang direkomendasikan untuk sebagian besar evaluasi.
Cara mengakses di SDK types.RubricMetric.GENERAL_QUALITY
Input
  • prompt
  • response
  • (Opsional) rubric_groups
Jika Anda sudah membuat rubrik, Anda dapat langsung memberikannya untuk evaluasi.
Output
  • score
  • rubrics dan verdicts yang sesuai
Skor ini menunjukkan tingkat kelulusan respons berdasarkan rubrik.
Jumlah panggilan LLM 6 panggilan ke Gemini 3.5 Flash
Versi sebelumnya general_quality_v1: 6 panggilan ke Gemini 2.5 Flash

Kualitas teks

Versi terbaru text_quality_v2
Jenis Rubrik adaptif
Deskripsi Metrik rubrik adaptif yang ditargetkan yang secara khusus mengevaluasi kualitas linguistik respons. Alat ini menilai aspek seperti kelancaran, koherensi, dan tata bahasa.
Cara mengakses di SDK types.RubricMetric.TEXT_QUALITY
Input
  • prompt
  • response
  • (Opsional) rubric_groups
Jika sudah membuat rubrik, Anda dapat langsung memberikannya untuk evaluasi.
Output
  • score
  • rubrics dan verdicts yang sesuai
Skor ini menunjukkan tingkat kelulusan respons berdasarkan rubrik.
Jumlah panggilan LLM 6 panggilan ke Gemini 3.5 Flash
Versi sebelumnya text_quality_v1: 6 panggilan ke Gemini 2.5 Flash

Mengikuti petunjuk

Versi terbaru instruction_following_v2
Jenis Rubrik adaptif
Deskripsi Metrik rubrik adaptif yang ditargetkan yang mengukur seberapa baik respons mematuhi batasan dan petunjuk khusus yang diberikan dalam perintah.
Cara mengakses di SDK types.RubricMetric.INSTRUCTION_FOLLOWING
Input
  • prompt
  • response
  • (Opsional) rubric_groups
Jika sudah membuat rubrik, Anda dapat langsung memberikannya untuk dievaluasi.
Output
  • score (tingkat kelulusan)
  • rubrics dan verdicts yang sesuai
Skor ini menunjukkan tingkat kelulusan respons berdasarkan rubrik.
Jumlah panggilan LLM 6 panggilan ke Gemini 3.5 Flash
Versi sebelumnya instruction_following_v1: 6 panggilan ke Gemini 2.5 Flash

Grounding

Versi terbaru grounding_v2
Jenis Rubrik statis
Deskripsi Metrik berbasis skor yang memeriksa faktualitas dan konsistensi. Hal ini memverifikasi bahwa respons model didasarkan pada konteks.
Cara mengakses di SDK types.RubricMetric.GROUNDING
Input
  • prompt
  • response
  • context
Output
  • score
  • explanation
Skor memiliki rentang 0-1. Jika ada kalimat yang diberi label unsupported atau contradictory, skornya adalah 0. Jika tidak, skor mewakili rasio kalimat yang diberi label supported atau no_rad terhadap jumlah total kalimat.

Kolom explanation adalah string JSON yang berisi daftar objek per kalimat dengan skema berikut: 
[
  {
    "sentence": "string",
    "label": "supported | unsupported | contradictory | no_rad",
    "rationale": "string",
    "excerpt": "string or null"
  }
]
 Setiap objek berisi kolom berikut:
  • sentence: Kalimat yang dianalisis dari respons.
  • label: Klasifikasi kalimat, salah satunya:
    • supported: Kalimat tersebut tercakup dalam konteks.
    • unsupported: Kalimat tidak tercakup dalam konteks.
    • contradictory: Kalimat dipalsukan oleh konteks.
    • no_rad: Kalimat tidak memerlukan atribusi faktual (misalnya, opini, salam, pertanyaan, atau pernyataan penyangkalan).
  • rationale: Penjelasan singkat untuk penetapan label.
  • excerpt (ada untuk label supported dan contradictory): Kutipan relevan dari konteks yang mendukung atau bertentangan dengan kalimat.
Jumlah panggilan LLM 1 panggilan ke Gemini 3.5 Flash
Versi sebelumnya grounding_v1: 1 panggilan ke Gemini 2.5 Flash

Keamanan

Versi terbaru safety_v3
Jenis Rubrik statis
Deskripsi Metrik berbasis skor yang menilai apakah respons model melanggar satu atau beberapa kebijakan keamanan.

safety_v3 memeriksa kebijakan berikut:
  • Kebencian dan pelecehan (hate_harassment)
  • Konten seksual (sexual_content)
  • Kekerasan dan adegan berdarah-darah (violence_gore)
  • Saran medis (medical_advice)
  • Konten berbahaya (dangerous_content)
  • Pelecehan seksual dan eksploitasi terhadap anak-anak (csae)
safety_v1 memeriksa kebijakan berikut:
  • Data PII & Demografi
  • Ujaran Kebencian
  • Konten Berbahaya
  • Pelecehan
  • Seksual Vulgar
Cara mengakses di SDK types.RubricMetric.SAFETY
Input
  • prompt
  • response
Output
  • score
  • explanation
Skor memiliki arti yang berlawanan di setiap versi:
  • safety_v3: 1 berarti setidaknya satu kebijakan dilanggar, dan 0 berarti tidak ada kebijakan yang dilanggar.
  • safety_v1: 0 tidak aman dan 1 aman.
Kolom penjelasan mencakup kebijakan yang dilanggar.
Jumlah panggilan LLM 31 panggilan ke Gemini 3.5 Flash
Versi sebelumnya safety_v1: 10 panggilan ke Gemini 2.5 Flash

Kualitas umum multi-turn

Versi terbaru multi_turn_general_quality_v2
Jenis Rubrik adaptif
Deskripsi Metrik rubrik adaptif yang mengevaluasi kualitas keseluruhan respons model dalam konteks dialog multi-giliran.
Cara mengakses di SDK types.RubricMetric.MULTI_TURN_GENERAL_QUALITY
Input
  • prompt dengan percakapan multi-giliran
  • response
  • (Opsional) rubric_groups
Jika sudah membuat rubrik, Anda dapat langsung memberikannya untuk evaluasi.
Output
  • score
  • rubrik dan putusan yang sesuai
Skor ini menunjukkan tingkat kelulusan respons berdasarkan rubrik.
Jumlah panggilan LLM 6 panggilan ke Gemini 3.5 Flash
Versi sebelumnya multi_turn_general_quality_v1: 6 panggilan ke Gemini 2.5 Flash

Kualitas teks multi-giliran

Versi terbaru multi_turn_text_quality_v2
Jenis Rubrik adaptif
Deskripsi Metrik rubrik adaptif yang mengevaluasi kualitas teks respons model dalam konteks dialog multi-giliran.
Cara mengakses di SDK types.RubricMetric.TEXT_QUALITY
Input
  • prompt dengan percakapan multi-giliran
  • response
  • (Opsional) rubric_groups
Jika sudah membuat rubrik, Anda dapat langsung memberikannya untuk evaluasi.
Output
  • score
  • rubrics dan verdicts yang sesuai
Skor ini menunjukkan tingkat kelulusan respons berdasarkan rubrik.
Jumlah panggilan LLM 6 panggilan ke Gemini 3.5 Flash
Versi sebelumnya multi_turn_text_quality_v1: 6 panggilan ke Gemini 2.5 Flash

Pencocokan respons akhir agen

Versi terbaru final_response_match_v3
Jenis Rubrik statis
Deskripsi Metrik yang mengevaluasi kualitas jawaban akhir agen AI dengan membandingkannya dengan jawaban referensi (kebenaran nyata) yang diberikan.
Cara mengakses di SDK types.RubricMetric.FINAL_RESPONSE_MATCH
Input
  • prompt
  • response
  • reference
Output Skor
  • 1: Respons valid yang cocok dengan referensi.
  • 0: Respons tidak valid yang tidak cocok dengan referensi.
Penjelasan
Jumlah panggilan LLM 5 panggilan ke Gemini 3.5 Flash
Versi sebelumnya final_response_match_v2: 5 panggilan ke Gemini 2.5 Flash

Referensi respons akhir agen tanpa biaya

Versi terbaru final_response_reference_free_v2
Jenis Rubrik adaptif
Deskripsi Metrik rubrik adaptif yang mengevaluasi kualitas jawaban akhir agen AI tanpa memerlukan jawaban referensi.
Anda harus memberikan rubrik untuk metrik ini, karena metrik ini tidak mendukung rubrik yang dibuat otomatis.
Cara mengakses di SDK types.RubricMetric.FINAL_RESPONSE_REFERENCE_FREE
Input
  • prompt
  • response
  • rubric_groups
Output
  • score
  • rubrics dan verdicts yang sesuai
Skor ini menunjukkan tingkat kelulusan respons berdasarkan rubrik.
Jumlah panggilan LLM 5 panggilan ke Gemini 3.5 Flash
Versi sebelumnya final_response_reference_free_v1: 5 panggilan ke Gemini 2.5 Flash

Kualitas respons akhir agen

Versi terbaru final_response_quality_v2
Jenis Rubrik adaptif
Deskripsi Metrik rubrik adaptif komprehensif yang mengevaluasi kualitas keseluruhan respons agen. Secara otomatis, alat ini membuat berbagai kriteria berdasarkan konfigurasi agen (petunjuk dan pernyataan developer untuk alat yang tersedia bagi agen) dan perintah pengguna, lalu menilai kriteria yang dibuat berdasarkan penggunaan alat dalam peristiwa perantara dan jawaban akhir oleh agen.
Cara mengakses di SDK types.RubricMetric.FINAL_RESPONSE_QUALITY
Input
  • prompt
  • response
  • developer_instruction
  • tool_declarations (dapat berupa daftar kosong)
  • intermediate_events (berisi panggilan & respons fungsi, dapat berupa daftar kosong)
  • (Opsional) rubric_groups (Jika Anda sudah membuat rubrik, Anda dapat langsung memberikannya untuk dievaluasi)
Output
  • score
  • rubrics dan verdicts yang sesuai

Skor ini menunjukkan tingkat kelulusan respons berdasarkan rubrik.
Jumlah panggilan LLM 5 panggilan ke Gemini 3.5 Flash dan 1 panggilan ke Gemini 3.1 Pro
Versi sebelumnya final_response_quality_v1: 5 panggilan ke Gemini 2.5 Flash dan 1 panggilan ke Gemini 2.5 Pro

Halusinasi agen

Versi terbaru hallucination_v2
Jenis Rubrik Statis
Deskripsi Metrik berbasis skor yang memeriksa faktualitas dan konsistensi respons teks dengan menyegmentasikan respons menjadi klaim atomik. Hal ini memverifikasi apakah setiap klaim memiliki dasar atau tidak berdasarkan penggunaan alat dalam peristiwa perantara. Respons ini juga dapat digunakan untuk mengevaluasi respons teks perantara dengan menyetel tanda evaluate_intermediate_nl_responses ke benar (true).
Cara mengakses di SDK types.RubricMetric.HALLUCINATION
Input
  • response
  • developer_instruction
  • tool_declarations (dapat berupa daftar kosong)
  • intermediate_events (berisi panggilan & respons fungsi, dapat berupa daftar kosong)
  • evaluate_intermediate_nl_responses (defaultnya adalah False)
Output
  • score
  • explanation dan verdicts yang sesuai
Skor memiliki rentang 0-1, dan merepresentasikan rasio kalimat yang diberi label supported atau no_rad terhadap jumlah total kalimat.

Kolom explanation adalah string JSON yang berisi daftar objek per peristiwa dengan skema berikut: 
[
  {
    "response": "string",
    "score": "double",
    "explanation": [
      {
        "sentence": "string",
        "label": "supported | unsupported | contradictory | disputed | no_rad",
        "rationale": "string",
        "supporting_excerpt": "string or null",
        "contradicting_excerpt": "string or null"
      }
    ]
  }
]
 Setiap entri explanation berisi satu objek per kalimat yang tersegmentasi dengan kolom berikut:
  • sentence: Kalimat persis yang diekstrak selama langkah segmentasi kalimat.
  • label: Klasifikasi kalimat, salah satunya:
    • supported: Kalimat tersebut tercakup dalam konteks.
    • unsupported: Kalimat tidak tercakup dalam konteks.
    • contradictory: Kalimat dipalsukan oleh konteks.
    • disputed: Konteks berisi informasi pendukung dan yang bertentangan.
    • no_rad: Kalimat tidak memerlukan atribusi faktual (misalnya, opini, salam, pertanyaan, atau pernyataan penyangkalan).
  • rationale: Penjelasan singkat untuk penetapan label.
  • supporting_excerpt (ada untuk label supported dan disputed): Kutipan yang relevan dari konteks yang mendukung kalimat.
  • contradicting_excerpt (ada untuk label contradictory dan disputed): Kutipan relevan dari konteks yang bertentangan dengan kalimat.
Jumlah panggilan LLM 2 panggilan ke Gemini 3.5 Flash
Versi sebelumnya hallucination_v1: 2 panggilan ke Gemini 2.5 Flash

Kualitas penggunaan alat agen

Versi terbaru tool_use_quality_v2
Jenis Rubrik adaptif
Deskripsi Metrik rubrik adaptif yang ditargetkan yang mengevaluasi pemilihan alat yang sesuai, penggunaan parameter yang benar, dan kepatuhan terhadap urutan operasi yang ditentukan.
Cara mengakses di SDK types.RubricMetric.TOOL_USE_QUALITY
Input
  • prompt
  • developer_instruction
  • tool_declarations (dapat berupa daftar kosong)
  • intermediate_events (berisi panggilan & respons fungsi, dapat berupa daftar kosong)
  • (Opsional) rubric_groups (Jika Anda sudah membuat rubrik, Anda dapat langsung memberikannya untuk dievaluasi)
Output
  • score
  • rubrics dan verdicts yang sesuai
Skor ini menunjukkan tingkat kelulusan respons berdasarkan rubrik.
Jumlah panggilan LLM 5 panggilan ke Gemini 3.5 Flash dan 1 panggilan ke Gemini 3.1 Pro
Versi sebelumnya tool_use_quality_v1: 5 panggilan ke Gemini 2.5 Flash dan 1 panggilan ke Gemini 2.5 Pro

Keberhasilan tugas multi-giliran agen

Versi terbaru multi_turn_task_success_v1
Jenis Rubrik adaptif
Deskripsi Metrik rubrik adaptif yang mengevaluasi apakah agen berhasil memenuhi sasaran pengguna di seluruh percakapan multi-giliran. Evaluasi ini berfokus pada hasil dan konfirmasi yang dapat diamati dalam respons agen, bukan pada proses perantara seperti panggilan alat tertentu atau langkah-langkah penalaran.

Metrik ini beroperasi dalam tiga langkah:
  1. Ekstraksi maksud: Mengidentifikasi sasaran dan maksud pengguna dari percakapan.
  2. Pembuatan rubrik: Membuat kriteria berdasarkan maksud yang diekstrak, petunjuk agen, dan definisi alat.
  3. Validasi rubrik: Memvalidasi keseluruhan respons agen berdasarkan rubrik yang dibuat.
Cara mengakses di SDK types.RubricMetric.MULTI_TURN_TASK_SUCCESS
Input
  • agent_eval_data (trace percakapan multi-turn yang mencakup input model, respons, dan panggilan alat)
Output
  • score
  • rubrics dan verdicts yang sesuai
Skor ini menunjukkan tingkat kelulusan respons berdasarkan rubrik.
Jumlah panggilan LLM 2 panggilan ke Gemini 3.1 Pro dan 5 panggilan ke Gemini 3 Flash

Kualitas penggunaan alat multi-turn oleh agen

Versi terbaru multi_turn_tool_use_quality_v1
Jenis Rubrik adaptif
Deskripsi Metrik rubrik adaptif yang mengevaluasi kebenaran teknis dan semantik panggilan alat agen di seluruh percakapan multi-giliran. Hal ini memverifikasi bahwa agen memilih alat yang benar, mengisi argumen dengan benar, dan mematuhi skema alat untuk setiap tujuan pengguna.

Metrik ini beroperasi dalam tiga langkah:
  1. Ekstraksi maksud: Mengidentifikasi sasaran dan maksud pengguna dari percakapan.
  2. Pembuatan rubrik: Memetakan setiap maksud ke kriteria pemilihan alat yang diharapkan, kebenaran argumen, dan kepatuhan skema.
  3. Validasi rubrik: Memvalidasi panggilan alat sebenarnya agen berdasarkan rubrik yang dihasilkan.
Cara mengakses di SDK types.RubricMetric.MULTI_TURN_TOOL_USE_QUALITY
Input
  • agent_eval_data (trace percakapan multi-turn yang mencakup input model, respons, dan panggilan alat)
Output
  • score
  • rubrics dan verdicts yang sesuai
Skor ini menunjukkan tingkat kelulusan respons berdasarkan rubrik.
Jumlah panggilan LLM 2 panggilan ke Gemini 3.1 Pro dan 5 panggilan ke Gemini 3 Flash

Kualitas lintasan multi-giliran agen

Versi terbaru multi_turn_trajectory_quality_v1
Jenis Rubrik adaptif
Deskripsi Metrik rubrik adaptif yang mengevaluasi kualitas arah eksekusi langkah demi langkah agen di seluruh percakapan multi-giliran. Fitur ini berfokus pada struktur logis dan validitas teknis jalur agen, bukan hanya respons akhir.

Metrik ini beroperasi dalam tiga langkah:
  1. Ekstraksi maksud: Mengidentifikasi sasaran dan maksud pengguna dari percakapan.
  2. Pembuatan rubrik: Menghasilkan kriteria di tiga dimensi: validitas kausal (urutan perutean alat, pelacakan status, dan penerusan data yang benar), efisiensi (meminimalkan langkah-langkah yang tidak perlu), dan ketahanan adaptif (menangani kasus ekstrem dan error).
  3. Validasi rubrik: Memvalidasi jalur eksekusi aktual agen terhadap rubrik yang dihasilkan.
Cara mengakses di SDK types.RubricMetric.MULTI_TURN_TRAJECTORY_QUALITY
Input
  • agent_eval_data (trace percakapan multi-turn yang mencakup input model, respons, dan panggilan alat)
Output
  • score
  • rubrics dan verdicts yang sesuai
Skor ini menunjukkan tingkat kelulusan respons berdasarkan rubrik.
Jumlah panggilan LLM 2 panggilan ke Gemini 3.1 Pro dan 5 panggilan ke Gemini 3 Flash

Kualitas text-to-image Gecko

Versi terbaru gecko_text2image_v2
Jenis Rubrik adaptif
Deskripsi Metrik text-to-image Gecko adalah metode adaptif berbasis rubrik untuk mengevaluasi kualitas gambar generatif berdasarkan perintah teks yang sesuai. Cara kerjanya adalah dengan terlebih dahulu membuat serangkaian pertanyaan dari perintah, yang berfungsi sebagai rubrik spesifik per perintah yang mendetail. Kemudian, model menjawab pertanyaan ini berdasarkan gambar generatif yang dihasilkan.
Cara mengakses di SDK types.RubricMetric.GECKO_TEXT2IMAGE
Input
  • prompt
  • response - harus berupa data file dengan jenis MIME gambar
Output
  • score
  • rubrics dan verdicts yang sesuai
Skor ini menunjukkan tingkat kelulusan respons berdasarkan rubrik.
Jumlah panggilan LLM 2 panggilan ke Gemini 3.5 Flash
Versi sebelumnya gecko_text2image_v1: 2 panggilan ke Gemini 2.5 Flash

Kualitas teks ke video Gecko

Versi terbaru gecko_text2video_v2
Jenis Rubrik adaptif
Deskripsi Metrik teks-ke-video Gecko adalah metode adaptif berbasis rubrik untuk mengevaluasi kualitas video yang dihasilkan berdasarkan perintah teks yang sesuai. Cara kerjanya adalah dengan terlebih dahulu membuat serangkaian pertanyaan dari perintah, yang berfungsi sebagai rubrik spesifik per perintah yang mendetail. Kemudian, model menjawab pertanyaan ini berdasarkan video yang dibuat.
Cara mengakses di SDK types.RubricMetric.GECKO_TEXT2VIDEO
Input
  • prompt
  • response - harus berupa data file dengan jenis MIME video
Output
  • score
  • rubrics dan verdicts yang sesuai
Skor ini menunjukkan tingkat kelulusan respons berdasarkan rubrik.
Jumlah panggilan LLM 2 panggilan ke Gemini 3.5 Flash
Versi sebelumnya gecko_text2video_v1: 2 panggilan ke Gemini 2.5 Flash

Langkah berikutnya