Set data penyesuaian untuk fine-tuning reinforcement learning

Tugas penyesuaian reinforcement learning didorong oleh set data pelatihan dan set data validasi opsional. Setiap set data adalah file JSON yang disimpan di Cloud Storage, dengan setiap baris adalah satu contoh penyesuaian.

Halaman ini menjelaskan skema set data, cara menggunakan kolom references untuk komputasi reward, dan batas set data per modalitas yang diterapkan oleh layanan.

Skema set data

Setiap baris file set data JSONL mengikuti skema ini:

{
  "systemInstruction": {
    "role": string,
    "parts": [
      {
        "text": string
      }
    ]
  },
  "contents": [
    {
      "role": string,
      "parts": [
        {
          // Union field data: text or fileData.
          "text": string,
          "fileData": {
            "mimeType": string,
            "fileUri": string
          }
        }
      ]
    }
  ],
  "references": {
    string: string,
    ...
  }
}

Kolom contents dan systemInstruction menggunakan skema yang sama dengan Gemini Enterprise Agent Platform generateContent API. systemInstruction hanya menerima teks. contents dapat mencakup data teks atau file (gambar, audio, atau video), yang tunduk pada batas set data.

Kolom references

Kolom references khusus untuk penyesuaian reinforcement learning. Objek ini menyimpan metadata apa pun yang diperlukan fungsi reward Anda untuk memberi skor pada respons model. Fungsi ini menerima kamus string-ke-string.

Misalnya, reward pencocokan string yang membandingkan jawaban model dengan kebenaran dasar yang diketahui dapat menggunakan baris set data seperti berikut:

{
  "systemInstruction": {
    "role": "system",
    "parts": [{ "text": "You are a helpful math tutor." }]
  },
  "contents": [
    {
      "role": "user",
      "parts": [{ "text": "What is 17 * 23? Put your final answer in $\\text{your answer}$." }]
    }
  ],
  "references": {
    "ground_truth_answer": "391"
  }
}

Fungsi reward Anda dapat membaca references["ground_truth_answer"] dan membandingkannya dengan nilai yang dihasilkan model. Untuk mengetahui detail tentang cara setiap jenis reward menggunakan references, lihat halaman Fungsi reward.

Batas set data

Batas berikut berlaku untuk set data fine-tuning reinforcement learning:

Batas multimodal

Batas per modalitas berikut berlaku saat set data Anda mencakup data gambar, audio, atau video:

Langkah berikutnya

• Konfigurasi hyperparameter untuk tugas penyesuaian Anda.
• Tentukan fungsi reward.
• Pantau status dan metrik tugas.
• Ikuti panduan memulai konsolCloud de Confiance atau panduan memulai API untuk membuat tugas penyesuaian pembelajaran reinforcement pertama Anda.