Tugas fine-tuning reinforcement learning

Tugas reinforcement learning fine-tuning untuk model Gemini dikonfigurasi dengan tiga elemen penyusun utama: set data tuning, hyperparameter yang mengontrol proses pelatihan, dan satu atau beberapa fungsi reward yang memberi skor pada setiap respons model. Layanan ini juga mengekspos metrik dan status tugas untuk pemantauan.

Untuk contoh end-to-end pembuatan tugas penyesuaian, pengambilan model yang disesuaikan, dan menjalankan inferensi, lihat Cloud de Confiance panduan memulai cepat konsol atau panduan memulai cepat API.

Menyiapkan set data penyesuaian

Tugas penyesuaian reinforcement learning didorong oleh set data pelatihan dan set data validasi opsional. Setiap set data adalah file JSONL yang disimpan di Cloud Storage. Setiap baris adalah satu contoh penyesuaian yang berisi systemInstruction, contents (perintah yang direspons model selama penyesuaian), dan peta references yang membawa metadata apa pun yang dibutuhkan fungsi penghargaan Anda untuk memberi skor pada respons model (misalnya, jawaban kebenaran nyata, rubrik, atau input pengujian unit).

Penyesuaian pembelajaran reinforcement mendukung perintah multimodal (teks, gambar, audio, dan video), yang tunduk pada batas per file dan per perintah.

Untuk mengetahui skema set data lengkap, batas set data khusus modalitas, dan contoh cara mengisi references untuk komputasi reward, lihat halaman Set data penyesuaian.

Mengonfigurasi hyperparameter

Hyperparameter mengontrol cara model diperbarui selama penyesuaian reinforcement learning, termasuk tingkat penalaran yang digunakan selama pembuatan, ukuran tumpukan, sampel per perintah, pengganda kecepatan pembelajaran, jumlah iterasi pelatihan, interval evaluasi dan checkpoint, panjang output maksimum, dan ukuran adaptor LoRA. Setelan default berfungsi dengan baik untuk sebagian besar workload, tetapi Anda dapat mengganti salah satunya saat membuat tugas penyesuaian.

Untuk nilai default, rentang yang diizinkan, aturan yang bergantung pada ukuran set data, dan kombinasi yang direkomendasikan, lihat halaman Hyperparameter.

Menentukan fungsi reward

Fungsi reward memberi skor numerik pada setiap respons model selama penyesuaian. Sinyal reward adalah hal yang dioptimalkan oleh reinforcement learning, sehingga kualitasnya secara langsung menentukan kualitas penyesuaian. Semua reward dipangkas ke rentang [-1, 1].

Penyesuaian pembelajaran reinforcement mendukung jenis reward berikut:

  • Penghargaan pencocokan string — Membandingkan respons model (atau substring yang diuraikan) dengan nilai kebenaran dasar yang diberikan di references.
  • Penghargaan pemberi rating otomatis berbasis Gemini — Menggunakan LLM sebagai pemberi rating untuk memberi skor setiap respons, dengan penguraian respons opsional.
  • Reward Cloud Run — Memanggil layanan Cloud Run yang dikelola pengguna yang menampilkan reward skalar, untuk logika pemberian skor yang dapat disesuaikan sepenuhnya.
  • Reward komposit — Menggabungkan jenis reward di atas dengan bobot per pemberi skor.

Sebelum meluncurkan tugas penyetelan, sebaiknya validasi konfigurasi reward Anda di konsol Cloud de Confiance atau dengan metode API ValidateReinforcementTuningReward.

Untuk skema konfigurasi mendetail, contoh kode, penyiapan IAM, dan praktik terbaik desain reward, lihat halaman Fungsi reward.

Memantau status dan metrik tugas

Setelah tugas penyetelan diluncurkan, Anda dapat melacak status siklus prosesnya (seperti JOB_STATE_PENDING, JOB_STATE_RUNNING, JOB_STATE_SUCCEEDED, JOB_STATE_FAILED, JOB_STATE_CANCELLING, JOB_STATE_CANCELLED) dan memeriksa progres penyetelan dengan dua cara:

  • Secara terprogram — Kirim permintaan GetTuningJob untuk mengambil status tugas, tunedModel, detail error, dan metadata. Lihat Panduan memulai API untuk mengetahui contoh perintah curl.
  • Secara visual — Buka halaman pemantauan tugas di konsol Cloud de Confiance di bagian Model > Penyesuaian, yang menampilkan eksperimen penyesuaian pokok dengan diagram untuk metrik pelatihan dan evaluasi yang dikeluarkan di setiap langkah (reward, panjang generasi, latensi reward, perincian per reward untuk reward gabungan, dan sebagainya).

Penyesuaian reinforcement learning juga menghasilkan checkpoint perantara pada frekuensi yang ditetapkan oleh checkpointInterval, yang dapat Anda deploy dan evaluasi secara terpisah sebelum tugas selesai.

Untuk mengetahui daftar lengkap metrik yang dipancarkan, metrik per jenis reward, cara menafsirkannya, dan cara mengakses titik pemeriksaan, lihat halaman Metrik dan pemantauan.

Langkah berikutnya