Hyperparameter untuk fine-tuning reinforcement learning

Hyperparameter mengontrol cara bobot model diperbarui selama penyesuaian reinforcement learning. Nilai default disesuaikan agar berfungsi dengan baik untuk sebagian besar beban kerja, tetapi Anda dapat mengganti salah satunya di konsol Cloud de Confiance (di bagian Detail model > Opsi lanjutan > Setelan penyesuaian saat membuat model yang disesuaikan) atau di isi permintaan saat Anda membuat tugas penyesuaian dengan REST API.

Hyperparameter yang tersedia

Untuk definisi API parameter ini, lihat referensi API ReinforcementTuningHyperParameters.

epochCount

Jumlah iterasi set data. Hal ini berbeda dengan jumlah langkah pelatihan — setiap epoch dapat menghasilkan jumlah langkah pelatihan yang berbeda-beda.

  • Default: min(110 * promptsPerBatch / promptsInDataset, 10) jika dibiarkan kosong. Nilai default dihitung secara dinamis sehingga model melihat setiap perintah beberapa kali, dengan batas 10 epoch untuk mencegah overfitting pada set data yang lebih kecil.
  • Maksimum: Total proses pelatihan dibatasi hingga 500 langkah untuk penyesuaian yang stabil.

learningRateMultiplier

Pengganda yang diterapkan ke kecepatan pembelajaran dasar untuk lapisan adaptor.

  • Default: 1
  • Rentang yang diizinkan: [1/4, 4]

thinkingLevel

Mengontrol panjang dan kedalaman pemrosesan chain-of-thought internal yang digunakan selama pembuatan.

  • Default: HIGH
  • Nilai yang diizinkan: MINIMAL, HIGH (pemikiran dinamis)

batchSize dan samplesPerPrompt

Dua hyperparameter ini mengontrol cara pengelompokan perintah dan jumlah respons yang dihasilkan model per perintah selama setiap langkah pelatihan.

  • batchSize — Jumlah perintah per tumpukan (juga disebut promptsPerBatch). Ukuran tumpukan yang lebih besar memperlambat penyesuaian, tetapi dapat menghasilkan update yang lebih stabil untuk setiap langkah.
    • Default: 32
  • samplesPerPrompt — Jumlah respons berbeda yang dihasilkan model untuk setiap perintah selama satu langkah pelatihan. Nilai samplesPerPrompt yang lebih besar akan memperlambat penyesuaian, tetapi dapat meningkatkan keragaman respons yang dieksplorasi model.
    • Default: 16

Produk batchSize * samplesPerPrompt tunduk pada batasan khusus modalitas:

Modalitas Pembatasan pada batchSize * samplesPerPrompt
Teks Harus dapat dibagi dengan 16 dan kurang dari atau sama dengan 8.192
Multimodal (gambar, audio, atau video) Harus dapat dibagi dengan 16 dan kurang dari atau sama dengan 1.024

evaluateInterval

Frekuensi evaluasi model selama penyesuaian. Interval diukur dalam langkah, bukan epoch.

checkpointInterval

Frekuensi progres penyesuaian model disimpan sebagai checkpoint, untuk pemulihan atau penggunaan di lain waktu. Interval diukur dalam langkah, bukan epoch.

  • Direkomendasikan: Tetapkan checkpointInterval = evaluateInterval * N, dengan N adalah bilangan bulat positif.

maxOutputTokens

Panjang pembuatan output maksimum untuk model yang di-tuning.

  • Default dan batas atas: 32,768

adapterSize

Ukuran adaptor LoRA. Ukuran adaptor yang lebih besar memberikan kapasitas pembelajaran yang lebih besar untuk tugas yang kompleks dengan mengorbankan waktu pelatihan dan memori tambahan.

  • Default: ADAPTER_SIZE_SIXTEEN

Langkah berikutnya