강화 학습 미세 조정을 위한 초매개변수

하이퍼파라미터는 강화 학습 미세 조정 중에 모델 가중치가 업데이트되는 방식을 제어합니다. 기본값은 대부분의 워크로드에서 잘 작동하도록 조정되어 있지만, 조정된 모델을 만들 때 Cloud de Confiance 콘솔(모델 세부정보 > 고급 옵션 > 조정 설정) 또는 REST API로 조정 작업을 만들 때 요청 본문에서 기본값을 재정의할 수 있습니다.

사용 가능한 초매개변수

이러한 매개변수의 API 정의는 ReinforcementTuningHyperParameters API 참조를 확인하세요.

epochCount

데이터 세트가 반복되는 횟수입니다. 이는 학습 단계 수와는 다릅니다. 각 에포크는 다양한 수의 학습 단계를 생성할 수 있습니다.

• 기본값: 비워 두면 min(110 * promptsPerBatch / promptsInDataset, 10) 기본값은 모델이 각 프롬프트를 여러 번 볼 수 있도록 동적으로 계산되며, 작은 데이터 세트에서 과적합을 방지하기 위해 10에포크로 제한됩니다.
• 최대: 안정적인 조정의 경우 총 학습 실행이 500단계로 제한됩니다.

learningRateMultiplier

어댑터 레이어의 기본 학습률에 적용되는 배수입니다.

• 기본값: 1
• 허용되는 범위: [1/4, 4]

thinkingLevel

생성 중에 사용되는 내부 생각의 사슬 처리의 길이와 깊이를 제어합니다.

• 기본값: HIGH
• 허용되는 값: MINIMAL, HIGH (동적 사고)

batchSize 및 samplesPerPrompt

이 두 하이퍼파라미터는 프롬프트가 일괄 처리되는 방식과 각 학습 단계에서 모델이 프롬프트당 생성하는 대답 수를 제어합니다.

• batchSize - 배치당 프롬프트 수 (promptsPerBatch라고도 함). 배치 크기가 클수록 조정 속도는 느려지지만 각 단계에서 더 안정적인 업데이트를 생성할 수 있습니다.
  • 기본값: 32
• samplesPerPrompt - 단일 학습 단계에서 모델이 각 프롬프트에 대해 생성하는 다양한 대답의 수입니다. samplesPerPrompt가 클수록 조정 속도는 느려지지만 모델이 탐색하는 대답의 다양성은 늘릴 수 있습니다.
  • 기본값: 16

제품 batchSize * samplesPerPrompt에는 모달리티별 제한이 적용됩니다.

evaluateInterval

튜닝 중에 모델이 평가되는 빈도입니다. 간격은 에포크가 아닌 단계로 측정됩니다.

checkpointInterval

복구 또는 나중에 사용하기 위해 모델의 튜닝 진행 상황이 체크포인트로 저장되는 빈도입니다. 간격은 에포크가 아닌 단계로 측정됩니다.

• 권장사항: checkpointInterval = evaluateInterval * N를 설정합니다. 여기서 N는 양의 정수입니다.

maxOutputTokens

조정된 모델의 최대 출력 생성 길이입니다.

• 기본값 및 상한: 32,768

adapterSize

LoRA 어댑터 크기입니다. 어댑터 크기가 클수록 추가 학습 시간과 메모리가 필요하지만 복잡한 작업의 학습 능력이 향상됩니다.

• 기본값: ADAPTER_SIZE_SIXTEEN

다음 단계

• 조정 데이터 세트 준비
• 조정 작업의 보상 함수를 정의합니다.
• 작업 상태 및 측정항목을 모니터링합니다.
• Cloud de Confiance 콘솔 빠른 시작 또는 API 빠른 시작에 따라 첫 번째 강화 학습 미세 조정 작업을 만드세요.