강화 학습 미세 조정 작업

Gemini 모델의 강화 학습 세부 조정 작업은 세 가지 주요 빌딩 블록으로 구성됩니다. 세부 조정 데이터 세트, 학습 프로세스를 제어하는 하이퍼파라미터, 각 모델 응답을 점수화하는 하나 이상의 보상 함수입니다. 또한 서비스는 모니터링을 위한 측정항목 및 작업 상태를 노출합니다.

조정 작업을 만들고, 조정된 모델을 가져오고, 추론을 실행하는 엔드 투 엔드 예시는 Cloud de Confiance 콘솔 빠른 시작 또는 API 빠른 시작을 참고하세요.

조정 데이터 세트 준비

강화 학습 미세 조정 작업은 학습 데이터 세트와 선택적 검증 데이터 세트에 의해 실행됩니다. 각 데이터 세트는 Cloud Storage에 저장된 JSONL 파일입니다. 각 줄은 systemInstruction, contents (튜닝 중에 모델이 응답하는 프롬프트), 모델의 응답을 평가하는 데 보상 함수에 필요한 메타데이터 (예: 정답, 기준표, 단위 테스트 입력)를 전달하는 references 맵이 포함된 단일 튜닝 예시입니다.

강화 학습 미세 조정은 파일별 및 프롬프트별 제한에 따라 멀티모달 프롬프트 (텍스트, 이미지, 오디오, 동영상)를 지원합니다.

전체 데이터 세트 스키마, 모달리티별 데이터 세트 제한, 보상 계산을 위해 references를 입력하는 방법의 예는 튜닝 데이터 세트 페이지를 참고하세요.

하이퍼파라미터 구성

하이퍼파라미터는 생성 중에 사용되는 사고 수준, 배치 크기, 프롬프트당 샘플, 학습률 배수, 에포크 수, 평가 및 체크포인트 간격, 최대 출력 길이, LoRA 어댑터 크기 등 강화 학습 미세 조정 중에 모델이 업데이트되는 방식을 제어합니다. 기본값은 대부분의 워크로드에 적합하지만, 튜닝 작업을 만들 때 기본값을 재정의할 수 있습니다.

기본값, 허용되는 범위, 데이터 세트 크기에 따른 규칙, 권장되는 조합은 초매개변수 페이지를 참고하세요.

보상 함수 정의

보상 함수는 조정 중에 각 모델 응답을 수치로 평가합니다. 보상 신호는 강화 학습이 최적화하는 대상이므로 품질이 튜닝 품질을 직접 결정합니다. 모든 보상은 [-1, 1] 범위로 클리핑됩니다.

강화 학습 미세 조정은 다음 보상 유형을 지원합니다.

  • 문자열 일치 보상: 모델 응답 (또는 파싱된 하위 문자열)을 references에 제공된 정답 값과 비교합니다.
  • Gemini 기반 자동 평가기 보상 - LLM-as-a-judge를 사용하여 각 대답에 점수를 매깁니다(선택적으로 대답 파싱 포함).
  • Cloud Run 리워드: 완전히 맞춤설정 가능한 점수 로직을 위해 스칼라 리워드를 반환하는 사용자 관리형 Cloud Run 서비스를 호출합니다.
  • 복합 리워드 - 위의 리워드 유형을 스코어러별 가중치와 결합합니다.

튜닝 작업을 시작하기 전에 Cloud de Confiance 콘솔에서 또는 ValidateReinforcementTuningReward API 메서드를 사용하여 보상 구성을 검증하는 것이 좋습니다.

자세한 구성 스키마, 코드 샘플, IAM 설정, 보상 설계 권장사항은 보상 함수 페이지를 참고하세요.

작업 상태 및 측정항목 모니터링

조정 작업이 시작되면 수명 주기 상태 (예: JOB_STATE_PENDING, JOB_STATE_RUNNING, JOB_STATE_SUCCEEDED, JOB_STATE_FAILED, JOB_STATE_CANCELLING, JOB_STATE_CANCELLED)를 추적하고 다음 두 가지 방법으로 조정 진행 상황을 검사할 수 있습니다.

  • 프로그래매틱 방식 - GetTuningJob 요청을 실행하여 작업의 상태, tunedModel, 오류 세부정보, 메타데이터를 가져옵니다. curl 명령어의 예는 API 빠른 시작을 참고하세요.
  • 시각적 - Cloud de Confiance 콘솔의 작업 모니터링 페이지(모델 > 조정)를 열면 각 단계에서 생성된 학습 및 평가 측정항목(보상, 생성 길이, 보상 지연 시간, 복합 보상의 보상별 분석 등)이 차트로 표시된 기본 조정 실험이 표시됩니다.

강화 학습 미세 조정은 checkpointInterval에 의해 설정된 빈도로 중간 체크포인트도 생성하므로 작업을 완료하기 전에 독립적으로 배포하고 평가할 수 있습니다.

내보낸 측정항목, 보상 유형별 측정항목, 측정항목 해석 방법, 체크포인트 액세스 방법에 관한 전체 목록은 측정항목 및 모니터링 페이지를 참고하세요.

다음 단계