미세 조정된 Gemini 모델의 컨텍스트 캐싱

미세 조정된 Gemini 모델에 컨텍스트 캐싱을 사용하면 대량의 컨텍스트가 포함된 프롬프트의 성능을 개선하고 비용을 절감할 수 있습니다. 자주 사용되는 컨텍스트를 캐싱하면 미세 조정된 모델에 대한 각 요청과 함께 대량의 데이터를 다시 전송하지 않아도 됩니다.

조정된 Gemini 모델의 컨텍스트 캐시 관리 작업 (Read, Update, Delete)은 기본 모델과 일관성을 유지합니다. 캐시된 콘텐츠 제작 및 추론에만 특정 조정이 필요하며 자세한 내용은 다음 섹션을 참고하세요.

기본 요건

Gemini 모델 미세 조정: 지원되는 기본 모델을 기반으로 배포된 미세 조정된 Gemini 모델이 필요합니다(컨텍스트 캐싱 개요 참조). Gemini 모델을 미세 조정하는 방법에 대한 자세한 내용은 Gemini 모델 미세 조정을 참조하세요. 배포되고 조정된 모델의 엔드포인트를 가져오려면 조정된 모델 배포를 참조하세요.

다음 정보를 확보해 두어야 합니다.

• 조정된 Gemini 모델의 ID 및 버전
• 배포된 미세 조정 모델의 엔드포인트 리소스 이름

지원되는 버전

미세 조정된 Gemini 모델은 특정 버전의 암시적 캐싱을 지원합니다. 지원되는 모델과 기능 목록은 Google 모델을 참고하세요.

미세 조정된 모델에는 명시적 캐싱이 지원되지 않습니다.