이 섹션에서는 할당량 적용 동작 및 최소 생성형 AI 확장 단위 (GSU) 구매 증분을 비롯하여 Gemini Omni 모델에서 프로비저닝된 처리량이 작동하는 방식을 설명합니다.
Gemini Omni 모델의 경우 할당량 시행 기간은 모델에 대해 구매한 GSU 수에 따라 다르며 변경될 수 있습니다. 다음 섹션에는 다양한 GSU 크기의 할당량 시행 기간이 나와 있습니다.
Gemini Omni Flash 프리뷰: 할당량 적용 기간
Gemini Omni Flash Preview의 다양한 GSU 크기에 대한 할당량 시행 기간은 다음과 같습니다.
- GSU 1~9개: 2,000초
- GSU 10~19개: 200초
- GSU 20~39개: 100초
- GSU 40~66개: 50초
- GSU 67개 이상: 30초
나열된 값은 요청 지연 시간과 무관합니다. 요청 처리 시간은 할당량 적용 기간과 다릅니다.
소규모 요청이 기간 내에 성공적으로 처리되도록 소규모 GSU 금액의 경우 시행 기간이 더 깁니다. 모델의 GSU 수가 증가하면 요청을 처리하는 데 더 긴 창 시간이 필요하지 않습니다. 프로비저닝된 처리량을 사용하여 Omni Flash에서 출력을 더 자주 처리해야 하는 경우 구매한 GSU 수를 늘리고 해당 시행 기간을 확인하는 것이 좋습니다.
예를 들어 10초 길이의 1080p 동영상 하나를 생성해야 하는 워크로드에 대해 Omni Flash Preview GSU 1개를 구매한 상황을 생각해 보세요. 이 경우 일반적으로 60초 이내에 이 동영상을 생성할 수 있으며 트래픽은 프로비저닝된 처리량으로 처리됩니다. 하지만 동일한 길이의 동영상을 다시 생성하려면 할당량 시행 기간 (GSU 1개당 2,000초)이 끝날 때까지 기다려야 합니다. 이 시행 기간은 요청 시점이 아닌 Gemini Enterprise Agent Platform 시계 시간을 기준으로 결정됩니다. 시행 기간은 백엔드 알고리즘에 따라 달라지며 변경될 수 있습니다.
요청 시 동영상 길이 및 해상도 API 파라미터를 설정하는 것이 좋습니다. 제공되는 경우 프로비저닝된 처리량은 더 정확한 환경을 제공할 수 있습니다. 이러한 매개변수가 제공되지 않으면 프로비저닝된 처리량 요청 크기 추정에서 최대 기간과 해상도를 가정하므로 조기에 불필요한 사용한 만큼만 지불 오버플로가 발생하고 구매한 프로비저닝된 처리량의 활용도가 낮아질 수 있습니다.
GSU 요구사항 추정
프로비저닝된 처리량 페이지의 추정 도구를 사용하여 워크로드에 필요한 GSU 수를 추정하는 것이 좋습니다. 이 도구를 사용하려면 특정 빈도 기간의 총 입력 토큰과 출력 토큰 추정치를 입력해야 합니다. 추정 도구 사용에 대한 자세한 내용은 표준 프로비저닝된 처리량 주문하기를 참고하세요.
토큰 수를 추정하려면 다음 방법을 사용하세요.
- 입력 텍스트 토큰: SDK 토크나이저 또는 countTokens API를 사용합니다.
- 기타 모달리티의 입력 토큰: 가격 책정 페이지의 가정을 기반으로 추정치를 사용합니다.
- 기존 워크로드: 특정 기간 내에 생성된 응답의 토큰 사용량을 합산합니다.
예를 들어 30초마다 10초 길이의 720p 동영상 5개와 10초 길이의 1080p 동영상 5개를 생성하는 워크로드를 생각해 보겠습니다 (총 10개 요청). 각 요청에 입력 텍스트 토큰 20개, 이미지 1개 (1,120개 토큰), 대답 사고 토큰 100개가 있다고 가정해 보겠습니다. GSU 추정기의 입력은 다음과 같습니다.
- 빈도: 30초
- 총 입력 텍스트 토큰: 20 × 10 (요청) = 200
- 총 이미지 토큰: 1,120 × 10 (요청) = 11,200
- 총 출력 추론 토큰: 100 × 10 (요청) = 1,000
- 총 출력 동영상 토큰: 10초 (길이) × 5,792 (토큰/초) × 동영상 5개 (720p) + 10초 (길이) × 8,688 (토큰/초) × 동영상 5개 (1080p) = 724,000
- 예상 GSU: 434
고해상도 및 기간 시나리오
단일 대규모 요청은 두 개의 시정 기간으로 분할할 수 없습니다. 하나의 요청에 적용 기간에 포함된 것보다 많은 리소스가 필요한 경우, 요청을 얼마나 자주 보내는지와 관계없이 그리고 후속 기간에 사용되지 않은 프로비저닝된 처리량 할당량이 얼마나 있는지와 관계없이 매번 종량제로 제공됩니다.
이는 7초 이상의 4K 동영상에만 영향을 미칩니다. 360p, 720p, 1080p에서는 지원되는 모든 기간이 구매 크기에 관계없이 하나의 창에 맞습니다. 6초 이하의 4K 동영상도 마찬가지입니다 (일반적인 입력 및 추론 토큰이 88,000개 미만이라고 가정).
7초 이상의 4K 동영상을 생성하는 경우 추정 도구의 결과를 다음 표와 비교하고 더 큰 숫자를 주문하세요.
| 가장 긴 4K 동영상 | 1~9개 GSU | GSU 10~19개 | GSU 20~39개 | 40~66GSU | 67개 이상의 GSU |
|---|---|---|---|---|---|
| 7초 | 2 | 12 | 23 | 46 | 76 |
| 8초 | 2 | 13 | 26 | 52 | 87 |
| 9초 | 2 | 15 | 29 | 58 | 97 |
| 10초 | 2 | 17 | 33 | 65 | 107 |
예상 GSU 수와 일치하는 열을 읽습니다. 예를 들어 2,000초마다 10초 길이의 4K 동영상 6개를 생성한다고 가정해 보겠습니다. 추정기는 평균 처리량에 충분한 10GSU를 반환합니다. 하지만 GSU가 10개인 경우 시행 기간은 200초이며 10초 동영상은 단일 기간에 맞지 않습니다. 6개의 요청을 더 멀리 배치해도 이 문제가 해결되지 않습니다. 사용한 만큼만 지불 오버플로 없이 요청을 처리하려면 GSU 17개를 주문하세요.
이 수치는 일반적인 프롬프트 및 추론 토큰(텍스트 또는 이미지 프롬프트, 수정할 최대 10초 길이의 동영상)을 가정합니다.