토큰 관리 정책 개요

개요

토큰 관리 정책을 사용하면 대규모 언어 모델 (LLM) 토큰 사용량을 모니터링하고 정확하게 기여도를 분석하며 엔터프라이즈 AI 에이전트 및 애플리케이션 전반에서 공유 토큰 예산을 적용할 수 있습니다.

AI 에이전트가 LLM과 상호작용할 때는 초당 요청 수 또는 분당 요청 수와 같은 요청 수 비율 제한만으로는 지출이나 용량을 제어하기에 충분하지 않습니다. LLM에 대한 단일 HTTP 요청은 12개에서 100,000개 이상의 토큰을 사용할 수 있습니다. 토큰 수준 거버넌스가 없으면 단일 에이전트 루프가 폭주하여 공유 엔터프라이즈 모델 할당량을 소진하고 예상치 못한 비용 급증을 초래할 수 있습니다. AI 지출을 관리하려면 기업은 조직 전체의 사용자와 부서에 대한 모델 할당량 예산도 설정해야 합니다.

토큰 관리 정책을 사용하면 다음을 수행할 수 있습니다.

  • 모든 에이전트-모델 상호작용에서 입력, 출력, 캐시된 토큰의 토큰 사용량을 계산합니다.
  • Gemini Enterprise Agent Platform 또는 다른 모델 호스팅 플랫폼에서 호스팅되는 모델 전반에서 비즈니스 관련 그룹, AI 애플리케이션, 개별 에이전트 아이덴티티에 토큰 소비 및 예상 비용의 기여도를 부여합니다.
  • 공유 토큰 예산을 실시간으로 적용하여 토큰 풀의 예산이 소진되면 기준점 알림을 전송하거나 HTTP 429 Too Many Requests를 반환합니다.
  • Cloud Monitoring으로 세분화된 모니터링 가능성 원격 분석을 내보내고 Cloud Logging에서 토큰 사용량 알림을 집계합니다.

작동 방식

그림 1은 토큰 관리 정책이 게이트웨이 레이어에서 LLM 요청 및 응답을 평가하는 방법을 보여줍니다.

AI 에이전트는 토큰 집계, 예산, 토큰당 비용 정책을 평가하는 Agent Gateway를 통해 LLM 요청을 전송한 후 트래픽을 모델로 전달합니다.
그림 1. 토큰 관리 정책은 게이트웨이 레이어에서 LLM 트래픽을 평가합니다 (확대하려면 클릭).

토큰 관리는 함께 작동하는 세 가지 정책 리소스를 사용하여 트래픽을 분류하고, 토큰 예산을 적용하고, 비용 계산을 맞춤설정합니다.

  • 토큰 집계 정책 (TokenAggregationPolicy): 수신되는 에이전트-모델 요청을 분류하고 토큰 소비를 논리적 토큰 그룹으로 집계합니다. 그룹화는 리소스 계층 구조 (프로젝트 범위), AI 애플리케이션, 개별 에이전트, 대상 모델 또는 HTTP 요청 헤더에 전달된 커스텀 태그 (API 키 포함)를 기반으로 할 수 있습니다.
  • 토큰 예산 정책 (TokenBudgetPolicy): 토큰 집계 정책으로 식별된 하나 이상의 토큰 그룹에 토큰 할당량을 적용하는 토큰 풀을 정의합니다. 각 토큰 풀은 최대 토큰 수, 주기적 재설정 기간 (시간별 또는 일별), 선택적 대상 모델 목록, 알림 기준, 시행 모드를 지정합니다.
  • 토큰당 비용 정책 (CostPerTokenPolicy): Monitoring에서 gcp.token_management.token.estimated_cost 측정항목을 계산하는 데 사용되는 기본 모델별 토큰 가격 책정을 재정의합니다. 기본 모델 가격에 대한 할인율 또는 입력, 출력, 캐시된 토큰에 대한 토큰당 맞춤 요율(USD)을 구성할 수 있습니다.

정책 종속 항목 및 생성 순서

토큰 관리는 동일한 대상 범위에 연결된 정책 리소스 전반에서 다음 순서로 엄격한 종속 항목 계층 구조를 적용합니다.

  1. 대상 범위의 토큰 그룹으로 요청을 분류하려면 먼저 TokenAggregationPolicy를 만들어야 합니다. 이 정책은 토큰 사용량에 대한 세분화된 에이전트 수준 모니터링 가능성을 확보하기 위한 최소 요구사항입니다.
  2. (선택사항) TokenAggregationPolicy에서 식별된 토큰 그룹에 대한 토큰 사용을 제한하도록 TokenBudgetPolicy를 구성해야 합니다.
  3. (선택사항) CostPerTokenPolicy는 대상 범위에 해당하는 TokenBudgetPolicy가 있는 경우에만 만들 수 있습니다.

정책을 삭제할 때는 역순으로 삭제합니다. CostPerTokenPolicy, TokenBudgetPolicy, TokenAggregationPolicy 순으로 삭제합니다.

규칙 평가 및 기본 일치

TokenAggregationPolicy 내에서 규칙은 나열된 순서대로 평가되며 첫 번째 일치 규칙이 적용됩니다.

  • 일치하는 트래픽: 에이전트 요청이 규칙의 소스 기준(AI 애플리케이션 또는 에이전트 ID) 및 대상 기준 (HTTP 헤더 또는 모델 제공업체 엔드포인트)과 일치하면 토큰 사용량이 해당 규칙의 토큰 그룹 (tokenGroup)에 할당됩니다.
  • 포괄적 규칙: 규칙 목록 끝에 빈 일치 블록이 있는 규칙을 배치하여 나머지 모든 트래픽을 기본 토큰 그룹(예: Default)에 할당할 수 있습니다.
  • 일치하지 않는 트래픽: 포괄적 규칙을 포함하지 않고 요청이 정책의 규칙과 일치하지 않으면 토큰 소비가 Monitoring의 시스템 unmatched 그룹에 기록됩니다.
  • 정의되지 않은 풀 트래픽: 토큰 예산 정책(TokenBudgetPolicy)의 TokenPool가 특정 모델로 시행을 제한하는 경우 해당 목록에 없는 모델에 대한 요청은 차단되지 않으며 Monitoring에서 풀 이름이 undefined로 설정되어 기록됩니다.

지원되는 환경 및 모델

토큰 관리 정책은 다음 Agent Runtime, Agent Gateway 배포, 모델을 지원합니다.

구성요소 지원되는 옵션
AI 에이전트 런타임
  • Google Kubernetes Engine (GKE)에 배포된 에이전트
  • Cloud Run에 배포된 에이전트
Agent Gateway 배포 Cloud de Confiance by S3NS 프로젝트의 보안 웹 프록시: 모든 에이전트-모델 요청에 이그레스 토큰 거버넌스를 적용합니다.
모델

모든 모델 제공업체의 Gemini, Anthropic, OpenAI API 호환 모델:

  • Google Gemini: Agent Platform 또는 Gemini 엔드포인트에서 호스팅되는 Gemini 모델(예: aiplatform.googleapis.com)
  • Anthropic: Agent Platform 또는 외부 Anthropic 엔드포인트에서 호스팅되는 Claude 모델
  • OpenAI API 호환 모델: Agent Platform 또는 외부 제공업체(예: Amazon Bedrock, Azure AI Foundry)의 OpenAI API 호환 모델입니다.
집계 그룹화
  • Cloud de Confiance by S3NS 프로젝트 범위.
  • App Hub의 AI 애플리케이션 ID입니다.
  • API 키 및 커스텀 HTTP 요청 헤더
  • 에이전트 ID (에이전트 URN 또는 SPIFFE ID)
  • 대상 모델 제공업체 엔드포인트입니다.

정책 시행 흐름

표준 비율 제한을 사용하면 모든 요청이 백엔드에 도달하기 전에 하나의 단위로 계산됩니다. LLM 호출의 경우 모델이 응답한 후에만 총 입력 및 출력 토큰 수를 알 수 있습니다. 이를 처리하기 위해 Agent Gateway는 각 요청을 두 단계로 처리합니다.

  1. 광고 기간 전 예산 확인 (요청 경로):
    • 에이전트는 Agent Gateway를 통해 LLM 엔드포인트에 추론 요청을 전송합니다.
    • 게이트웨이는 TokenAggregationPolicy에 대해 요청을 평가하여 일치하는 tokenGroup를 식별하고 TokenBudgetPolicy에서 연결된 TokenPool를 조회합니다.
    • 풀의 토큰 예산이 소진되고 엄격한 적용이 사용 설정된 경우 게이트웨이는 HTTP 429 상태 코드와 함께 요청을 즉시 거부합니다. 풀에 남은 예산이 있거나 알림 전용 모드로 구성된 경우 게이트웨이는 요청을 LLM으로 전달합니다.
  2. 토큰 조정 및 원격 분석 (응답 경로):
    • LLM 엔드포인트가 완료 응답을 반환하면 게이트웨이는 응답 페이로드에서 실제 input, output, cached 토큰 수를 추출합니다.
    • 토큰 관리는 소비된 토큰을 풀의 maxTokens 할당량과 비교하여 조정합니다.
    • 업데이트된 소비가 경고 기준점을 초과하거나 예산의 100% 에 도달하면 게이트웨이가 Logging에 경고를 기록합니다.
    • 게이트웨이는 에이전트별 토큰 소비(gen_ai.client.token.usage) 및 예상 토큰 비용(gcp.token_management.token.estimated_cost) 측정항목을 Monitoring으로 내보냅니다.

출력 토큰 수는 LLM 응답이 완료된 후에만 기록됩니다. 따라서 풀이 maxTokens에 도달하기 전에 허용된 동시 요청은 이후 요청이 HTTP 429로 차단되기 전에 한도를 초과할 수 있습니다. 예기치 않은 제한을 방지하려면 엄격한 시정 조치를 사용 설정하기 전에 0.6 또는 0.8와 같은 alertThreshold를 설정하여 validateOnly: true로 새 정책을 테스트하세요.

관련 거버넌스 제어

다음 표에서는 토큰 관리 정책이 다른 Agent Platform 및 Cloud de Confiance 거버넌스 제어와 함께 작동하는 방식을 보여줍니다.

거버넌스 레이어 정책 또는 메커니즘 목적
액세스 제어 Identity and Access Management (IAM) 액세스 정책 특정 MCP 서버, 도구, 모델 엔드포인트에 연결할 수 있는 에이전트 ID (SPIFFE ID)를 제어합니다.
인텐트 및 비즈니스 규칙 시맨틱 거버넌스 정책 실행 전에 자연어 제약 조건(NLC) 및 사용자 의도에 따라 제안된 도구 호출을 평가합니다.
콘텐츠 안전 Model Armor 프롬프트 인젝션, 탈옥, 민감한 정보가 있는지 프롬프트와 응답을 검사합니다.
요청 수 비율 제한 서비스 비율 제한 (RateLimitPolicy) 초당 또는 분당 HTTP 요청을 제한하여 대규모 요청 플러드로부터 인그레스 부하 분산기 및 프록시를 보호합니다(countLimit).
LLM 토큰 및 비용 거버넌스 토큰 관리 정책(TokenAggregationPolicy, TokenBudgetPolicy, CostPerTokenPolicy) LLM 토큰 사용량을 모니터링하고 기여도를 분석하며 에이전트 그룹 및 모델 제공업체 전반에서 공유 토큰 예산 (maxTokens)과 비용 재정의를 적용합니다.

제한사항

토큰 관리 정책에는 다음과 같은 제한사항이 있습니다.

  • 지정된 프로젝트 대상 범위에 최대 1개의 TokenAggregationPolicy, 1개의 TokenBudgetPolicy, 1개의 CostPerTokenPolicy를 연결할 수 있습니다.
  • 각 TokenAggregationPolicy는 최대 10개의 집계 규칙 (rules)을 지원하고 각 TokenBudgetPolicy는 최대 10개의 토큰 풀을 지원합니다.
  • 토큰 풀은 HOURLY 및 DAILY 재설정 기간을 지원합니다. 일일 예산은 태평양 표준시 자정에 재설정됩니다.
  • Logging은 토큰 풀이 구성된 alertThreshold를 초과하거나 maxTokens(token_management_alert_logs)의 100% 에 도달하는 경우에만 로그 항목을 생성합니다.