Modo rápido con modelos Claude de Anthropic

El modo rápido acelera la generación de tokens de salida para los modelos de Anthropic Claude compatibles en Gemini Enterprise Agent Platform. Usa una configuración de entrega de alta velocidad que conserva las capacidades de inteligencia y seguridad del modelo base. Para habilitar el modo rápido en las solicitudes de predicción en línea, configura "speed": "fast" en el cuerpo de la solicitud.

Usa el modo rápido para cargas de trabajo interactivas sensibles a la latencia en las que la espera de la generación de tokens interrumpe el flujo del desarrollador o el flujo de usuarios:

• Programación interactiva con agentes: Itera en tareas de programación, refactorización y depuración de varios pasos con agentes con intervención humana sin cambiar de contexto.
• Planificación en vivo: Recopila el contexto operativo o del repositorio, y genera planes de ejecución de forma interactiva.
• Respuesta ante incidentes: Clasifica las alertas de producción y sintetiza los pasos de corrección cuando el tiempo de respuesta de la inferencia es crítico.

Modelos compatibles y política de ciclo de vida

El modo rápido se ofrece en la versión más reciente de una familia de modelos de Claude compatible y durante un período de transición de 30 días en la versión que se retirará. Agent Platform admite el modo rápido para los siguientes modelos:

• Claude Fable 5.2 de Anthropic en Google Cloud (claude-fable-5-2)

Cuando se lanza una nueva versión de una familia de modelos compatible, el modo rápido de la versión anterior de esa familia se retira 30 días después del lanzamiento de la nueva versión. Después de que se cierre el período de retiro de 30 días, las solicitudes a la versión anterior del modelo que incluyan "speed": "fast" devolverán un error HTTP 400 (INVALID_ARGUMENT). Las solicitudes de velocidad estándar a esa versión del modelo seguirán funcionando con normalidad. Para seguir usando el modo rápido, actualiza tus solicitudes para orientarlas a la versión más reciente del modelo o quita "speed": "fast" del cuerpo de la solicitud.

Ubicaciones admitidas

El modo rápido está disponible en los siguientes IDs de ubicación de la API para los modelos compatibles:

• Global (Claude Fable 5.2 de Anthropic en Google Cloud): global
• Multirregión de Estados Unidos (Claude Fable 5.2 de Anthropic en Google Cloud): us
• Multirregión de Europa (Claude Fable 5.2 de Anthropic en Google Cloud): eu

Los extremos regionales directos no se admiten de forma pública para el modo rápido. Si envías una solicitud con "speed": "fast" a una ubicación en la que el modo rápido no está disponible, se muestra un error HTTP 400 (FAILED_PRECONDITION).

Antes de comenzar

Antes de enviar solicitudes en modo rápido, completa los siguientes pasos de configuración. El modo rápido usa la misma configuración del proyecto y la habilitación de Model Garden que las solicitudes estándar de Claude. Para obtener detalles adicionales sobre la configuración del modelo de socio, consulta Antes de comenzar.

1. In the Cloud de Confiance console, on the project selector page, select or create a Cloud de Confiance project.

   Roles required to select or create a project

   • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
   • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

   Go to project selector

2. If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

3. Verify that billing is enabled for your Cloud de Confiance project.

4. Enable the Gemini Enterprise Agent Platform API, if it is not already enabled.

   Roles required to enable APIs

   To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

   Enable the API

5. Ve a una de las siguientes tarjetas de modelo de Model Garden, haz clic en Habilitar y completa los requisitos de uso compartido de datos o las condiciones específicas del modelo:
   • Ir a Claude Fable 5.2 de Anthropic en Google Cloud

Roles obligatorios

Para obtener los permisos que necesitas para enviar solicitudes de predicción en modo rápido a los modelos de Claude, pídele a tu administrador que te otorgue los siguientes roles de IAM en tu proyecto de Cloud de Confiance by S3NS :

• Envía solicitudes de predicción a modelos de socios: Usuario de Agent Platform (roles/aiplatform.user)

Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

También puedes obtener los permisos necesarios a través de roles personalizados o cualquier otro rol predefinido.

Envía una solicitud de modo rápido

Para usar el modo rápido, envía una solicitud al endpoint del modelo de publicación estándar (por ejemplo, claude-fable-5-2) y establece "speed": "fast" en el cuerpo de la solicitud de nivel superior. No se requiere un encabezado anthropic-beta, y no hay una tarjeta de modelo independiente para habilitar en Model Garden.

POST https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/publishers/anthropic/models/MODEL:rawPredict

{
  "anthropic_version": "vertex-2023-10-16",
  "speed": "fast",
  "max_tokens": 1024,
  "messages": [
    {
      "role": "user",
      "content": "Analyze the root cause of an HTTP 502 spike on an upstream GKE ingress controller and list three immediate mitigation steps."
    }
  ]
}

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/publishers/anthropic/models/MODEL:rawPredict"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/publishers/anthropic/models/MODEL:rawPredict" | Select-Object -Expand Content

{
  "id": "msg_vrtx_01FastModeExample89ABcdEF",
  "type": "message",
  "role": "assistant",
  "model": "claude-fable-5-2",
  "content": [
    {
      "type": "text",
      "text": "Here are the most common root causes for an HTTP 502 spike on a GKE Ingress controller and three immediate mitigation steps..."
    }
  ],
  "stop_reason": "end_turn",
  "stop_sequence": null,
  "usage": {
    "input_tokens": 34,
    "output_tokens": 218,
    "speed": "fast"
  }
}

from anthropic import AnthropicVertex
from anthropic.types import Message


def generate_with_fast_mode(
    project_id: str = "PROJECT_ID",
) -> Message:
    client = AnthropicVertex(
        project_id=project_id,
        region="global",
    )

    message = client.messages.create(
        model="claude-fable-5-2",
        max_tokens=1024,
        extra_body={"speed": "fast"},
        messages=[
            {
                "role": "user",
                "content": (
                    "Analyze the root cause of an HTTP 502 spike on an upstream "
                    "GKE ingress controller and list three immediate mitigation "
                    "steps."
                ),
            }
        ],
    )
    print(message.model_dump_json(indent=2))
    return message

Verifica qué velocidad se usó

Para verificar que una solicitud se entregó en modo rápido, inspecciona el campo usage.speed en la respuesta:

• Modo rápido: usage.speed está presente y se establece en "fast" (en respuestas unarias o en los eventos message_start o message_delta para respuestas de transmisión).
• Velocidad estándar: Cuando envías una solicitud estándar (se omite "speed": "standard" o speed), usage.speed es "standard" o se omite.

Cuotas, supervisión y control de acceso

El modo rápido usa la capacidad dedicada y los límites de frecuencia que están aislados del tráfico de velocidad estándar, a la vez que hereda la configuración de acceso de tu proyecto para el modelo base.

Cuotas

En los extremos globales y multirregionales, las solicitudes en modo rápido consumen un bucket de cuota de linaje compartido dedicado independiente de la cuota del modelo de velocidad estándar. El tráfico en modo rápido no se descuenta de tu cuota estándar de anthropic-claude-fable, y el tráfico de velocidad estándar no se descuenta de tu cuota de modo rápido.

Para ver o solicitar un aumento de la cuota del modo rápido en la página Cuotas y límites del sistema de la consola deCloud de Confiance , filtra por base_model:

• anthropic-claude-fable-fast (se aplica a los extremos globales y multirregionales)

Opciones de consumo y capacidad de procesamiento aprovisionada

El modo rápido no admite la capacidad de procesamiento aprovisionada:

• Solo pago por uso: Las solicitudes en modo rápido siempre usan el pay-as-you-go, incluso si tu proyecto tiene un pedido de capacidad de procesamiento aprovisionada activo para el modelo base. El tráfico en modo rápido nunca consume ni se desborda de un pedido de capacidad de procesamiento aprovisionada.
• Los encabezados de la solicitud dedicated se limitan: No incluyas el encabezado HTTP X-Vertex-AI-LLM-Request-Type: dedicated (o los metadatos de gRPC) en las solicitudes de modo rápido. El modo rápido no tiene cuota de capacidad de procesamiento aprovisionada, y las solicitudes dedicated no pueden desbordarse al pago por uso. Como resultado, las solicitudes del modo rápido con X-Vertex-AI-LLM-Request-Type: dedicated devuelven un error HTTP 429 (RESOURCE_EXHAUSTED). En su lugar, omite el encabezado o establece X-Vertex-AI-LLM-Request-Type: shared.

Supervisa las métricas del modo rápido

En Cloud Monitoring, el tráfico del modo rápido informa model_user_id="claude-fable-5-2-fast" en lugar del ID del modelo base (claude-fable-5-2). Filtra por model_user_id="claude-fable-5-2-fast" en el Explorador de métricas para supervisar los recuentos de solicitudes, el uso de tokens y la latencia del modo rápido por separado del tráfico de velocidad estándar.

Control de acceso y política de la organización

El modo rápido usa los mismos roles obligatorios y el estado de habilitación de Model Garden que el modelo base. Si una solicitud devuelve 403 PERMISSION_DENIED, verifica que tu principal tenga el rol de usuario de Agent Platform (roles/aiplatform.user) y que el modelo base esté habilitado en Model Garden.

Si tu organización aplica la restricción de la política de la organización constraints/vertexai.allowedModels, el modo rápido se rige por el valor :predict del modelo base (por ejemplo, publishers/anthropic/models/claude-fable-5-2:predict):

• Permitir publishers/anthropic/models/claude-fable-5-2:predict permite solicitudes de velocidad estándar y de modo rápido a claude-fable-5-2.
• Si se rechaza publishers/anthropic/models/claude-fable-5-2:predict, se bloquean las solicitudes de velocidad estándar y de modo rápido.

Para obtener más información sobre las políticas de la organización, consulta Controla el acceso a los modelos de Model Garden.

Precios

El modo rápido siempre usa la facturación de pay-as-you-go y tiene precios independientes de las solicitudes de velocidad estándar:

• Tokens: El precio es el doble de las tarifas de tokens de velocidad estándar en todos los tipos de tokens (tokens de entrada, salida, escritura en caché de 5 minutos y 1 hora, y acierto de caché).
• Búsqueda web: Las llamadas a la herramienta de búsqueda web se facturan con la tarifa estándar (1x).

El uso se factura con el SKU de Cloud de Confiance by S3NS del modelo base con una etiqueta de modo rápido. Para conocer las tarifas de tokens regionales y globales, consulta la página de precios de Agent Platform.

Limitaciones y manejo de errores

Ten en cuenta las siguientes limitaciones cuando uses el modo rápido:

• Sin capacidad de procesamiento aprovisionada: El modo rápido no admite la capacidad de procesamiento aprovisionada y siempre usa el pago por uso. Si envías una solicitud de modo rápido con el encabezado X-Vertex-AI-LLM-Request-Type: dedicated, se muestra un error HTTP 429 (RESOURCE_EXHAUSTED).
• No hay predicciones por lotes: El modo rápido está diseñado para la inferencia interactiva en tiempo real y no es compatible con las predicciones por lotes.
• Aislamiento de la caché de instrucciones: Las cachés de instrucciones no se comparten entre las solicitudes de velocidad estándar y las de modo rápido. Una entrada de caché escrita a velocidad estándar no producirá un acierto de caché en el modo rápido. Del mismo modo, una entrada de caché de modo rápido no producirá un acierto de caché a velocidad estándar.
• Sin cambio a una versión inferior silencioso: Si una solicitud con "speed": "fast" no se puede entregar en modo rápido, la plataforma de agentes devuelve un error en lugar de volver a la velocidad estándar.

En la siguiente tabla, se resumen los errores que se muestran para las solicitudes de modo rápido no válidas o no admitidas:

Cómo controlar los errores del modo rápido

Como Agent Platform no cambia de forma silenciosa las solicitudes del modo rápido a un modo inferior, tu aplicación decide qué sucede cuando el modo rápido no está disponible. Por ejemplo, el modo rápido se retira 30 días después del lanzamiento de la próxima versión o es posible que una ubicación no ofrezca el modo rápido. Las siguientes muestras de Python coinciden con los mensajes de error específicos del modo rápido, por lo que los errores de HTTP 400 no relacionados aún aparecen.

Volver a la velocidad estándar

Para las cargas de trabajo que pueden tolerar una latencia más alta, detecta los errores de disponibilidad del modo rápido y vuelve a intentar la solicitud a la velocidad estándar:

import anthropic
from anthropic import AnthropicVertex
from anthropic.types import Message

# Errors that mean fast mode isn't available for this model or location.
_FAST_MODE_UNAVAILABLE = (
    "Fast mode (speed: fast) is not supported for this model.",
    "Fast mode is not available in this location.",
)


def generate_with_standard_fallback(
    project_id: str = "PROJECT_ID",
    region: str = "LOCATION",
    model: str = "claude-fable-5-2",
) -> Message:
    client = AnthropicVertex(project_id=project_id, region=region)
    messages = [{"role": "user", "content": "PROMPT"}]
    try:
        return client.messages.create(
            model=model,
            max_tokens=1024,
            messages=messages,
            extra_body={"speed": "fast"},
        )
    except anthropic.BadRequestError as e:
        if not any(msg in str(e) for msg in _FAST_MODE_UNAVAILABLE):
            raise
        # Fast mode isn't available: retry at standard speed.
        return client.messages.create(
            model=model,
            max_tokens=1024,
            messages=messages,
        )

Reemplaza lo siguiente:

• PROJECT_ID: Es el ID del proyecto de Cloud de Confiance by S3NS , como my-agent-project.
• LOCATION: Es una ubicación compatible, como global (el valor predeterminado es global).
• PROMPT: Es el texto de la instrucción que se enviará al modelo.

Ir a la siguiente versión del modelo

Para mantener el modo rápido después de la baja en la versión del modelo, vuelve a intentar la solicitud con el modo rápido en la siguiente versión:

import anthropic
from anthropic import AnthropicVertex
from anthropic.types import Message

_FAST_MODE_NOT_SUPPORTED = (
    "Fast mode (speed: fast) is not supported for this model."
)


def generate_with_next_version(
    project_id: str = "PROJECT_ID",
    region: str = "LOCATION",
    model: str = "CURRENT_MODEL",
    next_model: str = "NEXT_MODEL",
) -> Message:
    client = AnthropicVertex(project_id=project_id, region=region)
    messages = [{"role": "user", "content": "PROMPT"}]
    try:
        return client.messages.create(
            model=model,
            max_tokens=1024,
            messages=messages,
            extra_body={"speed": "fast"},
        )
    except anthropic.BadRequestError as e:
        if _FAST_MODE_NOT_SUPPORTED not in str(e):
            raise
        # Fast mode is retired on this version: use the next version.
        return client.messages.create(
            model=next_model,
            max_tokens=1024,
            messages=messages,
            extra_body={"speed": "fast"},
        )

Reemplaza lo siguiente:

• PROJECT_ID: Es el ID del proyecto de Cloud de Confiance by S3NS , como my-agent-project.
• LOCATION: Es una ubicación compatible, como global (el valor predeterminado es global).
• CURRENT_MODEL y NEXT_MODEL: Es la versión del modelo que usas (como claude-fable-5-2) y la próxima versión de la misma familia de modelos.
• PROMPT: Es el texto de la instrucción que se enviará al modelo.

El patrón de la próxima versión solo controla el error de retiro del modelo. Si la ubicación no ofrece el modo rápido, la próxima versión no resolverá el error. En su lugar, enruta la solicitud a una ubicación admitida.

¿Qué sigue?

• Solicita predicciones con modelos de Claude
• Cuotas para los modelos Claude de Anthropic
• Almacenamiento en caché de instrucciones
• Controla el acceso a los modelos de Model Garden