Solicita predicciones de Llama

Puedes usar comandos curl para enviar solicitudes al extremo de Gemini Enterprise Agent Platform con los siguientes nombres de modelos:

• Para Llama 4 Maverick 17B-128E, usa llama-4-maverick-17b-128e-instruct-maas.
• Para Llama 4 Scout 17B-16E, usa llama-4-scout-17b-16e-instruct-maas.
• Para Llama 3.3 70B, usa llama-3.3-70b-instruct-maas.

Para obtener información sobre cómo realizar llamadas de transmisión y no transmisión a modelos de Llama, consulta Llama a las APIs de MaaS para modelos abiertos.

Antes de comenzar

Para usar los modelos de Llama con Gemini Enterprise Agent Platform, debes realizar los siguientes pasos. La API de Agent Platform (aiplatform.googleapis.com) debe estar habilitada para usar Gemini Enterprise Agent Platform. Si ya tienes un proyecto existente con la API de Agent Platform habilitada, puedes usar ese proyecto en lugar de crear uno nuevo.

1. In the Cloud de Confiance console, on the project selector page, select or create a Cloud de Confiance project.

   Roles required to select or create a project

   • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
   • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

   Go to project selector

2. Verify that billing is enabled for your Cloud de Confiance project.

3. Enable the Gemini Enterprise Agent Platform API, if it is not already enabled.

   Roles required to enable APIs

   To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

   Enable the API

4. Ve a una de las siguientes tarjetas de modelo de Model Garden y, luego, haz clic en Habilitar:
   • Ir a la ficha del modelo de Llama 4 Maverick 17B-128E
   • Ir a la ficha del modelo de Llama 4 Scout 17B-16E
   • Ir a la tarjeta de modelo de Llama 3.3 70B

Realiza una llamada de transmisión a un modelo de Llama

En el siguiente ejemplo, se realiza una llamada de transmisión a un modelo de Llama.

POST https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/endpoints/openapi/chat/completions

{
  "model": "meta/MODEL",
  "messages": [
    {
      "role": "ROLE",
      "content": "CONTENT"
    }
  ],
  "max_tokens": MAX_OUTPUT_TOKENS,
  "stream": true,
  "extra_body": {
    "google": {
      "model_safety_settings": {
        "enabled": ENABLE_LLAMA_GUARD,
        "llama_guard_settings": {}
      }
    }
  }
}

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/endpoints/openapi/chat/completions"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/endpoints/openapi/chat/completions" | Select-Object -Expand Content

data: {
  "choices": [
    {
      "delta": {
        "content": "CONTENT",
        "role": "assistant",
        "refusal: "REFUSAL_REASON" #If using Llama Guard and response was flagged by Llama Guard
      },
      "index": 0
    }
  ],
  "model": "meta/MODEL_NAME",
  "object": "chat.completion.chunk"
}

data: {
  "choices": [
    {
      "delta": {
        "content": "CONTENT",
        "role": "assistant"
      },
      "finish_reason": "stop",
      "index": 0
    }
  ],
  "model": "meta/MODEL_NAME",
  "object": "chat.completion.chunk",
  "usage": {
    "completion_tokens": 131,
    "prompt_tokens": 14,
    "total_tokens": 145
  }
}

Realiza una llamada unaria a un modelo de Llama

En el siguiente ejemplo, se realiza una llamada unaria a un modelo de Llama.

POST https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/endpoints/openapi/chat/completions

{
  "model": "meta/MODEL",
  "messages": [
    {
      "role": "ROLE",
      "content": "CONTENT"
    }
  ],
  "max_tokens": MAX_OUTPUT_TOKENS,
  "stream": false,
  "extra_body": {
    "google": {
      "model_safety_settings": {
        "enabled": ENABLE_LLAMA_GUARD,
        "llama_guard_settings": {}
      }
    }
  }
}

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/endpoints/openapi/chat/completions"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/endpoints/openapi/chat/completions" | Select-Object -Expand Content

{
  "choices": [
    {
      "finish_reason": "stop",
      "index": 0,
      "message": {
        "content": "CONTENT",
        "role": "assistant",
        "refusal: "REFUSAL_REASON" #If using Llama Guard and response was flagged by Llama Guard
      }
    }
  ],
  "model": "meta/llama3-405b-instruct-maas",
  "object": "chat.completion",
  "usage": {
    "completion_tokens": 367,
    "prompt_tokens": 14,
    "total_tokens": 381
  }
}

Respuestas marcadas

De forma predeterminada, Llama Guard 3 8B está habilitado en todas las predicciones que realices con los modelos de Llama 3.3 y Llama 3.1. De forma predeterminada, Llama Guard 3 11B vision está habilitado en todas las predicciones que realices con los modelos de Llama 3.2. Llama Guard ayuda a proteger las respuestas mediante la verificación de entradas y salidas. Si Llama Guard determina que no son seguras, marca la respuesta.

Si quieres inhabilitar Llama Guard, modifica la configuración de seguridad del modelo. Para obtener más información, consulta el campo model_safety_settings en el ejemplo de transmisión o unario.

Usa Vertex AI Studio

En el caso de los modelos de Llama, puedes usar Vertex AI Studio para crear prototipos y probar modelos de IA generativa con rapidez en la Cloud de Confiance consola. Por ejemplo, puedes usar Vertex AI Studio para comparar las respuestas del modelo de Llama con otros modelos compatibles, como Gemini de Google.

Disponibilidad y cuotas de la región del modelo de Llama

En el caso de los modelos de Llama, se aplica una cuota para cada región en la que el modelo esté disponible. La cuota se especifica en consultas por minuto (QPM).

Si quieres aumentar cualquiera de tus cuotas para Agent Platform, puedes usar la Cloud de Confiance consola para solicitar un aumento de cuota. Para obtener más información sobre las cuotas, consulta la descripción general de cuotas de Cloud.