Richiedere previsioni Llama

Puoi utilizzare i comandi curl per inviare richieste all'endpoint di Gemini Enterprise Agent Platform utilizzando i seguenti nomi di modelli:

• Per Llama 4 Maverick 17B-128E, utilizza llama-4-maverick-17b-128e-instruct-maas
• Per Llama 4 Scout 17B-16E, utilizza llama-4-scout-17b-16e-instruct-maas
• Per Llama 3.3 70B, utilizza llama-3.3-70b-instruct-maas

Per scoprire come effettuare chiamate di streaming e non di streaming ai modelli Llama, consulta Chiamare le API MaaS per i modelli open.

Prima di iniziare

Per utilizzare i modelli Llama con Gemini Enterprise Agent Platform, devi eseguire i seguenti passaggi. Per utilizzare Gemini Enterprise Agent Platform, deve essere abilitata l'API Agent Platform (aiplatform.googleapis.com). Se hai già un progetto esistente con l'API Agent Platform abilitata, puoi utilizzare questo progetto anziché crearne uno nuovo.

1. In the Cloud de Confiance console, on the project selector page, select or create a Cloud de Confiance project.

   Roles required to select or create a project

   • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
   • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

   Go to project selector

2. Verify that billing is enabled for your Cloud de Confiance project.

3. Enable the Gemini Enterprise Agent Platform API, if it is not already enabled.

   Roles required to enable APIs

   To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

   Enable the API

4. Vai a una delle seguenti schede dei modelli di Model Garden, quindi fai clic su Abilita:
   • Vai alla scheda del modello Llama 4 Maverick 17B-128E
   • Vai alla scheda del modello Llama 4 Scout 17B-16E
   • Vai alla scheda del modello Llama 3.3 70B

Effettuare una chiamata di streaming a un modello Llama

L'esempio seguente effettua una chiamata di streaming a un modello Llama.

POST https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/endpoints/openapi/chat/completions

{
  "model": "meta/MODEL",
  "messages": [
    {
      "role": "ROLE",
      "content": "CONTENT"
    }
  ],
  "max_tokens": MAX_OUTPUT_TOKENS,
  "stream": true,
  "extra_body": {
    "google": {
      "model_safety_settings": {
        "enabled": ENABLE_LLAMA_GUARD,
        "llama_guard_settings": {}
      }
    }
  }
}

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/endpoints/openapi/chat/completions"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/endpoints/openapi/chat/completions" | Select-Object -Expand Content

data: {
  "choices": [
    {
      "delta": {
        "content": "CONTENT",
        "role": "assistant",
        "refusal: "REFUSAL_REASON" #If using Llama Guard and response was flagged by Llama Guard
      },
      "index": 0
    }
  ],
  "model": "meta/MODEL_NAME",
  "object": "chat.completion.chunk"
}

data: {
  "choices": [
    {
      "delta": {
        "content": "CONTENT",
        "role": "assistant"
      },
      "finish_reason": "stop",
      "index": 0
    }
  ],
  "model": "meta/MODEL_NAME",
  "object": "chat.completion.chunk",
  "usage": {
    "completion_tokens": 131,
    "prompt_tokens": 14,
    "total_tokens": 145
  }
}

Fai una chiamata unaria a un modello Llama

L'esempio seguente effettua una chiamata unaria a un modello Llama.

POST https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/endpoints/openapi/chat/completions

{
  "model": "meta/MODEL",
  "messages": [
    {
      "role": "ROLE",
      "content": "CONTENT"
    }
  ],
  "max_tokens": MAX_OUTPUT_TOKENS,
  "stream": false,
  "extra_body": {
    "google": {
      "model_safety_settings": {
        "enabled": ENABLE_LLAMA_GUARD,
        "llama_guard_settings": {}
      }
    }
  }
}

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/endpoints/openapi/chat/completions"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/endpoints/openapi/chat/completions" | Select-Object -Expand Content

{
  "choices": [
    {
      "finish_reason": "stop",
      "index": 0,
      "message": {
        "content": "CONTENT",
        "role": "assistant",
        "refusal: "REFUSAL_REASON" #If using Llama Guard and response was flagged by Llama Guard
      }
    }
  ],
  "model": "meta/llama3-405b-instruct-maas",
  "object": "chat.completion",
  "usage": {
    "completion_tokens": 367,
    "prompt_tokens": 14,
    "total_tokens": 381
  }
}

Risposte contrassegnate

Per impostazione predefinita, Llama Guard 3 8B è abilitato per tutte le previsioni effettuate con i modelli Llama 3.3 e Llama 3.1. Per impostazione predefinita, Llama Guard 3 11B Vision è abilitato per tutte le previsioni effettuate con i modelli Llama 3.2. Llama Guard contribuisce a proteggere le risposte controllando input e output. Se Llama Guard determina che non sono sicure, contrassegna la risposta.

Se vuoi disattivare Llama Guard, modifica l'impostazione di sicurezza del modello. Per maggiori informazioni, consulta il campo model_safety_settings nell' esempio di streaming o unario.

Utilizzare Vertex AI Studio

Per i modelli Llama, puoi utilizzare Vertex AI Studio per prototipare e testare rapidamente i modelli di AI generativa nella Cloud de Confiance consolle. Ad esempio, puoi utilizzare Vertex AI Studio per confrontare le risposte dei modelli Llama con altri modelli supportati, come Gemini di Google.

Disponibilità e quote per la regione del modello Llama

Per i modelli Llama, si applica una quota per ogni regione in cui il modello è disponibile. La quota è specificata in query al minuto (QPM).

Se vuoi aumentare una delle quote per Agent Platform, puoi utilizzare la Cloud de Confiance console per richiedere un aumento di quota. Per saperne di più sulle quote, consulta la panoramica delle quote di Cloud.