Llama-Vorhersagen anfordern

Sie können curl-Befehle verwenden, um Anfragen mit den folgenden Modellnamen an den Gemini Enterprise Agent Platform-Endpunkt zu senden:

• Für Llama 4 Maverick 17B-128E verwenden Sie llama-4-maverick-17b-128e-instruct-maas.
• Für Llama 4 Scout 17B-16E verwenden Sie llama-4-scout-17b-16e-instruct-maas.
• Für Llama 3.3 70B verwenden Sie llama-3.3-70b-instruct-maas.

Informationen zum Senden von Streaming- und Nicht-Streaming-Aufrufen an Llama-Modelle finden Sie unter MaaS-APIs für offene Modelle aufrufen.

Hinweis

Führen Sie die folgenden Schritte aus, um Llama-Modelle mit der Gemini Enterprise Agent Platform zu verwenden. Die Agent Platform API (aiplatform.googleapis.com) muss aktiviert sein, um die Gemini Enterprise Agent Platform zu verwenden. Wenn Sie bereits ein Projekt mit aktivierter Agent Platform API haben, können Sie dieses Projekt verwenden, anstatt ein neues Projekt zu erstellen.

1. In the Cloud de Confiance console, on the project selector page, select or create a Cloud de Confiance project.

   Roles required to select or create a project

   • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
   • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

   Go to project selector

2. Verify that billing is enabled for your Cloud de Confiance project.

3. Enable the Gemini Enterprise Agent Platform API, if it is not already enabled.

   Roles required to enable APIs

   To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

   Enable the API

4. Rufen Sie eine der folgenden Model Garden-Modellkarten auf und klicken Sie auf Aktivieren:
   • Zur Modellkarte Llama 4 Maverick 17B-128E
   • Zur Modellkarte Llama 4 Scout 17B-16E
   • Zur Modellkarte Llama 3.3 70B

Streaming-Aufruf an ein Llama-Modell senden

Im folgenden Beispiel wird ein Streaming-Aufruf an ein Llama-Modell gesendet.

POST https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/endpoints/openapi/chat/completions

{
  "model": "meta/MODEL",
  "messages": [
    {
      "role": "ROLE",
      "content": "CONTENT"
    }
  ],
  "max_tokens": MAX_OUTPUT_TOKENS,
  "stream": true,
  "extra_body": {
    "google": {
      "model_safety_settings": {
        "enabled": ENABLE_LLAMA_GUARD,
        "llama_guard_settings": {}
      }
    }
  }
}

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/endpoints/openapi/chat/completions"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/endpoints/openapi/chat/completions" | Select-Object -Expand Content

data: {
  "choices": [
    {
      "delta": {
        "content": "CONTENT",
        "role": "assistant",
        "refusal: "REFUSAL_REASON" #If using Llama Guard and response was flagged by Llama Guard
      },
      "index": 0
    }
  ],
  "model": "meta/MODEL_NAME",
  "object": "chat.completion.chunk"
}

data: {
  "choices": [
    {
      "delta": {
        "content": "CONTENT",
        "role": "assistant"
      },
      "finish_reason": "stop",
      "index": 0
    }
  ],
  "model": "meta/MODEL_NAME",
  "object": "chat.completion.chunk",
  "usage": {
    "completion_tokens": 131,
    "prompt_tokens": 14,
    "total_tokens": 145
  }
}

Unäres Aufruf an ein Llama-Modell senden

Im folgenden Beispiel wird ein unärer Aufruf an ein Llama-Modell ausgeführt.

POST https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/endpoints/openapi/chat/completions

{
  "model": "meta/MODEL",
  "messages": [
    {
      "role": "ROLE",
      "content": "CONTENT"
    }
  ],
  "max_tokens": MAX_OUTPUT_TOKENS,
  "stream": false,
  "extra_body": {
    "google": {
      "model_safety_settings": {
        "enabled": ENABLE_LLAMA_GUARD,
        "llama_guard_settings": {}
      }
    }
  }
}

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/endpoints/openapi/chat/completions"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/endpoints/openapi/chat/completions" | Select-Object -Expand Content

{
  "choices": [
    {
      "finish_reason": "stop",
      "index": 0,
      "message": {
        "content": "CONTENT",
        "role": "assistant",
        "refusal: "REFUSAL_REASON" #If using Llama Guard and response was flagged by Llama Guard
      }
    }
  ],
  "model": "meta/llama3-405b-instruct-maas",
  "object": "chat.completion",
  "usage": {
    "completion_tokens": 367,
    "prompt_tokens": 14,
    "total_tokens": 381
  }
}

Gemeldete Antworten

Standardmäßig ist Llama Guard 3 8B für alle Vorhersagen aktiviert, die Sie mit Llama 3.3- und Llama 3.1-Modellen treffen. Standardmäßig ist Llama Guard 3 11B Vision für alle Vorhersagen aktiviert, die Sie mit Llama 3.2-Modellen treffen. Llama Guard trägt zum Schutz von Antworten bei, indem Eingaben und Ausgaben geprüft werden. Wenn Llama Guard feststellt, dass sie unsicher sind, werden sie gemeldet.

Wenn Sie Llama Guard deaktivieren möchten, ändern Sie die Sicherheitseinstellungen des Modells. Weitere Informationen finden Sie im model_safety_settings Feld im Streaming oder Unary Beispiel.

Vertex AI Studio verwenden

Für Llama-Modelle können Sie mit Vertex AI Studio schnell Prototypen für generative KI-Modelle erstellen und diese in der Cloud de Confiance Console testen. Sie können Vertex AI Studio beispielsweise verwenden, um Antworten von Llama-Modellen mit anderen unterstützten Modellen wie Gemini von Google zu vergleichen.

Verfügbarkeit und Kontingente der Llama-Modellregion

Bei Llama-Modellen gilt ein Kontingent für jede Region, in der das Modell verfügbar ist. Das Kontingent wird in Abfragen pro Minute (Queries per minute, QPM) angegeben.

Wenn Ihre Kontingente für die Agent Platform nicht ausreichen, können Sie über die Cloud de Confiance Console eine Kontingenterhöhung anfordern. Weitere Informationen zu Kontingenten finden Sie unter Cloud-Kontingente – Übersicht.