שליחת בקשות לתחזיות של Llama

אפשר להשתמש בפקודות curl כדי לשלוח בקשות לנקודת הקצה של Gemini Enterprise Agent Platform באמצעות שמות המודלים הבאים:

• ל-Llama 4 Maverick 17B-128E, משתמשים ב-llama-4-maverick-17b-128e-instruct-maas
• ל-Llama 4 Scout 17B-16E, משתמשים ב-llama-4-scout-17b-16e-instruct-maas
• בשביל Llama 3.3 70B, משתמשים ב-llama-3.3-70b-instruct-maas

במאמר קריאה לממשקי MaaS API עבור מודלים פתוחים מוסבר איך לבצע קריאות סטרימינג וקריאות לא סטרימינג למודלים של Llama.

לפני שמתחילים

כדי להשתמש במודלים של Llama עם Gemini Enterprise Agent Platform, צריך לבצע את השלבים הבאים. כדי להשתמש ב-Gemini Enterprise Agent Platform, צריך להפעיל את Agent Platform API ‏(aiplatform.googleapis.com). אם כבר יש לכם פרויקט שבו מופעל Agent Platform API, אתם יכולים להשתמש בו במקום ליצור פרויקט חדש.

1. In the Cloud de Confiance console, on the project selector page, select or create a Cloud de Confiance project.

   Roles required to select or create a project

   • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
   • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

   Go to project selector

2. Verify that billing is enabled for your Cloud de Confiance project.

3. Enable the Gemini Enterprise Agent Platform API, if it is not already enabled.

   Roles required to enable APIs

   To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

   Enable the API

4. עוברים לאחד מכרטיסי המודל הבאים ב-Model Garden ולוחצים על Enable:
   • מעבר לכרטיס המודל Llama 4 Maverick 17B-128E
   • לכרטיס מודל של Llama 4 Scout 17B-16E
   • מעבר לכרטיס של מודל Llama 3.3 70B

איך מתקשרים למודל Llama בסטרימינג

בדוגמה הבאה מבוצעת קריאה להזרמת נתונים למודל Llama.

POST https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/endpoints/openapi/chat/completions

{
  "model": "meta/MODEL",
  "messages": [
    {
      "role": "ROLE",
      "content": "CONTENT"
    }
  ],
  "max_tokens": MAX_OUTPUT_TOKENS,
  "stream": true,
  "extra_body": {
    "google": {
      "model_safety_settings": {
        "enabled": ENABLE_LLAMA_GUARD,
        "llama_guard_settings": {}
      }
    }
  }
}

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/endpoints/openapi/chat/completions"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/endpoints/openapi/chat/completions" | Select-Object -Expand Content

data: {
  "choices": [
    {
      "delta": {
        "content": "CONTENT",
        "role": "assistant",
        "refusal: "REFUSAL_REASON" #If using Llama Guard and response was flagged by Llama Guard
      },
      "index": 0
    }
  ],
  "model": "meta/MODEL_NAME",
  "object": "chat.completion.chunk"
}

data: {
  "choices": [
    {
      "delta": {
        "content": "CONTENT",
        "role": "assistant"
      },
      "finish_reason": "stop",
      "index": 0
    }
  ],
  "model": "meta/MODEL_NAME",
  "object": "chat.completion.chunk",
  "usage": {
    "completion_tokens": 131,
    "prompt_tokens": 14,
    "total_tokens": 145
  }
}

ביצוע שיחה אוניטרית למודל Llama

בדוגמה הבאה מבוצעת קריאה אוניטרית למודל Llama.

POST https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/endpoints/openapi/chat/completions

{
  "model": "meta/MODEL",
  "messages": [
    {
      "role": "ROLE",
      "content": "CONTENT"
    }
  ],
  "max_tokens": MAX_OUTPUT_TOKENS,
  "stream": false,
  "extra_body": {
    "google": {
      "model_safety_settings": {
        "enabled": ENABLE_LLAMA_GUARD,
        "llama_guard_settings": {}
      }
    }
  }
}

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/endpoints/openapi/chat/completions"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/endpoints/openapi/chat/completions" | Select-Object -Expand Content

{
  "choices": [
    {
      "finish_reason": "stop",
      "index": 0,
      "message": {
        "content": "CONTENT",
        "role": "assistant",
        "refusal: "REFUSAL_REASON" #If using Llama Guard and response was flagged by Llama Guard
      }
    }
  ],
  "model": "meta/llama3-405b-instruct-maas",
  "object": "chat.completion",
  "usage": {
    "completion_tokens": 367,
    "prompt_tokens": 14,
    "total_tokens": 381
  }
}

תשובות שסומנו

כברירת מחדל, Llama Guard 3 8B מופעל בכל החיזויים שאתם מבצעים באמצעות מודלים של Llama 3.3 ו-Llama 3.1. כברירת מחדל, Llama Guard 3 11B vision מופעל בכל התחזיות שאתם יוצרים באמצעות מודלים של Llama 3.2. ‫Llama Guard עוזר להגן על התשובות על ידי בדיקת נתוני הקלט והפלט. אם Llama Guard קובע שהתשובה לא בטוחה, הוא מסמן אותה.

כדי להשבית את Llama Guard, משנים את הגדרת הבטיחות של המודל. מידע נוסף מופיע בשדה model_safety_settings בדוגמה של סטרימינג או unary.

שימוש ב-Vertex AI Studio

במודלים של Llama, אפשר להשתמש ב-Vertex AI Studio כדי ליצור אב טיפוס במהירות ולבדוק מודלים של AI גנרטיבי במסוף Cloud de Confiance . לדוגמה, אתם יכולים להשתמש ב-Vertex AI Studio כדי להשוות בין תשובות של מודל Llama לבין מודלים נתמכים אחרים, כמו Gemini של Google.

זמינות אזורית ומכסות של מודל Llama

במודלים של Llama, מכסת השימוש חלה על כל אזור שבו המודל זמין. המכסה מצוינת בשאילתות לדקה (QPM).

אם אתם רוצים להגדיל את המכסות שלכם בפלטפורמת הסוכנים, אתם יכולים להשתמש במסוף Cloud de Confiance כדי לבקש הגדלה של המכסה. מידע נוסף על מכסות זמין במאמר סקירה כללית על מכסות ב-Cloud.