ספירת טוקנים במודלים של Claude

נקודת הקצה count-tokens מאפשרת לכם לקבוע את מספר הטוקנים בהודעה לפני שאתם שולחים אותה אל קלוד, וכך לקבל החלטות מושכלות לגבי ההנחיות והשימוש שלכם.

אין עלות לשימוש בנקודת הקצה count-tokens.

מודלים נתמכים של Claude

המודלים הבאים תומכים בטוקנים של ספירה:

אזורים נתמכים

האזורים הבאים תומכים בטוקנים של ספירה:

  • global
  • us
  • eu
  • asia-southeast1

ספירת טוקנים בהודעות בסיסיות

כדי לספור טוקנים, שולחים בקשת rawPredict לנקודת הקצה count-tokens. גוף הבקשה צריך להכיל את מזהה המודל של המודל שרוצים לספור את הטוקנים שלו.

REST

לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:

  • ‫LOCATION: אזור שתומך במודלים של Anthropic Claude. כדי להשתמש בנקודת הקצה הגלובלית, אפשר לעיין במאמר בנושא ציון נקודת הקצה הגלובלית.
  • ‫MODEL: המודל שמשמש לספירת האסימונים.
  • ‫ROLE: התפקיד שמשויך להודעה. אפשר לציין user או assistant. ההודעה הראשונה חייבת להשתמש בתפקיד user. מודלים של Claude פועלים עם תורות מתחלפות של user וassistant. אם ההודעה האחרונה משתמשת בתפקיד assistant, תוכן התגובה ממשיך מיד מהתוכן שבהודעה הזו. אפשר להשתמש בזה כדי להגביל חלק מהתשובה של המודל.
  • ‫CONTENT: התוכן, כמו טקסט, של ההודעה user או assistant.

ה-method של ה-HTTP וכתובת ה-URL: 

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/anthropic/models/count-tokens:rawPredict

גוף בקשת JSON: 

{
  "model": "MODEL",
  "messages": [
    {
      "role": "user",
      "content":"how many tokens are in this request?"
    }
  ],
}

כדי לשלוח את הבקשה עליכם לבחור אחת מהאפשרויות הבאות:

curl

שומרים את גוף הבקשה בקובץ בשם request.json ומריצים את הפקודה הבאה: 

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/anthropic/models/count-tokens:rawPredict"

PowerShell

שומרים את גוף הבקשה בקובץ בשם request.json ומריצים את הפקודה הבאה: 

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/anthropic/models/count-tokens:rawPredict" | Select-Object -Expand Content

אתם אמורים לקבל תגובת JSON שדומה לזו:

מידע על ספירת טוקנים בהודעות עם כלים, תמונות וקובצי PDF זמין במסמכי התיעוד של Anthropic.

מכסות

כברירת מחדל, המכסה של נקודת הקצה count-tokens היא 2,000 בקשות לדקה.