Contare i token per i modelli Claude

L'endpoint count-tokens ti consente di determinare il numero di token in un messaggio prima di inviarlo a Claude, aiutandoti a prendere decisioni informate sui prompt e sull'utilizzo.

L'utilizzo dell'endpoint count-tokens non comporta costi.

Modelli Claude supportati

I seguenti modelli supportano i token di conteggio:

Aree geografiche supportate

Le seguenti regioni supportano i token di conteggio:

  • global
  • us
  • eu
  • asia-southeast1

Contare i token nei messaggi di base

Per conteggiare i token, invia una richiesta rawPredict all'endpoint count-tokens. Il corpo della richiesta deve contenere l'ID modello del modello rispetto al quale vuoi conteggiare i token.

REST

Prima di utilizzare i dati della richiesta, apporta le sostituzioni seguenti:

  • LOCATION: una regione che supporta i modelli Anthropic Claude. Per utilizzare l'endpoint globale, consulta Specificare l'endpoint globale.
  • MODEL: il modello rispetto al quale conteggiare i token.
  • ROLE: Il ruolo associato a un messaggio. Puoi specificare un user o un assistant. Il primo messaggio deve utilizzare il ruolo user. I modelli Claude operano con turni alternati di user e assistant. Se il messaggio finale utilizza il ruolo assistant, i contenuti della risposta continuano immediatamente da quelli del messaggio. Puoi utilizzare questo parametro per vincolare una parte della risposta del modello.
  • CONTENT: i contenuti, ad esempio il testo, del messaggio user o assistant.

Metodo HTTP e URL: 

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/anthropic/models/count-tokens:rawPredict

Corpo JSON della richiesta: 

{
  "model": "MODEL",
  "messages": [
    {
      "role": "user",
      "content":"how many tokens are in this request?"
    }
  ],
}

Per inviare la richiesta, scegli una di queste opzioni:

curl

Salva il corpo della richiesta in un file denominato request.json, quindi esegui il comando seguente: 

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/anthropic/models/count-tokens:rawPredict"

PowerShell

Salva il corpo della richiesta in un file denominato request.json, quindi esegui il comando seguente: 

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/anthropic/models/count-tokens:rawPredict" | Select-Object -Expand Content

Dovresti ricevere una risposta JSON simile alla seguente.

Per informazioni su come conteggiare i token nei messaggi con strumenti, immagini e PDF, consulta la documentazione di Anthropic.

Quote

Per impostazione predefinita, la quota per l'endpoint count-tokens è di 2000 richieste al minuto.