Meminta prediksi dengan model Claude

Anda dapat menggunakan perintah cURL atau SDK Anthropic untuk mengirim permintaan ke endpoint Gemini Enterprise Agent Platform menggunakan nama model berikut:

  • Untuk Claude Sonnet 5.5 di Google Cloud, gunakan claude-sonnet-5-5
  • Untuk Claude Fable 5.1 di Google Cloud, gunakan claude-fable-5-1
  • Untuk Claude Sonnet 5 di Google Cloud, gunakan claude-sonnet-5
  • Untuk Claude Opus 5.5 di Google Cloud, gunakan claude-opus-5-5
  • Untuk Claude Opus 5 di Google Cloud, gunakan claude-opus-5
  • Untuk Claude Fable 5 di Google Cloud, gunakan claude-fable-5
  • Untuk Claude Opus 4.8 di Google Cloud, gunakan claude-opus-4-8
  • Untuk Claude Opus 4.7 di Google Cloud, gunakan claude-opus-4-7
  • Untuk Claude Opus 4.6 di Google Cloud, gunakan claude-opus-4-6
  • Untuk Claude Sonnet 4.6 di Google Cloud, gunakan claude-sonnet-4-6
  • Untuk Claude Opus 4.5 di Google Cloud, gunakan claude-opus-4-5
  • Untuk Claude Opus 4.1 di Google Cloud, gunakan claude-opus-4-1
  • Untuk Claude Opus 4 di Google Cloud, gunakan claude-opus-4
  • Untuk Claude Sonnet 4.5 di Google Cloud, gunakan claude-sonnet-4-5
  • Untuk Claude Sonnet 4 di Google Cloud, gunakan claude-sonnet-4
  • Untuk Claude 3.7 Sonnet di Google Cloud, gunakan claude-3-7-sonnet
  • Untuk Claude 3.5 Sonnet v2 di Google Cloud, gunakan claude-3-5-sonnet-v2
  • Untuk Claude Haiku 5.5 di Google Cloud, gunakan claude-haiku-5-5
  • Untuk Claude Haiku 4.5 di Google Cloud, gunakan claude-haiku-4-5
  • Untuk Claude 3.5 Haiku di Google Cloud, gunakan claude-3-5-haiku
  • Untuk Claude 3.5 Sonnet di Google Cloud, gunakan claude-3-5-sonnet
  • Untuk Claude 3 Opus di Google Cloud, gunakan claude-3-opus
  • Untuk Claude 3 Haiku di Google Cloud, gunakan claude-3-haiku

Sebelum memulai

Anthropic menerapkan kebijakan yang melarang reseller tertentu menjual kembali produknya. Jika akun penagihan Cloud de Confiance by S3NS Anda dikelola oleh reseller yang dilarang, Anda tidak akan dapat menyetujui Persyaratan Layanan atau mengaktifkan model Claude. Jika hal ini terjadi, hubungi reseller Anda secara langsung.

Untuk menggunakan model Anthropic Claude dengan Gemini Enterprise Agent Platform, Anda harus melakukan langkah-langkah berikut. Agent Platform API (aiplatform.googleapis.com) harus diaktifkan untuk menggunakan Gemini Enterprise Agent Platform. Jika sudah memiliki project dengan Agent Platform API yang diaktifkan, Anda dapat menggunakan project tersebut, bukan membuat project baru.

Pastikan Anda memiliki izin yang diperlukan untuk mengaktifkan dan menggunakan model partner. Untuk mengetahui informasi selengkapnya, lihat Memberikan izin yang diperlukan.

  1. In the Cloud de Confiance console, on the project selector page, select or create a Cloud de Confiance project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  2. Verify that billing is enabled for your Cloud de Confiance project.

  3. Enable the Gemini Enterprise Agent Platform API, if it is not already enabled.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the API

  4. Buka salah satu kartu model Model Garden berikut, lalu klik Aktifkan:

Anthropic merekomendasikan agar Anda mengaktifkan logging 30 hari untuk aktivitas perintah dan penyelesaian Anda guna mencatat penyalahgunaan model. Untuk mengaktifkan logging, lihat Mencatat permintaan dan respons.

Menggunakan Anthropic SDK

Anda dapat membuat permintaan API ke model Claude Anthropic menggunakan Anthropic Claude SDK. Untuk mempelajari lebih lanjut, lihat berikut:

Melakukan panggilan streaming ke model Claude menggunakan Anthropic Vertex SDK

Contoh kode berikut menggunakan Anthropic Vertex SDK untuk melakukan panggilan streaming ke model Claude.

Python

Untuk mempelajari cara menginstal atau mengupdate Vertex AI SDK untuk Python, lihat Menginstal Vertex AI SDK untuk Python. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi API Python.

Contoh berikut menggunakan endpoint regional. Untuk menggunakan endpoint multi-region atau global, lihat Menentukan endpoint multi-region atau Menentukan endpoint global. 
# TODO(developer): Vertex AI SDK - uncomment below & run
# pip3 install --upgrade --user google-cloud-aiplatform
# gcloud auth application-default login
# pip3 install -U 'anthropic[vertex]'

# TODO(developer): Update and un-comment below line
# PROJECT_ID = "your-project-id"

from anthropic import AnthropicVertex

client = AnthropicVertex(project_id=PROJECT_ID, region="us-east5")
result = []

with client.messages.stream(
    model="claude-3-5-sonnet-v2@20241022",
    max_tokens=1024,
    messages=[
        {
            "role": "user",
            "content": "Send me a recipe for banana bread.",
        }
    ],
) as stream:
    for text in stream.text_stream:
        print(text, end="", flush=True)
        result.append(text)

# Example response:
# Here's a simple recipe for delicious banana bread:
# Ingredients:
# - 2-3 ripe bananas, mashed
# - 1/3 cup melted butter
# ...
# ...
# 8. Bake for 50-60 minutes, or until a toothpick inserted into the center comes out clean.
# 9. Let cool in the pan for a few minutes, then remove and cool completely on a wire rack.

Melakukan panggilan unary ke model Claude menggunakan Anthropic Vertex SDK

Contoh kode berikut menggunakan Anthropic Vertex SDK untuk melakukan panggilan unary ke model Claude.

Python

Untuk mempelajari cara menginstal atau mengupdate Vertex AI SDK untuk Python, lihat Menginstal Vertex AI SDK untuk Python. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi API Python.

Contoh berikut menggunakan endpoint regional. Untuk menggunakan endpoint multi-region atau global, lihat Menentukan endpoint multi-region atau Menentukan endpoint global. 
# TODO(developer): Vertex AI SDK - uncomment below & run
# pip3 install --upgrade --user google-cloud-aiplatform
# gcloud auth application-default login
# pip3 install -U 'anthropic[vertex]'

# TODO(developer): Update and un-comment below line
# PROJECT_ID = "your-project-id"

from anthropic import AnthropicVertex

client = AnthropicVertex(project_id=PROJECT_ID, region="us-east5")
message = client.messages.create(
    model="claude-3-5-sonnet-v2@20241022",
    max_tokens=1024,
    messages=[
        {
            "role": "user",
            "content": "Send me a recipe for banana bread.",
        }
    ],
)
print(message.model_dump_json(indent=2))
# Example response:
# {
#   "id": "msg_vrtx_0162rhgehxa9rvJM5BSVLZ9j",
#   "content": [
#     {
#       "text": "Here's a simple recipe for delicious banana bread:\n\nIngredients:\n- 2-3 ripe bananas...
#   ...

Menggunakan perintah curl

Anda dapat menggunakan perintah curl untuk membuat permintaan ke endpoint Gemini Enterprise Agent Platform. Perintah curl menentukan model Claude yang didukung yang ingin Anda gunakan.

Topik berikut menunjukkan cara membuat perintah curl dan menyertakan contoh perintah curl.

REST

Untuk menguji perintah teks menggunakan Agent Platform API, kirim permintaan POST ke endpoint model penayang.

Contoh berikut menggunakan endpoint regional. Untuk menggunakan endpoint multi-region atau global, lihat Menentukan endpoint multi-region atau Menentukan endpoint global.

Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:

  • LOCATION: Region yang mendukung model Anthropic Claude. Untuk menggunakan endpoint global, lihat Menentukan endpoint global.
  • MODEL: Nama model yang ingin Anda gunakan.
  • ROLE: Peran yang terkait dengan pesan. Anda dapat menentukan user atau assistant. Pesan pertama harus menggunakan peran user. Model Claude beroperasi dengan pergantian giliran user dan assistant. Jika pesan terakhir menggunakan peran assistant, maka konten respons akan langsung dilanjutkan dari konten dalam pesan tersebut. Anda dapat menggunakan ini untuk membatasi sebagian respons model.
  • STREAM: Boolean yang menentukan apakah respons di-streaming atau tidak. Streaming respons Anda untuk mengurangi persepsi latensi penggunaan akhir. Disetel ke true untuk melakukan streaming respons dan false untuk menampilkan respons sekaligus.
  • CONTENT: Konten, seperti teks, dari pesan user atau assistant.
  • MAX_TOKENS: Jumlah maksimum token yang dapat dibuat dalam respons. Token terdiri dari sekitar 3,5 karakter. 100 token setara dengan sekitar 60-80 kata.

    Tentukan nilai yang lebih rendah untuk respons yang lebih singkat dan nilai yang lebih tinggi untuk potensi respons yang lebih panjang.

  • TOP_P (Opsional): Top-P mengubah cara model memilih token untuk output. Token dipilih dari yang paling mungkin hingga yang paling tidak mungkin sampai jumlah probabilitasnya sama dengan nilai top-P. Misalnya, jika token A, B, dan C memiliki probabilitas 0,3, 0,2, dan 0,1 dengan nilai top-P adalah 0.5, model akan memilih A atau B sebagai token berikutnya dengan menggunakan suhu dan mengecualikan C sebagai kandidat.

    Tentukan nilai yang lebih rendah untuk respons acak yang lebih sedikit dan nilai yang lebih tinggi untuk respons acak yang lebih banyak.

  • TOP_K(Opsional): Top-K mengubah cara model memilih token untuk output. Top-K dari 1 berarti token yang dipilih berikutnya adalah yang paling mungkin di antara semua token dalam kosakata model (juga disebut decoding greedy), sedangkan nilai top-K dari 3 berarti token berikutnya dipilih di antara tiga token yang paling mungkin menggunakan suhu.

    Untuk setiap langkah pemilihan token, token top-K dengan probabilitas tertinggi akan diambil sampelnya. Kemudian token akan difilter lebih lanjut berdasarkan top-P dengan token akhir yang dipilih menggunakan pengambilan sampel suhu.

    Tentukan nilai yang lebih rendah untuk respons acak yang lebih sedikit dan nilai yang lebih tinggi untuk respons acak yang lebih banyak.

  • TYPE: Untuk Claude 3.7 Sonnet di Google Cloud dan model Claude yang lebih baru, untuk mengaktifkan mode berpikir yang diperluas, tentukan enabled.
  • BUDGET_TOKENS: Jika Anda mengaktifkan penalaran yang diperluas, Anda harus menentukan jumlah token yang dapat digunakan model untuk penalaran internalnya sebagai bagian dari output. Anggaran yang lebih besar dapat memungkinkan analisis yang lebih menyeluruh untuk masalah kompleks dan meningkatkan kualitas respons. Anda harus menentukan nilai yang lebih besar dari atau sama dengan 1024 tetapi kurang dari MAX_TOKENS.

Metode HTTP dan URL: 

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/anthropic/models/MODEL:streamRawPredict

Meminta isi JSON: 

{
  "anthropic_version": "vertex-2023-10-16",
  "messages": [
   {
    "role": "ROLE",
    "content": "CONTENT"
   }],
  "max_tokens": MAX_TOKENS,
  "stream": STREAM,
  "thinking": {
    "type": "TYPE",
    "budget_tokens": BUDGET_TOKENS
  }
}

Untuk mengirim permintaan Anda, pilih salah satu opsi berikut:

curl

Simpan isi permintaan dalam file bernama request.json, dan jalankan perintah berikut: 

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/anthropic/models/MODEL:streamRawPredict"

PowerShell

Simpan isi permintaan dalam file bernama request.json, dan jalankan perintah berikut: 

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/anthropic/models/MODEL:streamRawPredict" | Select-Object -Expand Content

Anda akan melihat respons JSON yang mirip seperti berikut:

Contoh perintah curl

MODEL_ID="MODEL"
LOCATION="us-central1"
PROJECT_ID="PROJECT_ID"

curl \
-X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
https://${LOCATION}-aiplatform.googleapis.com/v1/projects/${PROJECT_ID}/locations/${LOCATION}/publishers/anthropic/models/${MODEL_ID}:streamRawPredict -d \
'{
  "anthropic_version": "vertex-2023-10-16",
  "messages": [{
    "role": "user",
    "content": "Hello!"
  }],
  "max_tokens": 50,
  "stream": true}'

Penggunaan alat (panggilan fungsi)

Model Claude Anthropic mendukung alat dan panggilan fungsi untuk meningkatkan kemampuan model. Untuk mengetahui informasi selengkapnya, lihat Ringkasan penggunaan alat dalam dokumentasi Anthropic. Model Claude di Gemini Enterprise Agent Platform mendukung alat Klien, tetapi alat Server tidak didukung.

Contoh berikut menunjukkan cara menggunakan alat dengan menggunakan perintah SDK atau curl. Contohnya menelusuri restoran terdekat di San Francisco yang buka.

Python

Untuk mempelajari cara menginstal atau mengupdate Vertex AI SDK untuk Python, lihat Menginstal Vertex AI SDK untuk Python. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi API Python.

Contoh berikut menggunakan endpoint regional. Untuk menggunakan endpoint multi-region atau global, lihat Menentukan endpoint multi-region atau Menentukan endpoint global. 
# TODO(developer): Vertex AI SDK - uncomment below & run
# pip3 install --upgrade --user google-cloud-aiplatform
# gcloud auth application-default login
# pip3 install -U 'anthropic[vertex]'
from anthropic import AnthropicVertex

# TODO(developer): Update and un-comment below line
# PROJECT_ID = "your-project-id"

client = AnthropicVertex(project_id=PROJECT_ID, region="us-east5")
message = client.messages.create(
    model="claude-3-5-sonnet-v2@20241022",
    max_tokens=1024,
    tools=[
        {
            "name": "text_search_places_api",
            "description": "returns information about a set of places based on a string",
            "input_schema": {
                "type": "object",
                "properties": {
                    "textQuery": {
                        "type": "string",
                        "description": "The text string on which to search",
                    },
                    "priceLevels": {
                        "type": "array",
                        "description": "Price levels to query places, value can be one of [PRICE_LEVEL_INEXPENSIVE, PRICE_LEVEL_MODERATE, PRICE_LEVEL_EXPENSIVE, PRICE_LEVEL_VERY_EXPENSIVE]",
                    },
                    "openNow": {
                        "type": "boolean",
                        "description": "whether those places are open for business.",
                    },
                },
                "required": ["textQuery"],
            },
        }
    ],
    messages=[
        {
            "role": "user",
            "content": "What are some affordable and good Italian restaurants open now in San Francisco??",
        }
    ],
)
print(message.model_dump_json(indent=2))
# Example response:
# {
#   "id": "msg_vrtx_018pk1ykbbxAYhyWUdP1bJoQ",
#   "content": [
#     {
#       "text": "To answer your question about affordable and good Italian restaurants
#       that are currently open in San Francisco....
# ...

REST

Contoh berikut menggunakan endpoint regional. Untuk menggunakan endpoint multi-region atau global, lihat Menentukan endpoint multi-region atau Menentukan endpoint global.

Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:

  • LOCATION: Region yang mendukung model Anthropic Claude. Untuk menggunakan endpoint global, lihat Menentukan endpoint global.
  • MODEL: Nama model yang akan digunakan.
  • ROLE: Peran yang terkait dengan pesan. Anda dapat menentukan user atau assistant. Pesan pertama harus menggunakan peran user. Model Claude beroperasi dengan giliran user dan assistant yang bergantian. Jika pesan terakhir menggunakan peran assistant, maka konten respons akan langsung dilanjutkan dari konten dalam pesan tersebut. Anda dapat menggunakan ini untuk membatasi sebagian respons model.
  • STREAM: Boolean yang menentukan apakah respons di-streaming atau tidak. Streaming respons Anda untuk mengurangi persepsi latensi penggunaan akhir. Setel ke true untuk melakukan streaming respons dan false untuk menampilkan respons sekaligus.
  • CONTENT: Konten, seperti teks, dari pesan user atau assistant.
  • MAX_TOKENS: Jumlah maksimum token yang dapat dibuat dalam respons. Token terdiri dari sekitar 3,5 karakter. 100 token setara dengan sekitar 60-80 kata.

    Tentukan nilai yang lebih rendah untuk respons yang lebih singkat dan nilai yang lebih tinggi untuk potensi respons yang lebih panjang.

Metode HTTP dan URL: 

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/anthropic/models/MODEL:rawPredict

Meminta isi JSON: 


{
  "anthropic_version": "vertex-2023-10-16",
  "max_tokens": MAX_TOKENS,
  "stream": STREAM,
  "tools": [
    {
      "name": "text_search_places_api",
      "description": "Returns information about a set of places based on a string",
      "input_schema": {
        "type": "object",
        "properties": {
          "textQuery": {
            "type": "string",
            "description": "The text string on which to search"
          },
          "priceLevels": {
            "type": "array",
            "description": "Price levels to query places, value can be one of [PRICE_LEVEL_INEXPENSIVE, PRICE_LEVEL_MODERATE, PRICE_LEVEL_EXPENSIVE, PRICE_LEVEL_VERY_EXPENSIVE]",
          },
          "openNow": {
            "type": "boolean",
            "description": "Describes whether a place is open for business at
            the time of the query."
          },
        },
        "required": ["textQuery"]
      }
    }
  ],
  "messages": [
    {
      "role": "user",
      "content": "What are some affordable and good Italian restaurants that are open now in San Francisco??"
    }
  ]
}

Untuk mengirim permintaan Anda, pilih salah satu opsi berikut:

curl

Simpan isi permintaan dalam file bernama request.json, dan jalankan perintah berikut: 

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/anthropic/models/MODEL:rawPredict"

PowerShell

Simpan isi permintaan dalam file bernama request.json, dan jalankan perintah berikut: 

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/anthropic/models/MODEL:rawPredict" | Select-Object -Expand Content

Anda akan melihat respons JSON yang mirip seperti berikut:

Menggunakan Agent Studio di Gemini Enterprise Agent Platform

Untuk beberapa model Claude dari Anthropic, Anda dapat menggunakan Agent Studio di Gemini Enterprise Agent Platform untuk membuat prototipe dan menguji model AI generatif dengan cepat di konsol Cloud de Confiance . Sebagai contoh, Anda dapat menggunakan Agent Studio di Gemini Enterprise Agent Platform untuk membandingkan respons model Claude dengan model lain yang didukung seperti Google Gemini.

Untuk mengetahui informasi selengkapnya, lihat Panduan memulai: Mengirim perintah teks ke Gemini menggunakan Agent Studio di Gemini Enterprise Agent Platform.