Mengelola agen yang di-deploy

Dokumen ini menjelaskan cara mengelola agen yang di-deploy di Agent Platform. Jika Anda ingin men-deploy agen baru, lihat Men-deploy agen.

Mencantumkan agen yang di-deploy

Mencantumkan semua agen yang di-deploy untuk project dan lokasi tertentu:

import agentplatform

client = agentplatform.Client(  # For service interactions via client.runtimes
    project="PROJECT_ID",
    location="LOCATION",
)

for agent in client.runtimes.list():
    print(agent)

for agent in client.runtimes.list(
    config={
        "filter": 'display_name="DISPLAY_NAME"',
    },
):
    print(agent)

GET https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/reasoningEngines

curl -X GET \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/reasoningEngines"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/reasoningEngines" | Select-Object -Expand Content

Mendapatkan agen yang di-deploy

Setiap agen yang di-deploy memiliki ID RESOURCE_ID yang unik. Untuk mempelajari lebih lanjut, lihat Men-deploy agen.

import agentplatform

client = agentplatform.Client(  # For service interactions via client.runtimes
    project="PROJECT_ID",
    location="LOCATION",
)

remote_agent = client.runtimes.get(
    name="projects/PROJECT_ID_OR_NUMBER/locations/LOCATION/reasoningEngines/RESOURCE_ID"
)

GET https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/reasoningEngines/RESOURCE_ID

curl -X GET \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/reasoningEngines/RESOURCE_ID"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/reasoningEngines/RESOURCE_ID" | Select-Object -Expand Content

Memperbarui agen yang di-deploy

Anda dapat memperbarui satu atau beberapa kolom agen yang di-deploy secara bersamaan, tetapi Anda harus menentukan setidaknya satu kolom yang akan diperbarui.

Anda dapat memperbarui kolom tanpa versi atau berversi dari agen yang di-deploy. Jika mengupdate kolom berversi, Anda akan membuat revisi baru. Untuk mengetahui informasi selengkapnya tentang kolom berversi dan mengelola revisi, lihat Mengelola revisi dan traffic.

Jumlah waktu yang diperlukan untuk mengupdate agen yang di-deploy bergantung pada update yang dilakukan, tetapi umumnya memerlukan waktu antara beberapa detik hingga beberapa menit.

import agentplatform

client = agentplatform.Client(  # For service interactions via client.runtimes
    project="PROJECT_ID",
    location="LOCATION",
)

client.runtimes.update(
    name=RESOURCE_NAME,                    # Required.
    agent=UPDATED_AGENT,                   # Optional.
    config={                                                # Optional.
        "requirements": REQUIREMENTS,      # Optional.
        "display_name": "DISPLAY_NAME",    # Optional.
        "description": "DESCRIPTION",      # Optional.
        "extra_packages": EXTRA_PACKAGES,  # Optional.
    },
)

PATCH https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/reasoningEngines/RESOURCE_ID?update_mask="display_name,description"

{
"displayName": "DISPLAY_NAME",
"description": "DESCRIPTION"
}

curl -X PATCH \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/reasoningEngines/RESOURCE_ID?update_mask="display_name,description""

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method PATCH `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/reasoningEngines/RESOURCE_ID?update_mask="display_name,description"" | Select-Object -Expand Content

Mengonfigurasi telemetri untuk agen yang di-deploy

Jika Anda mengaktifkan trace selama pengembangan agen, Anda dapat menggunakan konsol Cloud de Confiance untuk mengonfigurasi telemetri untuk agen yang di-deploy.

Konfigurasikan telemetri untuk agen yang di-deploy dengan telemetri diaktifkan:

1. Di konsol Cloud de Confiance , buka halaman Deployments Agent Platform.
   

   Buka Deployment

   Instance Agent Platform yang merupakan bagian dari project yang dipilih akan muncul dalam daftar. Anda dapat menggunakan kolom Filter untuk memfilter daftar menurut kolom yang Anda tentukan.

2. Temukan baris untuk instance Agent Platform Anda. Di kolom Telemetry configuration, klik Configure. Panel Service configuration akan terbuka.

3. Anda dapat membuat konfigurasi berikut:

   • Kemampuan observasi: Anda dapat mengonfigurasi hal berikut:

     • Enable instrumentation of OpenTelemetry traces and logs: Untuk mengisi dasbor observabilitas agen dan halaman trace, klik tombol ke posisi aktif.

     • Enable logging of prompt inputs and response outputs: Untuk mengumpulkan dan menyimpan konten lengkap perintah dan respons pengguna, klik tombol ke posisi aktif.

     Jika pengumpulan telemetri dinonaktifkan untuk agen, Anda harus men-deploy ulang agen dan mengupdate versi Vertex AI SDK ke >= 1.126.1 agar dapat melihat opsi konfigurasi untuk Observabilitas.

   • Container: Konfigurasi setelan container untuk agen yang di-deploy:

     • Scaling: Masukkan Minimum number of instances dan Maximum number of instances.

     • Resources: Pilih batas untuk Memory dan CPU untuk setiap container.

     • Container concurrency: Masukkan Minimum number of instances untuk menetapkan konkurensi untuk setiap container dan server agen. Nilai yang direkomendasikan adalah (2 * CPU + 1), dan nilai defaultnya adalah 9.

   • Access and Permissions: Klik Manage Permissions in IAM untuk mengelola izin agen di akun layanan terkait.

   • Detail deployment: Melihat detail deployment untuk agen, termasuk Nama resource dan Nama tampilan.

   • Agent Platform Memory Bank: Lihat detail Memory Bank untuk agen, termasuk Memory Generation dan Memory Search.

4. Klik Update atau Close.

Melihat metrik untuk agen yang di-deploy

Untuk agen yang di-deploy, Anda dapat menggunakan konsol untuk melihat metrik agen:

1. Di konsol Cloud de Confiance , buka halaman Deployments Agent Platform.
   

   Buka Deployment

   Agen yang di-deploy dan merupakan bagian dari project yang dipilih akan muncul dalam daftar. Anda dapat menggunakan kolom Filter untuk memfilter daftar menurut kolom yang ditentukan.

2. Klik nama agen Anda. Dasbor akan ditampilkan untuk agen yang Anda pilih.

3. Pilih salah satu tab Dasbor berikut:

   • Ringkasan: Melihat dasbor ringkasan metrik untuk agen Anda, termasuk latensi agen, jumlah permintaan agen, dan tingkat error agen.

   • Model: Lihat dasbor metrik untuk model agen Anda, termasuk jumlah panggilan model, tingkat error model, dan penggunaan token model.

   • Tools: Melihat dasbor metrik untuk alat agen Anda, termasuk jumlah panggilan alat, tingkat error alat, dan latensi alat.

   • Usage: Lihat dasbor metrik untuk penggunaan agen Anda, termasuk penggunaan token berdasarkan input dan output, alokasi CPU container, dan alokasi memori container.

   • Logs: Lihat log agen, jika Anda mengaktifkan Cloud Logging untuk agen.

Menghapus agen yang di-deploy

Menghapus agen yang di-deploy dari runtime terkelola Agent Runtime. Menghapus runtime agen akan membatalkan identitas agennya. Setiap Unified Access Policy (UAP) IAM yang memberikan izin kepada akun utama tersebut akan mempertahankan akun utama yang tidak berfungsi dalam aturannya. Selain itu, binding kebijakan tetap aktif. Untuk menghapus akun utama yang tidak berfungsi, perbarui UAP untuk menghapus akun utama dari aturannya. Jika kebijakan tidak lagi berisi akun utama yang aktif, hapus binding kebijakan.

remote_agent.delete(
    force=True, # Optional, if the agent has resources (e.g. sessions, memory)
)

import agentplatform

client = agentplatform.Client(  # For service interactions via client.runtimes
    project="PROJECT_ID",
    location="LOCATION",
)

client.runtimes.delete(
    name=RESOURCE_NAME,
    force=True, # Optional, if the agent has resources (e.g. sessions, memory)
)

DELETE https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/reasoningEngines/RESOURCE_ID

curl -X DELETE \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/reasoningEngines/RESOURCE_ID"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method DELETE `
    -Headers $headers `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/reasoningEngines/RESOURCE_ID" | Select-Object -Expand Content

Langkah berikutnya