ניהול סוכנים שנפרסו

במאמר הזה מוסבר איך לנהל נציגים שנפרסו ב-Agent Platform. אם אתם רוצים לפרוס סוכן חדש, קראו את המאמר פריסת סוכן.

הצגת רשימה של הסוכנים הפעילים

הצגת רשימה של כל הנציגים שנפרסו בפרויקט ובמיקום מסוימים:

import agentplatform

client = agentplatform.Client(  # For service interactions via client.runtimes
    project="PROJECT_ID",
    location="LOCATION",
)

for agent in client.runtimes.list():
    print(agent)

for agent in client.runtimes.list(
    config={
        "filter": 'display_name="DISPLAY_NAME"',
    },
):
    print(agent)

GET https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/reasoningEngines

curl -X GET \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/reasoningEngines"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/reasoningEngines" | Select-Object -Expand Content

אחזור של סוכן פעיל

לכל סוכן שנפרס יש מזהה RESOURCE_ID ייחודי. מידע נוסף זמין במאמר פריסת סוכן.

import agentplatform

client = agentplatform.Client(  # For service interactions via client.runtimes
    project="PROJECT_ID",
    location="LOCATION",
)

remote_agent = client.runtimes.get(
    name="projects/PROJECT_ID_OR_NUMBER/locations/LOCATION/reasoningEngines/RESOURCE_ID"
)

GET https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/reasoningEngines/RESOURCE_ID

curl -X GET \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/reasoningEngines/RESOURCE_ID"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/reasoningEngines/RESOURCE_ID" | Select-Object -Expand Content

עדכון של סוכן פעיל

אפשר לעדכן כמה שדות של הנציג שנפרס בו-זמנית, אבל צריך לציין לפחות שדה אחד לעדכון.

אפשר לעדכן את השדות של סוכן פעיל, בין אם הם עם גרסה ובין אם לא. אם תעדכנו שדות עם גרסאות, תיווצר גרסה חדשה. מידע נוסף על שדות עם גרסאות וניהול גרסאות זמין במאמר ניהול גרסאות ותנועה.

משך הזמן שנדרש לעדכון הסוכן שנפרס תלוי בעדכון שמבוצע, אבל בדרך כלל הוא נמשך בין כמה שניות לכמה דקות.

import agentplatform

client = agentplatform.Client(  # For service interactions via client.runtimes
    project="PROJECT_ID",
    location="LOCATION",
)

client.runtimes.update(
    name=RESOURCE_NAME,                    # Required.
    agent=UPDATED_AGENT,                   # Optional.
    config={                                                # Optional.
        "requirements": REQUIREMENTS,      # Optional.
        "display_name": "DISPLAY_NAME",    # Optional.
        "description": "DESCRIPTION",      # Optional.
        "extra_packages": EXTRA_PACKAGES,  # Optional.
    },
)

PATCH https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/reasoningEngines/RESOURCE_ID?update_mask="display_name,description"

{
"displayName": "DISPLAY_NAME",
"description": "DESCRIPTION"
}

curl -X PATCH \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/reasoningEngines/RESOURCE_ID?update_mask="display_name,description""

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method PATCH `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/reasoningEngines/RESOURCE_ID?update_mask="display_name,description"" | Select-Object -Expand Content

הגדרת נתוני טלמטריה לסוכן שנפרס

אם הפעלתם מעקבים במהלך פיתוח הנציג, אתם יכולים להשתמש במסוף Cloud de Confiance כדי להגדיר את הטלמטריה של הנציג שנפרס.

הגדרת הטלמטריה לסוכנים שנפרסו עם טלמטריה מופעלת:

1. במסוף Cloud de Confiance , נכנסים לדף Deployments ב-Agent Platform.
   

   מעבר אל Deployments

   מופעים של Agent Platform שהם חלק מהפרויקט שנבחר מופיעים ברשימה. אפשר להשתמש בשדה Filter כדי לסנן את הרשימה לפי העמודה שציינתם.

2. מוצאים את השורה של המכונה של Agent Platform. בעמודה Telemetry configuration, לוחצים על Configure. החלונית הגדרת שירות נפתחת.

3. אפשר לקבוע את ההגדרות הבאות:

   • ניראות: אתם יכולים להגדיר את האפשרויות הבאות:

     • ‫Enable instrumentation of OpenTelemetry traces and logs: כדי לאכלס את מרכז הבקרה של יכולת התבוננות לעומק בסוכנים ואת דפי המעקבים, לוחצים על המתג כדי להפעיל את האפשרות.

     • הפעלת הרישום ביומן של קלט ההנחיות ופלט התשובות: כדי לאסוף ולאחסן את התוכן המלא של ההנחיות והתשובות של המשתמשים, לוחצים על המתג כדי להעביר אותו למצב מופעל.

     אם איסוף נתוני הטלמטריה מושבת בסוכן, צריך לפרוס מחדש את הסוכן ולעדכן את גרסת Vertex AI SDK ל->= 1.126.1 כדי לראות את אפשרויות ההגדרה של ניראות.

   • קונטיינרים: קובעים את הגדרות הקונטיינר של הסוכן שנפרס:

     • Scaling: מזינים את מספר המכונות המינימלי ואת מספר המכונות המקסימלי.

     • משאבים: בוחרים מגבלות לזיכרון ולמעבד (CPU) לכל מאגר.

     • בו-זמניות של קונטיינרים: מזינים מספר מינימלי של מכונות כדי להגדיר את הבו-זמניות לכל קונטיינר ושרת סוכן. הערך המומלץ הוא (2 * CPU + 1), וערך ברירת המחדל הוא 9.

   • גישה והרשאות: לוחצים על ניהול הרשאות ב-IAM כדי לנהל את הרשאות הסוכן בחשבון השירות המשויך.

   • פרטי הפריסה: פרטי הפריסה של הנציג, כולל שם המשאב והשם המוצג.

   • ‫Agent Platform Memory Bank: פרטי Memory Bank של הנציג, כולל Memory Generation ו-Memory Search.

4. לוחצים על עדכון או על סגירה.

הצגת מדדים של הנציג שנפרס

בנציגים שנפרסו, אתם יכולים להשתמש במסוף כדי לראות את המדדים של הנציג:

1. במסוף Cloud de Confiance , נכנסים לדף Deployments ב-Agent Platform.
   

   מעבר אל Deployments

   הסוכנים שפרסתם בפרויקט שנבחר יופיעו ברשימה. אפשר להשתמש בשדה Filter כדי לסנן את הרשימה לפי העמודה שציינתם.

2. לוחצים על שם הנציג. מרכז הבקרה של הנציג שבחרתם מוצג.

3. בוחרים אחת מהכרטיסיות הבאות במרכז הבקרה:

   • ‫Overview: לוח בקרה עם סיכום של מדדי הנציג, כולל זמן האחזור, מספר הבקשות ושיעור השגיאות.

   • ‫Models: הצגת לוח בקרה של מדדים למודל של הנציג, כולל מספר הקריאות למודל, שיעור השגיאות של המודל והשימוש בטוקנים של המודל.

   • ‫Tools: לוח בקרה עם מדדים של הכלים של הנציג, כולל מספר הקריאות לכלים, שיעור השגיאות של הכלים וזמן האחזור של הכלים.

   • Usage: לוח בקרה עם מדדים לשימוש בנציג, כולל שימוש באסימונים לפי קלט ופלט, הקצאת מעבד (CPU) לקונטיינר והקצאת זיכרון לקונטיינר.

   • ‫Logs: הצגת היומנים של הנציג, אם הפעלתם את Cloud Logging בשביל הנציג.

מחיקת נציג פרוס

מחיקת סוכן שנפרס מסביבת זמן הריצה המנוהלת של Agent Runtime. מחיקת ה-Agent Runtime מבטלת את ה-Agent Identity שלו. כל מדיניות גישה מאוחדת (UAP) ב-IAM שמעניקה הרשאות לחשבון המשתמש הזה שומרת את חשבון המשתמש שהושבת בכללים שלה. בנוסף, קישור המדיניות נשאר פעיל. כדי להסיר חשבון משתמש לא פעיל, מעדכנים את ה-UAP ומסירים את החשבון מהכללים שלו. אם במדיניות אין יותר חשבונות משתמשים פעילים, מוחקים את קישור המדיניות.

remote_agent.delete(
    force=True, # Optional, if the agent has resources (e.g. sessions, memory)
)

import agentplatform

client = agentplatform.Client(  # For service interactions via client.runtimes
    project="PROJECT_ID",
    location="LOCATION",
)

client.runtimes.delete(
    name=RESOURCE_NAME,
    force=True, # Optional, if the agent has resources (e.g. sessions, memory)
)

DELETE https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/reasoningEngines/RESOURCE_ID

curl -X DELETE \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/reasoningEngines/RESOURCE_ID"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method DELETE `
    -Headers $headers `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/reasoningEngines/RESOURCE_ID" | Select-Object -Expand Content

המאמרים הבאים