מכסות ומגבלות מערכת ב-Agent Platform

במאמר הזה מפורטות המכסות ומגבלות המערכת שחלות על מודלים של AI גנרטיבי ב-Agent Platform.

  • המכסות נקבעות כברירת מחדל, אבל בדרך כלל אפשר לבקש לשנות אותן.
  • מגבלות המערכת קבועות ואי אפשר לשנות אותן.

המכסות שלCloud de Confiance by S3NS עוזרות לשמור על הוגנות ולצמצם עליות חדות בשימוש במשאבים ובזמינות שלהם. הן מגבילות את כמות המשאבים שלCloud de Confiance שאפשר להשתמש בהם בפרויקט ב- Cloud de Confiance . המכסות רלוונטיות למגוון רחב של סוגי משאבים, כולל רכיבי חומרה, תוכנה ורשתות. לדוגמה, המכסות יכולות להגביל את מספר הקריאות ל-API בשירות מסוים, את מספר מאזני העומסים שאפשר להשתמש בהם בו-זמנית בפרויקט או את מספר הפרויקטים שאפשר ליצור. בשורה התחתונה, המכסות מגינות על משתמשיCloud de Confiance בכך שהן מונעות עומס יתר על השירותים, אבל גם עוזרות לשלוט על השימוש במשאבי Cloud de Confiance .

מערכת המכסות ב-Cloud:

ברוב המקרים, כשאתם מנסים להשתמש ביותר משאבים מהמכסה, הגישה למשאב נחסמת ומה שאתם מנסים לעשות נכשל.

בדרך כלל, המכסות ב- Cloud de Confiance הן ברמת הפרויקט. כלומר, השימוש במשאב מסוים בפרויקט כלשהו לא משפיע על המכסה שלכם בפרויקטים אחרים. ברמת הפרויקט ב- Cloud de Confiance , המכסות משותפות לכל האפליקציות וכתובות ה-IP.

לסקירה כללית על מכסות ב-Cloud

למשאבי Agent Platform יש גם מגבלות מערכת. שאי אפשר לשנות.

יש גם מגבלות על המשאבים של פלטפורמת הסוכנים של Gemini Enterprise. אי אפשר לשנות את מגבלות המערכת.

מכסות למודלים מכווננים

ההסקה של המודל המכוונן חולקת את אותה מכסה עם מודל הבסיס. אין מכסה נפרדת להסקת מסקנות במודל מכוונן.

מגבלות על הטמעה

בקשות ל-gemini-embedding-001 ול-gemini-embedding-2 כפופות למכסות גלובליות.
מודל בסיס מכסה מדד
base_model: gemini-embedding 100,000,000 aiplatform.googleapis.com/global_embed_content_input_tokens_per_minute_per_base_model
base_model: gemini-embedding 100,000 aiplatform.googleapis.com/global_embed_content_requests_per_minute_per_base_model
base_model: gemini-embedding-2 200,000,000 aiplatform.googleapis.com/global_embed_content_input_tokens_per_minute_per_base_model
base_model: gemini-embedding-2 60,000 aiplatform.googleapis.com/global_embed_content_requests_per_minute_per_base_model

בקשות ל-gemini-embedding-001 באמצעות ה-API של predict כפופות גם למכסות הבאות:

מודל בסיס מכסה מדד
base_model: N/A 30,000 aiplatform.googleapis.com/online_prediction_requests

מכסות ב-Agent Runtime

המכסות הבאות חלות על Agent Runtime בפרויקט נתון בכל אזור:
תיאור מכסה מדד
יצירה, מחיקה או עדכון של משאבי Agent Runtime לדקה 10 aiplatform.googleapis.com/reasoning_engine_service_write_requests
יצירה, מחיקה או עדכון של סשנים של Agent Runtime לדקה 100 aiplatform.googleapis.com/session_write_requests
קבלת, הצגת או אחזור סשנים של Agent Runtime בדקה 10000 aiplatform.googleapis.com/session_read_requests
‫Query או StreamQuery Agent Runtime לדקה 90 aiplatform.googleapis.com/reasoning_engine_service_query_requests
אירוע הוספה לסשנים של Agent Runtime בדקה 300 aiplatform.googleapis.com/session_event_append_requests
המספר המקסימלי של משאבי Agent Runtime 100 aiplatform.googleapis.com/reasoning_engine_service_entities
יצירה, מחיקה או עדכון של משאבי זיכרון של Agent Runtime לדקה 100 aiplatform.googleapis.com/memory_bank_write_requests
קבלת, הצגת או אחזור נתונים מ-Agent Runtime Memory Bank לדקה 300 aiplatform.googleapis.com/memory_bank_read_requests
בקשות הרצה לדקה בסביבת ארגז חול (הרצת קוד) 1000 aiplatform.googleapis.com/sandbox_environment_execute_requests
ישויות של סביבת ארגז חול (הרצת קוד) לפי אזור 1000 aiplatform.googleapis.com/sandbox_environment_entities
בקשות כתיבה לדקה בסביבת ארגז חול (הרצת קוד) 500 aiplatform.googleapis.com/sandbox_environment_write_requests
בקשות POST של סוכן A2A כמו sendMessage ו-cancelTask לדקה 60 aiplatform.googleapis.com/a2a_agent_post_requests
סוכני A2A מקבלים בקשות כמו getTask ו-getCard לדקה 600 aiplatform.googleapis.com/a2a_agent_get_requests
חיבורים דו-כיווניים בו-זמניים בשידור חי באמצעות BidiStreamQuery API לדקה 10 aiplatform.googleapis.com/reasoning_engine_service_concurrent_query_requests

מכסות קלט מולטי-מודאלי

המכסות הבאות חלות על קלט מולטי-מודאלי לבקשות generateContent ו-streamGenerateContent לפרויקט נתון בכל אזור. כל מכסה נאכפת לפי מודל בסיס ורזולוציה. אותן המגבלות חלות על בקשות שמטופלות על ידי נקודת הקצה הגלובלית, באמצעות המדד ..._global התואם.
תיאור מכסה מדד
יצירת בקשות תוכן עם קלט תמונה לדקה לכל מודל בסיס ורזולוציה 34,000,000 aiplatform.googleapis.com/generate_content_image_input_per_base_model_id_and_resolution
בקשות ליצירת תוכן עם קלט וידאו לדקה לכל מודל בסיס ורזולוציה 192,000,000 aiplatform.googleapis.com/generate_content_video_input_per_base_model_id_and_resolution
יצירת בקשות תוכן עם קלט אודיו לדקה לכל מודל בסיס ורזולוציה 11,000,000 aiplatform.googleapis.com/generate_content_audio_input_per_base_model_id_and_resolution
בקשות ליצירת תוכן עם קלט של מסמך לדקה לכל מודל בסיס ורזולוציה 1,200,000 aiplatform.googleapis.com/generate_content_document_input_per_base_model_id_and_resolution

כדי לבקש להגדיל את המכסות האלה, צריך לפנות לצוות ניהול החשבון ב-Google Cloud. אי אפשר להגדיל אותן דרך מסוף Cloud de Confiance .

מכסות לכלים גנרטיביים ליצירת מדיה

כדי להציג ולערוך את המכסות של מודלים גנרטיביים ליצירת מדיה במסוף Cloud de Confiance :

  1. מוודאים ש הפעלתם את Agent Platform API בפרויקט. אם ה-API לא מופעל, המכסות של Agent Platform לא יוצגו.

  2. נכנסים לדף Quotas and System Limits.

    כניסה לדף Quotas and System Limits

  3. בתיבת הטקסט Filter, מזינים את השאילתות הבאות:

    Metric: METRIC_NAME
    Dimensions (e.g. location): MODEL_NAME

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫METRIC_NAME: שם המדד שרוצים לחפש, אחת מהאפשרויות הבאות:
      • ‫Gemini Omni: global_generate_content_requests_per_minute_per_project_per_base_model
      • Veo: long_running_online_prediction_requests_per_base_model
      • Lyria: global_generate_content_requests_per_minute_per_project_per_base_model
    • ‫MODEL_NAME: שם המודל שבו משתמשים.
  4. כדי לשנות את המכסה, לוחצים על More ובוחרים באפשרות Edit quota.
  5. מזינים בחלונית את ערך המכסה החדש ולוחצים על Submit request.

הסקת מסקנות באצווה

המכסות והמגבלות של משימות הסקה באצווה זהות בכל האזורים.

מגבלות על מספר המשימות להסקת נתונים באצווה במקביל במודלים של Gemini

אין מגבלות מוגדרות מראש על מכסות להסקת נתונים באצווה במודלים של Gemini. במקום זאת, שירות האצווה מספק גישה למאגר גדול ומשותף של משאבים, שמוקצים באופן דינמי על סמך הזמינות והביקוש של המודל בזמן אמת בקרב כל הלקוחות של אותו מודל. כשיש יותר לקוחות פעילים והמודל מגיע לקיבולת המקסימלית, יכול להיות שבקשות ה-Batch ימתינו בתור.

מכסות למשימות הסקה בו-זמניות באצווה במודלים שהם לא Gemini

בטבלה הבאה מפורטות המכסות למספר המשימות להסקת אצווה בו-זמנית, שלא חלות על מודלים של Gemini:
Quota ערך
aiplatform.googleapis.com/textembedding_gecko_concurrent_batch_prediction_jobs 4
אם מספר המשימות שנשלחו חורג מהמכסה שהוקצתה, המשימות נכנסות לתור ומעובדות כשהמכסה מתפנה.

איך רואים ועורכים את המכסות במסוף Cloud de Confiance

כדי לראות ולערוך את המכסות במסוף Cloud de Confiance :
  1. נכנסים לדף Quotas and System Limits.

    2. כניסה לדף Quotas and System Limits

  2. כדי לשנות את המכסה, מעתיקים את המאפיין aiplatform.googleapis.com/textembedding_gecko_concurrent_batch_prediction_jobs ומדביקים אותו בשדה Filter. לוחצים על Enter.
  3. לוחצים על סמל שלוש הנקודות בסוף השורה ובוחרים באפשרות Edit quota.
  4. מזינים בחלונית את ערך המכסה החדש ולוחצים על Submit request.

מכסות למדיניות פיקוח בשפה טבעית

המכסות הבאות חלות על מדיניות פיקוח בשפה טבעית בפרויקט נתון בכל אזור:
תיאור מכסה מדד
אחזור או הצגה של משאבי מדיניות פיקוח בשפה טבעית לדקה 600 aiplatform.googleapis.com/semantic_governance/policy_read_requests
יצירה, עדכון או מחיקה של משאבים של מדיניות פיקוח בשפה טבעית לדקה 60 aiplatform.googleapis.com/semantic_governance/policy_write_requests
קבלת משאבים של מנוע מדיניות הפיקוח בשפה טבעית לדקה 600 aiplatform.googleapis.com/semantic_governance/engine_read_requests
עדכון או ביטול הקצאה של משאבים למנוע מדיניות הפיקוח בשפה טבעית לדקה 60 aiplatform.googleapis.com/semantic_governance/engine_write_requests
מספר המשאבים של מדיניות פיקוח בשפה טבעית לכל פרויקט בכל מיקום. 1,000 aiplatform.googleapis.com/semantic_governance/policy_count

איך רואים ועורכים את המכסות במסוף Cloud de Confiance

כדי לראות ולערוך את המכסות במסוף Cloud de Confiance :
  1. נכנסים לדף Quotas and System Limits.

    2. כניסה לדף Quotas and System Limits

  2. כדי לשנות את המכסה, מעתיקים את המאפיין aiplatform.googleapis.com/semantic_governance/policy_write_requests ומדביקים אותו בשדה Filter. לוחצים על Enter.
  3. לוחצים על סמל שלוש הנקודות בסוף השורה ובוחרים באפשרות Edit quota.
  4. מזינים בחלונית את ערך המכסה החדש ולוחצים על Submit request.

‫RAG Engine ב-Gemini Enterprise Agent Platform

כדי שכל שירות יבצע יצירה משולבת-אחזור (RAG) באמצעות RAG Engine, חלות המכסות הבאות, שנמדדות לפי בקשות לדקה (RPM).
שירות מכסה מדד
ממשקי API לניהול נתונים של RAG Engine 60 הכנסות לאלף חשיפות (RPM) VertexRagDataService requests per minute per region
RetrievalContexts API 600 סל"ד VertexRagService retrieve requests per minute per region
base_model: textembedding-gecko ‫1,500 הכנסות לאלף חשיפות (RPM) Online prediction requests per base model per minute per region per base_model

מסנן נוסף שאפשר לציין הוא base_model: textembedding-gecko
המגבלות הבאות חלות:
שירות הגבלה מדד
ImportRagFiles בקשות בו-זמניות ‫3 הכנסה לאלף צפיות (RPM) VertexRagService concurrent import requests per region
מספר הקבצים המקסימלי לכל בקשה ב-ImportRagFiles 10,000 VertexRagService import rag files requests per region

שירות הערכה ל-AI גנרטיבי

שירות ההערכה של AI גנרטיבי משתמש ב-Gemini 2.5 Flash כמודל שופט שמוגדר כברירת מחדל למדדים שמבוססים על מודלים. בקשת הערכה אחת למדד שמבוסס על מודל יכולה להוביל לכמה בקשות בסיסיות לשירות ההערכה של AI גנרטיבי. הצריכה של כל מודל מחושבת ברמת הארגון, כלומר כל הבקשות שמופנות למודל השופט לצורך הסקת מסקנות והערכה מבוססת-מודל נכללות בצריכה של המודל. בטבלה הבאה מפורטות המכסות של שירות ההערכה ל-AI גנרטיבי ושל מודל השופט הבסיסי:
בקשת מכסה מכסת ברירת המחדל
בקשות שירות לדקה לשירות הערכה ל-AI גנרטיבי ‫1,000 בקשות לכל פרויקט בכל אזור
קצב העברת הנתונים של Gemini תלוי במודל ובאפשרות הצריכה
הרצות הערכה בו-זמניות 20 הרצות של הערכות בו-זמנית לכל פרויקט בכל אזור

אם אתם מקבלים שגיאה שקשורה למכסות בזמן השימוש בשירות ההערכה של AI גנרטיבי, יכול להיות שתצטרכו לשלוח בקשה להגדלת המכסה. איך רואים ומנהלים את המכסות?

מגבלה ערך
הזמן הקצוב לתפוגה של בקשת שירות ההערכה ל-AI גנרטיבי ‫60 שניות

בפעם הראשונה שמשתמשים בשירות ההערכה של AI גנרטיבי בפרויקט חדש, יכול להיות שיהיה עיכוב של עד שתי דקות בהגדרה הראשונית. אם הבקשה הראשונה נכשלת, צריך להמתין כמה דקות ולנסות שוב. בדרך כלל, בקשות ההערכה הבאות מסתיימות תוך 60 שניות.

המספר המקסימלי של טוקנים לקלט ולפלט במדדים שמבוססים על מודלים תלוי במודל שמשמש כשופט. רשימת המודלים של Google

מכסות לצינורות עיבוד נתונים ב-Gemini Enterprise Agent Platform

כל משימת כוונון משתמשת בצינורות עיבוד נתונים של Gemini Enterprise Agent Platform. מידע נוסף זמין במאמר מכסות ומגבלות של Agent Platform Pipelines.

המאמרים הבאים

סקירה כללית

מידע על Standard PayGo, אפשרות צריכה ב-Agent Platform שמאפשרת לכם לשלם רק על המשאבים שאתם צורכים, בלי צורך בהתחייבויות כספיות מראש.

משאב

מכסות ומגבלות מערכת שקשורות ל-Agent Platform, לא כולל מכסות ומגבלות מערכת שספציפיות למוצר.

סקירה כללית

מידע ולמידה על איך Google Cloud מגבילה את כמות המשאבים שאפשר להשתמש בהם בפרויקט בענן ב-Google Cloud, ואיך המכסות חלות על מגוון רחב של סוגי משאבים, כולל רכיבי חומרה, תוכנה ורשתות.