בקטע הזה מוסבר איך פועלת הקצאת משאבים לפי התפוקה שנקבעה במודלים של Gemini Omni, כולל התנהגות אכיפת המכסות והמרווחים המינימליים של רכישת יחידות תפוקה ל-AI גנרטיבי (GSU).
במודלים של Gemini Omni, חלונות האכיפה של המכסה משתנים בהתאם למספר יחידות ה-GSU שרוכשים עבור המודל, והם כפופים לשינויים. בקטעים הבאים מפורטים חלונות האכיפה של המכסות לגדלים שונים של GSU.
גרסת טרום-השקה של Gemini Omni Flash: חלונות לאכיפת מכסות
אלה חלונות האכיפה של המכסות לגדלים שונים של GSU בגרסת טרום-ההשקה של Gemini Omni Flash:
- 1-9 יחידות GSU: 2,000 שניות
- 10-19 יחידות GSU: 200 שניות
- 20-39 יחידות GSU: 100 שניות
- 40-66 יחידות GSU: 50 שניות
- 67 יחידות GSU ומעלה: 30 שניות
הערכים שמופיעים לא תלויים בחביון של הבקשה. הזמן שנדרש לעיבוד הבקשה לא זהה לחלון הזמן לאכיפת המכסה.
חלונות האכיפה גדולים יותר כשמדובר בכמויות קטנות יותר של GSU, כדי להבטיח שעיבוד הבקשות הקטנות יסתיים בהצלחה בתוך חלון הזמן. ככל שמספר יחידות ה-GSU של מודל עולה, לא נדרשים חלונות זמן ארוכים יותר כדי לעבד בקשה. אם אתם צריכים לעבד פלט ב-Omni Flash בתדירות גבוהה יותר באמצעות הקצאת משאבים לפי התפוקה שנקבעה, מומלץ להגדיל את מספר יחידות ה-GSU שרכשתם ולבדוק את חלון האכיפה המתאים.
לדוגמה, נניח שרכשתם יחידת GSU אחת של Omni Flash Preview לעומס עבודה שנדרש ליצירת סרטון אחד באורך 10 שניות ברזולוציה 1080p. במקרה כזה, בדרך כלל אפשר ליצור את הסרטון הזה תוך 60 שניות, והתנועה מעובדת כהקצאת משאבים לפי התפוקה שנקבעה. עם זאת, אם רוצים ליצור סרטון נוסף באותו אורך, צריך לחכות עד לסיום חלון האכיפה של המכסה (2,000 שניות ל-1 GSU). הזמן של חלון האכיפה הזה נקבע לפי השעון של פלטפורמת Gemini Enterprise Agent, ולא לפי הזמן שבו הבקשה נשלחת. חלונות האכיפה תלויים באלגוריתמים של העורף, והם עשויים להשתנות.
מומלץ להגדיר את פרמטרי ה-API של משך הזמן והרזולוציה כששולחים בקשה. אם מציינים את הקצאת המשאבים לפי התפוקה שנקבעה, אפשר לקבל חוויה מדויקת יותר. אם לא מספקים את הפרמטרים האלה, ההערכה של גודל הבקשה של הקצאת משאבים לפי התפוקה שנקבעה מניחה את משך הזמן והרזולוציה המקסימליים, מה שעלול להוביל להקצאת יתר מוקדמת שאפשר למנוע, ולעבור לחיוב לפי שימוש, וגם להקטין את הניצול של הקצאת משאבים לפי התפוקה שנקבעה שרכשתם.
הערכה של הדרישות ל-GSU
מומלץ להשתמש בכלי ההערכה בדף הקצאת משאבים לפי התפוקה שנקבעה כדי להעריך את מספר יחידות ה-GSU שנדרשות לעומס העבודה. כדי להשתמש בכלי, צריך להזין את המספר הכולל של אסימוני הקלט ואת ההערכה של אסימוני הפלט עבור חלון תדירות ספציפי. מידע נוסף על השימוש בכלי ההערכה זמין במאמר הזמנת נפח נתונים מוקצה רגיל.
כדי להעריך את מספר האסימונים, אפשר להשתמש בשיטות הבאות:
- טוקנים של טקסט קלט: אפשר להשתמש ב-tokenizer של SDK או ב-countTokens API.
- טוקנים של קלט מסוגים אחרים: אפשר להשתמש באומדנים שמבוססים על ההנחות שמופיעות בדף התמחור.
- עומסי עבודה קיימים: סכום השימוש באסימונים מתשובות שנוצרו בחלון זמן ספציפי.
לדוגמה, נניח שיש עומס עבודה שמייצר חמישה סרטונים באורך 10 שניות ברזולוציה 720p וחמישה סרטונים באורך 10 שניות ברזולוציה 1080p כל 30 שניות (10 בקשות בסך הכול). נניח שלכל בקשה יש 20 טוקנים של טקסט קלט, תמונה אחת (1,120 טוקנים) ו-100 טוקנים של חשיבה על התשובה. הקלט להערכת השימוש ב-GSU הוא:
- תדירות: 30 שניות
- סה"כ טוקנים של טקסט קלט: 20 × 10 (בקשות) = 200
- סך הטוקנים של התמונות: 1,120 × 10 (בקשות) = 11,200
- סה"כ טוקנים של נימוקים בפלט: 100 × 10 (בקשות) = 1,000
- מספר הטוקנים הכולל של פלט הסרטון: 10 שניות (משך) × 5,792 (טוקנים/שנייה) × 5 סרטונים (720p) + 10 שניות (משך) × 8,688 (טוקנים/שנייה) × 5 סרטונים (1080p) = 724,000
- מספר יחידות ה-GSU המשוער: 434
תרחישים של רזולוציה גבוהה ומשך זמן
אי אפשר לפצל בקשה גדולה אחת בין שני חלונות של אכיפה. אם בקשה אחת צורכת יותר ממה שמוקצה לה בחלון האכיפה, היא תטופל בכל פעם לפי מודל התשלום לפי שימוש – לא משנה כמה פעמים אתם שולחים אותה וכמה מכסת הקצאת משאבים לפי התפוקה שנקבעה שלא נוצלה עשויה להיות בחלונות הבאים.
הבעיה משפיעה רק על סרטוני 4K באורך 7 שניות או יותר. ברזולוציות 360p, 720p ו-1080p, כל משך זמן נתמך מתאים לחלון אחד בכל גודל רכישה, וכך גם סרטונים באיכות 4K באורך של 6 שניות או פחות (בהנחה של טוקנים טיפוסיים של קלט וחשיבה רציונלית, שהם פחות מ-88k טוקנים).
אם אתם יוצרים סרטונים באיכות 4K באורך של 7 שניות או יותר, כדאי להשוות את התוצאה של כלי ההערכה לנתונים בטבלה הבאה ולבחור את המספר הגדול יותר:
| הסרטון הארוך ביותר באיכות 4K | 1-9 יחידות GSU | 10 עד 19 יחידות GSU | 20 עד 39 יחידות GSU | 40 עד 66 יחידות GSU | 67+ יחידות GSU |
|---|---|---|---|---|---|
| 7 שניות | 2 | 12 | 23 | 46 | 76 |
| 8 שניות | 2 | 13 | 26 | 52 | 87 |
| 9 שניות | 2 | 15 | 29 | 58 | 97 |
| 10 שניות | 2 | 17 | 33 | 65 | 107 |
קוראים את העמודה שמתאימה למספר המשוער של משתמשי GSU. לדוגמה, נניח שאתם יוצרים שישה סרטוני 4K באורך 10 שניות כל 2,000 שניות. ההערכה מחזירה 10 יחידות GSU, שזה מספיק לתפוקה ממוצעת. עם זאת, ב-10 יחידות GSU, חלון האכיפה הוא 200 שניות, ואף אחד מהסרטונים של 10 שניות לא נכנס לחלון יחיד. הוספת מרווחים בין שש הבקשות לא פותרת את הבעיה. כדי לעבד את הבקשות בהצלחה בלי חריגה ממגבלת התשלום לפי שימוש, צריך להזמין 17 יחידות GSU.
הנתונים האלה מבוססים על טוקנים של פרומפטים ונימוקים אופייניים – פרומפט טקסט או תמונה, או סרטון באורך של עד 10 שניות לעריכה.