תרחישים לדוגמה לשימוש ב-AI ב-Cloud Run

בין אם אתם בונים סוכנים, מריצים מודלים של הסקה או משלבים עם שירותי AI שונים, Cloud Run מספק את יכולת ההתאמה, הגמישות והנוחות שדרושים כדי להפוך את החדשנות שלכם בתחום ה-AI למציאות.

בדף הזה מפורטים כמה תרחישים לדוגמה ברמה גבוהה לאירוח, ליצירה ולפריסה של עומסי עבודה של AI ב-Cloud Run.

למה כדאי להשתמש ב-Cloud Run לעומסי עבודה של AI?

ל-Cloud Run יש כמה יתרונות שמאפשרים להבטיח שאפליקציות ה-AI שלכם יהיו ניתנות להרחבה, גמישות וניהול. בין התכונות המרכזיות:

  • תמיכה גמישה במאגרי תגים: אפשר לארוז את האפליקציה ואת התלויות שלה במאגר תגים, או להשתמש בכל שפה, ספרייה או מסגרת נתמכת. מידע נוסף על הסכם זמן הריצה של קונטיינרים ב-Cloud Run
  • נקודת קצה (endpoint) בפרוטוקול HTTP: אחרי פריסת שירות של Cloud Run, מקבלים נקודת קצה (endpoint) של כתובת URL של Cloud Run מאובטחת ומוכנה לשימוש. שירות Cloud Run מספק סטרימינג באמצעות קידוד העברה של נתונים בחלקים ב-HTTP,‏ HTTP/2 ו-WebSockets.
  • שינוי גודל אוטומטי או ידני: כברירת מחדל, Cloud Run משנה את גודל השירות באופן אוטומטי בהתאם לביקוש, גם עד אפס. כך משלמים רק על מה שמשתמשים, ולכן זה אידיאלי לעומסי עבודה בלתי צפויים של AI. אתם יכולים גם להגדיר את השירות שלכם להגדלת נפח אחסון ידנית על סמך התנועה והשימוש במעבד.

תרחישי שימוש עיקריים ב-AI

ריכזנו כאן כמה דרכים לשימוש ב-Cloud Run כדי להפעיל אפליקציות AI:

אירוח של סוכני AI ובוטים

‫Cloud Run היא פלטפורמה אידיאלית לאירוח של לוגיקת ה-Backend של סוכני AI, צ'אטבוטים ועוזרים וירטואליים. הסוכנים האלה יכולים לתזמן קריאות למודלים של AI כמו Gemini ב-Vertex AI, לנהל את המצב ולבצע אינטגרציה עם מגוון כלים וממשקי API.

  • מיקרו-שירותים לסוכנים: פריסת יכולות סוכנים נפרדות כשירותי Cloud Run נפרדים. מידע נוסף זמין במאמר בנושא אירוח סוכני AI.
  • שרתי Model Context Protocol‏ (MCP): הטמעה של שרתי MCP כדי לספק הקשר סטנדרטי למודלים גדולים של שפה (LLM) מהכלים וממקורות הנתונים שלכם. מידע נוסף זמין במאמר בנושא אירוח שרתי MCP.

הצגת מודלים של AI/ML להסקת מסקנות

פריסת מודלים מאומנים של למידת מכונה כנקודות קצה (endpoints) של HTTP שניתנות להרחבה.

  • הסקת מסקנות בזמן אמת: הצגת תחזיות ממודלים שנבנו באמצעות מסגרות כמו TensorFlow,‏ PyTorch,‏ scikit-learn או באמצעות מודלים פתוחים כמו Gemma.
  • הפרדה של קובצי מודלים גדולים מהקונטיינר: מתאם Cloud Storage FUSE מאפשר לטעון קטגוריה של Cloud Storage ולהפוך אותה לזמינה כספרייה מקומית בתוך קונטיינר Cloud Run.

אירוח של ממשקי API ושרתי קצה עורפיים מבוססי-AI

פיתוח ממשקי API ומיקרו-שירותים שמשולבות בהם יכולות AI.

  • ‫Smart APIs: פיתוח ממשקי API שמשתמשים ב-LLM להבנת שפה טבעית, ניתוח סנטימנט, תרגום, סיכום וכו'.
  • תהליכי עבודה אוטומטיים: אפשר ליצור שירותים שמפעילים פעולות מבוססות-AI על סמך אירועים או בקשות.

יצירת אב-טיפוס וניסוי רעיונות

חזרה מהירה על רעיונות ל-AI.

  • פיצול תנועה: אפשר להשתמש בתכונה של פיצול תנועה ב-Cloud Run כדי לבצע בדיקות A/B של מודלים, הנחיות או הגדרות שונים, וב-Google Cloud Observability כדי לעקוב אחרי מדדים (זמן אחזור, שיעור שגיאות, עלות) ולמדוד את ההצלחה של בדיקות A/B.

המאמרים הבאים

בהתאם לרמת ההיכרות שלכם עם מושגי AI ולתרחיש השימוש שלכם ב-AI, תוכלו לעיין במשאבי ה-AI של Cloud Run.