תרחישים לדוגמה לשימוש ב-AI ב-Cloud Run

בין אם אתם בונים סוכנים, מריצים מודלים של הסקה או משלבים עם שירותי AI שונים, Cloud Run מספק את יכולת ההתאמה, הגמישות וקלות השימוש שנדרשים כדי להגשים את החידושים שלכם בתחום ה-AI.

בדף הזה מודגשים כמה תרחישים לדוגמה ברמה גבוהה לאירוח, ליצירה ולפריסה של עומסי עבודה של AI ב-Cloud Run.

למה כדאי להשתמש ב-Cloud Run לעומסי עבודה של AI?

ל-Cloud Run יש כמה יתרונות שמאפשרים לכם לוודא שאפליקציות ה-AI שלכם ניתנות להרחבה, גמישות וניהול. בין התכונות המרכזיות:

  • תמיכה גמישה במאגרי תגים: אפשר לארוז את האפליקציה ואת התלויות שלה במאגר תגים, או להשתמש בכל שפה, ספרייה או מסגרת נתמכת. מידע נוסף על הסכם זמן הריצה של קונטיינרים ב-Cloud Run
  • נקודת קצה (endpoint) בפרוטוקול HTTP: אחרי פריסה של שירות או אירוע של Cloud Run, מקבלים נקודת קצה (endpoint) של כתובת URL של Cloud Run שהיא מאובטחת ומוכנה לשימוש. שירות Cloud Run מספק סטרימינג באמצעות תמיכה בקידוד העברה של נתונים בחלקים ב-HTTP, ב-HTTP/2 וב-WebSockets.
  • שינוי גודל אוטומטי או ידני: בשירותי Cloud Run,‏ Cloud Run משנה את גודל השירות באופן אוטומטי בהתאם לביקוש. כך משלמים רק על מה שמשתמשים, ולכן זה אידיאלי לעומסי עבודה של AI שקשה לחזות את השימוש בהם. אפשר גם להגדיר את השירות להרחבה ידנית על סמך הצרכים שלכם בנוגע לתנועה ולניצול המעבד. במקרים של מכונות ב-Cloud Run, התאמה אוטומטית לעומס לא רלוונטית. הן פועלות כסינגלטונים שמתחילים ומפסיקים ידנית.

תרחישי שימוש עיקריים ב-AI

ריכזנו כאן כמה דרכים להשתמש ב-Cloud Run כדי להפעיל אפליקציות AI:

אירוח של סוכני AI ובוטים

‫Cloud Run היא פלטפורמה אידיאלית לאירוח של לוגיקת ה-Backend של סוכני AI, צ'אטבוטים ועוזרים וירטואליים. הסוכנים האלה יכולים לתזמן קריאות למודלים של AI כמו Gemini ב-Vertex AI, לנהל את המצב ולהשתלב עם מגוון כלים וממשקי API.

  • מיקרו-שירותים לסוכנים: פריסת יכולות סוכנים נפרדות כשירותים או כאינסטנסים נפרדים של Cloud Run. מידע נוסף זמין במאמר בנושא אירוח סוכני AI.
  • שרתי Model Context Protocol‏ (MCP): הטמעה של שרתי MCP כדי לספק הקשר סטנדרטי למודלים גדולים של שפה (LLM) מהכלים וממקורות הנתונים שלכם. מידע נוסף זמין במאמר בנושא אירוח שרתי MCP.

הצגת מודלים של AI/ML להסקת מסקנות

פריסת מודלים מאומנים של למידת מכונה כנקודות קצה (endpoints) של HTTP שניתנות להרחבה.

  • הסקת מסקנות בזמן אמת: הצגת תחזיות ממודלים שנבנו באמצעות מסגרות כמו TensorFlow,‏ PyTorch,‏ scikit-learn או באמצעות מודלים פתוחים כמו Gemma.
  • הפרדה של קובצי מודלים גדולים מהקונטיינר: מתאם Cloud Storage FUSE מאפשר לטעון קטגוריה של Cloud Storage ולהפוך אותה לזמינה כספרייה מקומית בתוך קונטיינר Cloud Run.

אירוח של ממשקי API ושרתי קצה עורפיים מבוססי-AI

פיתוח ממשקי API ומיקרו-שירותים שמשולבות בהם יכולות AI.

  • ‫Smart APIs: פיתוח ממשקי API שמשתמשים ב-LLM להבנת שפה טבעית, ניתוח סנטימנט, תרגום, סיכום וכו'.
  • תהליכי עבודה אוטומטיים: יצירת שירותים שמפעילים פעולות מבוססות-AI על סמך אירועים או בקשות.

יצירת אב-טיפוס וניסוי רעיונות

חזרה מהירה על רעיונות מבוססי-AI.

  • פיצול תנועה: אפשר להשתמש בתכונה של פיצול תנועה ב-Cloud Run כדי לבצע בדיקות A/B של מודלים, הנחיות או הגדרות שונים, וב-Google Cloud Observability כדי לעקוב אחרי מדדים (זמן אחזור, שיעור שגיאות, עלות) ולמדוד את ההצלחה של בדיקות A/B.

המאמרים הבאים

בהתאם לרמת ההיכרות שלכם עם מושגי AI ולתרחיש השימוש שלכם ב-AI, תוכלו לעיין במשאבי ה-AI של Cloud Run.