אזורי AI

אזורי AI הם אזורים מיוחדים שמשמשים לאימון של בינה מלאכותית (AI) ולמידת מכונה (ML) ולעומסי עבודה של הסקה. הם מספקים קיבולת משמעותית של מאיץ למידת מכונה (GPU ו-TPU).

באזור מסוים, אזורי ה-AI ממוקמים גיאוגרפית הרחק מאזורים רגילים (לא מבוססי-AI). באיור הבא מוצגת דוגמה לאזור AI‏ (us-south1-ai1b) שממוקם רחוק יותר יחסית לאזורים הרגילים באזור us-south1.

Parent zone

כל אזור AI משויך לאזור רגיל באזור, שנקרא אזור האב שלו. תחום הורה הוא תחום רגיל עם אותו סיומת כמו תחום ה-AI. לדוגמה, בתרשים, us-central1-a הוא אזור ההורה של us-central1-ai1a. הם חולקים לוחות זמנים לעדכוני תוכנה ולפעמים גם תשתית. כלומר, בעיות בתוכנה או בתשתית שמשפיעות על אזור הורה יכולות להשפיע גם על אזור ה-AI. כשמתכננים פתרונות לזמינות גבוהה, כדאי לעיין בשיקולים לגבי זמינות גבוהה (HA) כדי להתחשב בתלות באזור האב.

מתי כדאי להשתמש באזורים מבוססי-AI

אזורי AI מותאמים לעומסי עבודה של AI ו-ML. ההנחיות הבאות יעזרו לכם לקבוע אילו מעומסי העבודה שלכם מתאימים ביותר לאזורי AI ואילו מתאימים יותר לאזורים רגילים.

מומלץ ל:

  • אימון בקנה מידה גדול: מתאים לעומסי עבודה של אימון בקנה מידה גדול, כמו אימון של מודלים גדולים של שפה (LLM) ומודלים בסיסיים, כי יש מספר גדול של מאיצים.

  • אימון, כוונון עדין, הסקה בכמות גדולה ואימון מחדש בקנה מידה קטן: אזורי AI מתאימים לעומסי עבודה שדורשים קיבולת משמעותית של מאיצים.

  • הסקת מסקנות (inference) של ML בזמן אמת: אזורי AI תומכים בעומסי עבודה של הסקת מסקנות בזמן אמת. הביצועים תלויים בתכנון האפליקציה ובדרישות של זמן האחזור של המודל, במיוחד אם עומס העבודה דורש בקשות הלוך ושוב לאזור האב.

לא מומלץ לשימוש ב:

  • עומסי עבודה שאינם קשורים ל-ML: מכיוון שאזורי AI לא מציעים את כל Cloud de Confiance by S3NS השירותים באופן מקומי, מומלץ להריץ את עומסי העבודה שאינם קשורים ל-ML באזורים הרגילים.

גישה לשירותים מאזור AI

אפשר לגשת לכל Cloud de Confiance by S3NS המוצרים באזור Cloud de Confiance by S3NS מסוים דרך אזור ה-AI שלו. עם זאת, גישה לשירותים באזור Cloud de Confiance by S3NS מתחום AI עלולה להוסיף השהיה ברשת, כי תחום ה-AI מופרד פיזית מה מיקומים של התחומים הרגילים באזור.

כדי לראות אזורי AI ב Cloud de Confiance מסוף, ב-Google Cloud CLI וב-API בארכיטקטורת REST, צריך להפעיל את ההגדרה 'חשיפת אזורי AI' בפרויקט. הנראות של אזור ה-AI נפרדת מבקרת הגישה ומגבולות שירות מדיניות הארגון. מידע נוסף זמין במאמר בנושא ניהול הנראות של אזורי AI.

מוצרים ספציפיים תומכים ביצירה של משאבים אזוריים או בגישה אליהם באופן מקומי באזור AI. מידע נוסף על השירותים האלה מפורט בטבלה הבאה:

מוצר תיאור
Google Kubernetes Engine (GKE)‎ הגדרה של אזורי AI לשימוש באשכולות GKE, כולל הגדרה באמצעות ComputeClasses, הקצאה אוטומטית של צמתים ומאגרי צמתים של GKE Standard.

שימוש באזורי AI ב-GKE
Cloud Storage הגדרת אחסון אובייקטים לעומסי עבודה באזורי AI, כולל אחסון אזורי למיקסום הביצועים במהלך עבודות פעילות ואחסון קבוע של מערכי נתונים ונקודות ביקורת של מודלים.

שימוש באזורי AI עם Cloud Storage
Compute Engine שיטות לזיהוי אזורי AI זמינים באמצעות המסוף, Google Cloud CLI ו-API בארכיטקטורת REST, כולל סינון לפי מוסכמת שמות, סוג מאיץ או מכונה

איתור אזורי AI זמינים
Google Cloud Managed Lustre שיפור הביצועים של עומסי עבודה של AI ו-ML שנפרסו ב-GKE Standard

שיפור עומסי עבודה של AI ו-ML באמצעות Google Cloud Managed Lustre

מיקומים

אזורי AI זמינים במיקומים הבאים:

אזור AI מיקום אזור ה-AI אזור אחד (Cloud de Confiance by S3NS ) מיקום אזוריCloud de Confiance by S3NS אזור הורה
europe-west4-ai1a דה קוי, הולנד, אירופה europe-west4 אמסהפן, הולנד, אירופה europe-west4-a
us-south1-ai1b אוסטין, טקסס, צפון אמריקה us-south1 דאלאס, טקסס, צפון אמריקה us-south1-b
us-central1-ai1a לינקולן, נברסקה, צפון אמריקה us-central1 קאונסיל בלאפס, איווה, צפון אמריקה us-central1-a

כדי לראות אילו סוגים של GPU ו-TPU זמינים באזורי AI, אפשר לעיין במאמרים הבאים:

פריסת משאבים באזורי AI

אפשר לגשת לאזורי AI דרך מסוף Cloud de Confiance Google Cloud‏, Google Cloud CLI או REST. עם זאת, כשמשתמשים במסוף Cloud de Confiance כדי ליצור מכונות וירטואליות, צריך לבחור ידנית אזור AI. הוא לא נבחר בשבילכם, כמו באזורים רגילים. כדי להשתמש באזורי AI עם התכונות הבאות, צריך לבחור במפורש אזור AI בזמן הגדרת המשאבים האלה.

  • תכונות מסוימות של Compute Engine: אזורי AI לא נבחרים באופן אוטומטי בתכונות אזוריות מסוימות של Compute Engine, כמו פעולות אזוריות של הוספה בכמות גדולה או קבוצות אזוריות של מופעי מכונה בניהול (MIG).

    • הוספה בכמות גדולה: כדי לכלול אזורי AI בפעולות הוספה אזוריות בכמות גדולה, צריך להשתמש בשדה locationPolicy.zones[]. השדה locations[] לא תומך באזורי AI. בדוגמה הבאה מוצג הפורמט הזה לאזור us-south1-ai1b:

      {
  "locationPolicy": {
    "zones": [
      "zones/us-south1-ai1b"
    ]
  }
}

    • ‫MIG אזורי: כדי ליצור מכונות וירטואליות באזור AI באזור שנבחר, צריך לציין אותו באופן מפורש במדיניות ההפצה (distributionPolicy.zones[]) יחד עם האזורים המועדפים האחרים. בדוגמה הבאה מוצג הפורמט של האזור us-south1-ai1b:

      {
  "distributionPolicy": {
    "zones": [
      "zones/us-south1-a",
      "zones/us-south1-b",
      "zones/us-south1-ai1b"
    ]
  }
}

  • תכונות מסוימות של GKE: אזורי AI לא נבחרים באופן אוטומטי בתכונות אזוריות מסוימות של GKE, כמו אשכולות GKE אזוריים. פרטים נוספים על GKE זמינים במאמר שימוש באזורי AI ב-GKE במסמך הזה.

  • ‫Vertex AI: כדי להשתמש במוצרים אזוריים של Vertex AI שמבוססים על GKE, צריך להגדיר את GKE כך שיכלול אזורי AI באשכולות אזוריים. אתם לא צריכים להביע הסכמה לשימוש ב-Vertex AI. ההגדרה הזו מנוהלת על ידי Vertex AI.

  • ‫Cloud de Confiance by S3NS Service Metadata Locations API: כשמשתמשים ב-locations.list API, צריך להפעיל את הדגל --extraLocationTypes כדי להבטיח שאזורי ה-AI יופיעו רק למי שמתכוון להשתמש בהם.

  • הגבלות על עומסי עבודה ללא האצה: מערכת Compute Engine מגבילה את היצירה של מכונות וירטואליות עם מעבד בלבד באזורים של AI.

שימוש באזורי AI ב-GKE

כברירת מחדל, GKE לא פורס את עומסי העבודה שלכם באזורי AI. כדי להשתמש באזור AI, צריך להגדיר אחת מהאפשרויות הבאות:

  • ‫ComputeClasses: מגדירים את העדיפות הכי גבוהה לבקשת TPU על פי דרישה באזור AI. המאפיין ComputeClasses עוזר לכם להגדיר רשימה של תצורות חומרה לעומסי העבודה, לפי סדר עדיפות. לדוגמה, ראו מידע על ComputeClasses.

  • הקצאת צמתים אוטומטית: כדי להנחות את הקצאת צמתים אוטומטית ליצור מאגר צמתים באזור ה-AI, משתמשים ב-nodeSelector או ב-nodeAffinity במפרט של ה-Pod. אם עומס העבודה שלכם לא מטרגט באופן מפורש אזור AI, הקצאה אוטומטית של צמתים לוקחת בחשבון רק אזורים רגילים כשיוצרים מאגרי צמתים חדשים. ההגדרה הזו מבטיחה שעומסי עבודה שלא מריצים מודלים של AI/ML יישארו באזורים רגילים, אלא אם תגדירו אחרת באופן מפורש. דוגמה למניפסט שמשתמש ב-nodeSelector מופיעה במאמר הגדרת אזורי ברירת המחדל לצמתים שנוצרו באופן אוטומטי.

  • ‫GKE Standard: אם אתם מנהלים ישירות את מאגרי הצמתים, השתמשו בדגל --node-locations של אזור AI כשאתם יוצרים מאגר צמתים. לדוגמה, אפשר לעיין במאמר פריסת עומסי עבודה של TPU ב-GKE Standard.

מגבלות

האפשרויות הבאות לא זמינות באזורי AI:

שיקולים בתכנון אזורי AI

כשמתכננים את האפליקציות לשימוש באזורי AI, כדאי לקחת בחשבון את הנקודות הבאות.

שיקולים לגבי זמינות גבוהה (HA)

אזורי AI חולקים את פריסות התוכנה והתשתית עם אזורי האב שלהם. כדי להבטיח זמינות גבוהה של עומסי העבודה, כדאי להימנע מדפוסי הפריסה הבאים כשבוחרים אזורים, באופן אוטומטי או ידני:

  • מומלץ להימנע מפריסת עומסי עבודה של זמינות גבוהה (HA) באזור AI ובאזור האב שלו.

  • מומלץ להימנע מפריסת עומסי עבודה של זמינות גבוהה בשני אזורי AI שחולקים את אותו אזור אב.

שיטות מומלצות לאחסון

מומלץ להשתמש בארכיטקטורת אחסון מדורגת כדי לאזן בין עלות, עמידות וביצועים:

  1. שכבת אחסון לנתונים לא פעילים: אפשר להשתמש בקטגוריות אזוריות של Cloud Storage באזורים רגילים לאחסון מתמשך ועמיד של מערכי נתוני האימון ונקודות הביקורת של המודל.

  2. שכבת הביצועים: אפשר להשתמש בשירותי אחסון אזוריים מיוחדים כדי ליצור מטמון מהיר או מרחב זמני לאחסון נתונים. הגישה הזו מבטלת את זמן האחזור בין אזורים וממקסמת את התפוקה במהלך עבודות פעילות.

    כדי לוודא שמעבדי ה-GPU וה-TPU נשארים רוויים לחלוטין, וכך למקסם את קצב העברת הנתונים, צריך להקצות את שכבת הביצועים באותו אזור AI שבו נמצאים משאבי המחשוב.

כדי לבצע אופטימיזציה של הביצועים של מערכות AI ו-ML באמצעות אזורי AI, מומלץ להשתמש בפתרונות האחסון הבאים:

שירות אחסון תיאור תרחישים לדוגמה
התכונה Anywhere Cache של Cloud Storage מטמון קריאה אזורי שמגובה ב-SSD ומנוהל במלואו, שמעביר נתונים שנקראים לעיתים קרובות מקטגוריה לאזור ה-AI. מומלץ ל:
  • עומסי עבודה עם הרבה פעולות קריאה
  • אימון מודלים ומילוי בקשות עם זמן אחזור נמוך
לא מומלץ לשימוש ב:
  • אפליקציות שנדרשת בהן תאימות מלאה ל-POSIX

הכללה או החרגה של אזורי AI

כדי לכלול או להחריג אזורים של AI באופן ידני מרשימת אזורים, משתמשים במסנן:

המאמרים הבאים