אזורי AI

אזורי AI הם אזורים ייעודיים שמשמשים לעומסי עבודה של אימון והסקת מסקנות של בינה מלאכותית ולמידת מכונה (AI ו-ML). הם מספקים קיבולת משמעותית של מאיצי למידת מכונה (GPU ו-TPU).

בתוך אזור, אזורי ה-AI ממוקמים גיאוגרפית הרחק מאזורים רגילים (ללא AI). באיור הבא מוצגת דוגמה לאזור AI‏ (us-south1-ai1b) שנמצא רחוק יותר מהאזורים הרגילים באזור us-south1.

אזור ההורים

כל אזור AI משויך לאזור רגיל באותו מיקום, שנקרא אזור ההורה. אזור הורה הוא אזור רגיל עם אותה סיומת כמו של אזור ה-AI. לדוגמה, בתרשים, us-central1-a הוא אזור ההורה של us-central1-ai1a. הם משתפים לוחות זמנים לעדכוני תוכנה ולפעמים גם תשתית. כלומר, כל בעיה בתוכנה או בתשתית שמשפיעה על אזור ההורה יכולה להשפיע גם על אזור ה-AI. כשמתכננים פתרונות לזמינות גבוהה, כדאי לעיין בשיקולים לזמינות גבוהה (HA) כדי להביא בחשבון את התלות באזור ההורה.

מתי כדאי להשתמש באזורי AI

אזורי AI מותאמים לעומסי עבודה של AI ו-ML. אתם יכולים להיעזר בהנחיות הבאות כדי להחליט אילו עומסי עבודה מתאימים לאזורי AI ואילו מתאימים לאזורים רגילים.

מומלץ:

  • אימון בקנה מידה גדול: אידיאלי לעומסי עבודה של אימון בקנה מידה גדול, כמו אימון של מודל שפה גדול (LLM) ומודל בסיסי, בגלל הזמינות של מספר גדול של מאיצים.

  • אימון בקנה מידה קטן, כוונון, הסקת מסקנות בכמות גדולה ואימון מחדש: אזורי AI מתאימים לעומסי עבודה שדורשים קיבולת משמעותית של מאיצים.

  • הסקת מסקנות מבוססת-ML בזמן אמת: אזורי AI תומכים בעומסי עבודה של הסקת מסקנות בזמן אמת. הביצועים תלויים בדרישות של עיצוב האפליקציה וזמן האחזור של המודל, במיוחד אם עומס העבודה דורש בקשות הלוך ושוב לאזור ההורה.

לא מומלץ:

  • עומסי עבודה שלא קשורים ל-ML: באזורי AI אין את כל שירותי Cloud de Confiance by S3NS באופן מקומי, לכן מומלץ להריץ את עומסי העבודה שלא קשורים ל-ML באזורים הרגילים.

גישה לשירותים מאזור AI

אפשר לגשת לכל מוצרי Cloud de Confiance by S3NS באזור מסוים דרך אזור ה-AI שלו ב- Cloud de Confiance by S3NS . עם זאת, גישה לשירותים ב Cloud de Confiance by S3NS אזור מאזור AI יכולה להוסיף זמן אחזור ברשת, כי אזור ה-AI מופרד פיזית מהמיקומים של האזורים הרגילים של האזור.

כדי לראות את אזורי ה-AI במסוף, ב-Google Cloud CLI וב-API בארכיטקטורת REST, צריך להפעיל את החשיפה של אזורי ה-AI בפרויקט. Cloud de Confiance ההרשאות לצפייה באזורי AI נפרדות מבקרת הגישה ומהגבולות של שירות מדיניות הארגון. מידע נוסף על ניהול החשיפה של אזור ה-AI

מוצרים ספציפיים תומכים ביצירה של משאבים של תחום מוגדר או בגישה אליהם באופן מקומי באזור AI. מידע נוסף על השירותים האלה מופיע בטבלה הבאה:

מוצר תיאור
Google Kubernetes Engine (GKE)‎ הגדרה לשימוש באזורי AI באשכולות GKE, כולל הגדרה באמצעות ComputeClasses, הקצאת צמתים אוטומטית (NAP) ומאגרי צמתים של GKE Standard.

שימוש באזורי AI ב-GKE
Cloud Storage הגדרת מאגר אובייקטים לעומסי עבודה באזורי AI, כולל אחסון אזורי כדי למקסם את הביצועים במהלך משימות פעילות ואחסון מתמיד לקבוצות נתונים ולנקודות ביקורת של מודלים.

שימוש באזורי AI עם Cloud Storage
Compute Engine שיטות לזיהוי אזורי AI זמינים באמצעות המסוף, Google Cloud CLI ו-API בארכיטקטורת REST, כולל איך לסנן לפי מוסכמות למתן שמות, סוג המאיץ או המכונה

חיפוש אזורי AI זמינים
Google Cloud Managed Lustre אופטימיזציה של הביצועים של עומסי עבודה של AI ו-ML שנפרסו ב-GKE Standard

אופטימיזציה של עומסי עבודה של AI ו-ML באמצעות Google Cloud Managed Lustre

מיקומים

אזורי AI זמינים במיקומים הבאים:

אזור ה-AI מיקום אזור ה-AI Cloud de Confiance by S3NS אזור מיקום באזורCloud de Confiance by S3NS אזור הורה
europe-west4-ai1a דה קוי, הולנד, אירופה europe-west4 איימסהאבן, הולנד, אירופה europe-west4-a
us-south1-ai1b אוסטין, טקסס, צפון אמריקה us-south1 דאלאס, טקסס, צפון אמריקה us-south1-b
us-central1-ai1a לינקולן, נברסקה, צפון אמריקה us-central1 קאונסיל בלאפס, איווה, צפון אמריקה us-central1-a

כדי לבדוק אילו סוגי GPU ו-TPU זמינים באזורי AI, עיינו במאמרים הבאים:

פריסת משאבים באזורי AI

אפשר לגשת לאזורי AI דרך מסוף Cloud de Confiance , Google Cloud CLI או REST. עם זאת, כשמשתמשים במסוף Cloud de Confiance כדי ליצור את המכונות הווירטואליות, צריך לבחור ידנית אזור AI. הוא לא נבחר בשבילכם, כמו באזורים רגילים. כדי להשתמש באזורי AI עם התכונות הבאות, צריך לבחור במפורש אזור AI כשמגדירים את המשאבים האלה.

  • תכונות מסוימות של Compute Engine: אזורי AI לא נבחרים באופן אוטומטי בתכונות אזוריות מסוימות של Compute Engine, כמו פעולות אזוריות של הוספה בכמות גדולה או קבוצות מופעי מכונה מנוהלים (MIG).

    • הוספה בכמות גדולה: כדי לכלול אזורי AI בפעולות הוספה בכמות גדולה, צריך להשתמש בשדה locationPolicy.zones[]. השדה locations[] לא תומך באזורי AI. בדוגמה הבאה מוצג הפורמט הזה לאזור us-south1-ai1b:

      {
  "locationPolicy": {
    "zones": [
      "zones/us-south1-ai1b"
    ]
  }
}

    • קבוצות MIG אזוריות: כדי ליצור מכונות באזור AI באזור שנבחר, צריך לציין אותו במפורש במדיניות ההפצה (distributionPolicy.zones[]) יחד עם האזורים המועדפים האחרים. בדוגמה הבאה מוצג הפורמט הזה לאזור us-south1-ai1b:

      {
  "distributionPolicy": {
    "zones": [
      "zones/us-south1-a",
      "zones/us-south1-b",
      "zones/us-south1-ai1b"
    ]
  }
}

  • תכונות מסוימות של GKE: אזורי AI לא נבחרים באופן אוטומטי בתכונות אזוריות מסוימות של GKE, כמו אשכולות אזוריים של GKE. לפרטים נוספים על GKE, קראו את הקטע שימוש באזורי AI ב-GKE במסמך הזה.

  • ‫Vertex AI: במוצרים אזוריים של Vertex AI שמבוססים על GKE, צריך להגדיר את GKE כך שיכלול אזורי AI באשכולות אזוריים. אין צורך להביע הסכמה לשימוש ב-Vertex AI. ההגדרה הזו מנוהלת על ידי Vertex AI.

  • ‫Cloud de Confiance by S3NS Service Metadata Locations API: כשמשתמשים ב-locations.list API, צריך להפעיל את הדגל --extraLocationTypes כדי לוודא שאזורי ה-AI יופיעו רק למי שמתכוון להשתמש בהם.

  • הגבלות על עומסי עבודה ללא מאיצים: ב-Compute Engine יש הגבלה על יצירת מכונות וירטואליות עם מעבד (CPU) בלבד באזורי AI.

שימוש באזורי AI ב-GKE

כברירת מחדל, GKE לא פורס את עומסי העבודה באזורי AI. כדי להשתמש באזור AI, צריך להגדיר אחת מהאפשרויות הבאות:

  • ‫ComputeClasses: הגדרת העדיפות הגבוהה ביותר לבקשת יחידות TPU על פי דרישה באזור AI. בעזרת ComputeClasses אתם יכולים להגדיר רשימה של הגדרות חומרה לעומסי העבודה שלכם, לפי סדר עדיפויות. לדוגמה, ראו מידע על ComputeClasses.

  • הקצאת צמתים אוטומטית (NAP): משתמשים ב-nodeSelector או ב-nodeAffinity במפרט ה-Pod כדי להורות ל-NAP ליצור מאגר צמתים באזור ה-AI. אם עומס העבודה לא מטרגט באופן מפורש אזור AI, הקצאת צמתים אוטומטית מתייחסת רק לאזורים רגילים כשנוצרים מאגרי צמתים חדשים. ההגדרה הזו מבטיחה שעומסי עבודה שלא מריצים מודלים של AI או למידת מכונה יישארו באזורים רגילים, אלא אם תגדירו אחרת באופן מפורש. דוגמה למניפסט שמשתמש ב-nodeSelector מופיעה במאמר הגדרת אזורי ברירת המחדל לצמתים שנוצרו באופן אוטומטי.

  • ‫GKE Standard: אם אתם מנהלים ישירות את מאגרי הצמתים, השתמשו באזור AI בדגל --node-locations כשאתם יוצרים מאגר צמתים. לדוגמה, קראו את המאמר פריסת עומסי עבודה של TPU ב-GKE Standard.

מגבלות

התכונות הבאות לא זמינות באזורי AI:

שיקולים בתכנון אזורי AI

כשאתם מתכננים את האפליקציות שלכם לשימוש באזורי AI, כדאי להביא בחשבון את הנקודות הבאות.

שיקולים בנוגע לזמינות גבוהה (HA)

אזורי AI חולקים השקות תוכנה ותשתית עם אזורי ההורה שלהם. כדי להבטיח זמינות גבוהה של עומסי העבודה, כשבוחרים אזורים באופן אוטומטי או ידני, כדאי להימנע מדפוסי הפריסה הבאים:

  • אל תפרסו עומסי עבודה של זמינות גבוהה באזור AI ובאזור ההורה שלו.

  • אל תפרסו עומסי עבודה של זמינות גבוהה בשני אזורי AI שחולקים את אותו אזור הורה.

שיטות מומלצות לאחסון

כדי לאזן בין עלות, עמידות וביצועים, מומלץ להשתמש בארכיטקטורת אחסון מדורגת:

  1. שכבת אחסון נתונים בשימוש נדיר (cold storage): שימוש בקטגוריות של Cloud Storage אזוריות באזורים רגילים לאחסון עמיד ומתמשך של מערכי נתונים לאימון ונקודות ביקורת של מודלים.

  2. שכבת ביצועים: שימוש בשירותי אחסון ייעודיים לאזור כדי שישמשו כמטמון במהירות גבוהה או כשטח זמני לטיוטה. הגישה הזו מבטלת את זמן האחזור בין האזורים וממקסמת את התפוקה במהלך משימות פעילות.

    כדי לוודא שה-GPU וה-TPU מנוצלים באופן מלא, וכדי למקסם את התפוקה, הקצו את שכבת הביצועים באותו אזור AI שבו נמצאים משאבי המחשוב.

כדי לשפר את הביצועים של מערכות AI ו-ML באמצעות אזורי AI, מומלץ להשתמש בפתרונות האחסון הבאים:

שירות אחסון תיאור תרחישים לדוגמה
התכונה Anywhere Cache ב-Cloud Storage מטמון קריאה מנוהל לחלוטין, מבוסס-SSD, שמביא נתונים שנקראים לעיתים קרובות מקטגוריה לאזור ה-AI. מומלץ עבור:
  • עומסי עבודה שכוללים הרבה קריאה
  • אימון מודלים ומילוי בקשות בזמן אחזור קצר
לא מומלץ:
  • אפליקציות שדורשות תאימות מלאה ל-POSIX

הכללה או החרגה של אזורי AI

כדי לכלול או להחריג אזורי AI באופן ידני מרשימת אזורים, משתמשים במסנן:

המאמרים הבאים