רשתות של אשכולות Managed Service for Apache Spark עם Private Service Connect

באמצעות Private Service Connect עם Managed Service for Apache Spark, אתם יכולים לחבר עומסי עבודה של אשכולות לממשקי Google API ולשירותים מנוהלים באמצעות כתובות IP פרטיות בתוך רשת הענן הווירטואלי הפרטי (VPC). הגישה הזו מאפשרת להעביר את תנועת הנתונים מחוץ לאינטרנט הציבורי, תוך אבטחת התקשורת עם נקודות קצה נתמכות.

אם עומסי העבודה שלכם דורשים גישה למקורות נתונים ברשתות VPC אחרות או בסביבות מקומיות, אתם יכולים לשלב את Private Service Connect עם קישור בין רשתות VPC שכנות (peering), עם Cloud VPN או עם Cloud Interconnect. כדי לבחור את הגדרת הרשת המתאימה לאשכולות Spark, חשוב להבין את ההבדלים בין Private Service Connect לבין גישה פרטית ל-Google ו-Cloud NAT.

בדף הזה מוסבר איך להגדיר את הקישוריות לרשת של אשכולות Managed Service for Apache Spark כשמשתמשים ב-Private Service Connect. במאמר מוסבר על האינטראקציה בין Private Service Connect לבין קישור בין רשתות VPC שכנות (peering) בתרחישים שונים של Managed Service for Apache Spark. בנוסף, הוא מסכם את הדמיון וההבדלים בין התכונות של גישה פרטית ל-Google, ‏Private Service Connect ו-Cloud NAT.

סקירה כללית

אשכולות של Managed Service for Apache Spark צריכים קישוריות רשת לממשקי API ולשירותים שלCloud de Confiance by S3NS , כמו Dataproc API,‏ Cloud Storage ו-Cloud Logging, ולמשאבים של המשתמשים, כמו מקורות נתונים ברשתות VPC אחרות או בסביבות מקומיות.

כברירת מחדל, אשכולות של Managed Service for Apache Spark שנוצרו עם גרסאות אימג' 2.2 ואילך נוצרים עם כתובות IP פנימיות בלבד. ‫Managed Service for Apache Spark מפעיל באופן אוטומטי את הגישה הפרטית ל-Google ברשת המשנה האזורית שמשמשת את האשכול עם כתובת ה-IP הפנימית בלבד, כדי לאפשר חיבורים ל-Google APIs ולשירותים של Google בלי להתחבר לאינטרנט הציבורי.

כדי לקבל שליטה מפורטת יותר ברשת, אתם יכולים להגדיר אשכול לשימוש ב-Private Service Connect, שמנתב את תעבורת הנתונים לממשקי Google APIs ולשירותים נתמכים של Google דרך נקודת קצה פרטית ברשת ה-VPC שלכם. האפשרות הזו יכולה להועיל מבחינת אבטחה ותאימות.

אפשרויות נפוצות לרשתות פרטיות

בקטע הזה מוסבר על התכונות של גישה פרטית ל-Google,‏ Private Service Connect ו-Cloud NAT, ועל ההבדלים ביניהן.

  • גישה פרטית ל-Google היא נתיב חד-כיווני שמאפשר למכונות וירטואליות להגיע לשירותים הציבוריים של Google בלי להשתמש באינטרנט. זה דומה ליציאה מיוחדת מהשכונה שלכם (רשת המשנה של ה-VPC) שמובילה ישירות לקניון של שירותי Google, בלי לעבור בכבישים ציבוריים. כל מי שגר בשכונה יכול להשתמש בו. ב-Managed Service for Apache Spark, הגישה הפרטית ל-Google מופעלת באופן אוטומטי ברשת המשנה האזורית שמשמשת את האשכולות של Managed Service for Apache Spark שנוצרו עם גרסת קובץ אימג' 2.2 ואילך.

  • ‫Private Service Connect יוצר נקודת קצה פרטית דו-כיוונית לשירות שנמצא ברשת ה-VPC שלכם. הוא דומה לנתיב פרטי ייעודי מהמיקום שלכם (רשת VPC) ישירות לשירות. יש לו כתובת במיקום שלכם (כתובת IP פנימית ברשת ה-VPC) ורק אתם יכולים להשתמש בו.

  • ‫Cloud NAT מאפשר למכונות וירטואליות עם כתובות IP פרטיות לגשת לאינטרנט.

תכונות והבדלים

תכונה גישה פרטית ל-Google‏ (PGA) ‫Private Service Connect ‏ (PSC)
איך זה עובד מפנה תנועה ממכונה וירטואלית לטווח מיוחד של כתובות IP של Google‏ (private.googleapis.com). יוצר כלל העברה (נקודת קצה) בתוך רשת ה-VPC שמייצג את שירות Google.
כתובת IP המכונה הווירטואלית מתחברת לכתובת IP שבבעלות Google. המכונה הווירטואלית מתחברת לכתובת IP פנימית שבבעלותכם ברשת ה-VPC.
כיוון תקשורת יוצאת בלבד: המכונה הווירטואלית יוצרת חיבור ל-Google. דו-כיווני: ה-VM מתחבר לשירות, והשירות יכול ליזום תנועה חוזרת.
היקף מופעלת או מושבתת ברשת משנה שלמה. פריסה כמשאב ספציפי של נקודת קצה.
שירותים מתחבר רק לממשקי Google API, כמו Cloud Storage, ‏BigQuery או Dataproc API. מתחבר לממשקי API של Google, לשירותים של חברות אחרות ולשירותים שלכם.

ב-Managed Service for Apache Spark, גישה פרטית ל-Google היא השיטה הפשוטה והנפוצה ביותר שמאפשרת למכונות הווירטואליות באשכול ליצור קשר עם מישור הבקרה של Managed Service for Apache Spark. ‫Private Service Connect היא גישה חדשה וגמישה יותר שמאפשרת לכם שליטה מדויקת, במיוחד ברשתות מורכבות או עם כמה דיירים.

למה כדאי להשתמש ב-Private Service Connect? גם אם לאשכול Managed Service for Apache Spark יש כתובות IP פנימיות בלבד עם גישה פרטית ל-Google (הגדרת ברירת המחדל לאשכולות של גרסת אימג' 2.2+), ל-Private Service Connect יש את היתרונות הבאים:

  • במקום להשתמש בקבוצה המשותפת של נקודות הקצה (endpoints) של גישה פרטית ל-Google כדי להתחבר ל-Google APIs ולשירותים של Google, אתם יכולים להשתמש ב-Private Service Connect כדי ליצור נקודת קצה פרטית עם כתובת IP פנימית ברשת ה-VPC, שממופה ישירות לשירות ספציפי של Google.

  • אתם יכולים ליצור כללים של חומת אש שמאפשרים תנועה רק לכתובת ה-IP של נקודת הקצה של Private Service Connect. לדוגמה, אתם יכולים להגדיר כלל שמאפשר תנועה יוצאת מהמכונות הווירטואליות של אשכול Managed Service for Apache Spark רק לכתובת ה-IP הפנימית של נקודת הקצה של Private Service Connect ל-BigQuery, ודוחה את כל שאר התנועה היוצאת. הגישה הזו מאובטחת יותר מאשר יצירת כללים רחבים יותר של חומת אש באמצעות גישה פרטית ל-Google.

  • כשמשתמשים בנקודת הקצה של Private Service Connect ברשת ה-VPC, נתיב הרשת מפורש וקל יותר לבדוק אותו לצורכי אבטחה ותאימות, כי תנועה לשירות כמו Cloud Storage לא חולקת נתיב עם תנועת API אחרת.

נתיבים פרטיים וציבוריים

גישה פרטית ל-Google, ‏Private Service Connect ו-Cloud NAT מאפשרים למארחים עם כתובות RFC 1918 להגיע לשירותיCloud de Confiance by S3NS . הם גם מאפשרים למשאבים של Cloud de Confiance by S3NS עם כתובות RFC 1918 פרטיות ליצור חיבורים לשירותי Cloud de Confiance by S3NS .

כשבוחנים אפשרויות חיבור שונות, חשוב להבחין אם תעבורת הנתונים בחיבור נשארת פרטית או עוברת דרך האינטרנט הציבורי.

  • גישה פרטית ל-Google ו-Private Service Connect שומרים על תעבורת הנתונים בתוך הרשת הפרטית של Google. הנתונים לא עוברים דרך האינטרנט הציבורי כדי להגיע לשירותי Cloud de Confiance by S3NS , וזה אידיאלי לאבטחה ולביצועים צפויים.

  • כדי להגיע לשירות Cloud de Confiance by S3NS , Cloud NAT מתחבר לנקודת קצה ציבורית של השירות. תעבורת הנתונים יוצאת מרשת ה-VPC דרך שער ה-NAT ועוברת דרך האינטרנט.

איך כל אפשרות פועלת

פירוט של כל מנגנון חיבור:

‏Method הנתיב לשירות נקודת הקצה של היעד תרחיש ראשי לדוגמה
גישה פרטית ל-Google הרשת הפרטית של Google כתובות IP מיוחדות של Google‏ (private.googleapis.com) גישה פשוטה ברמת רשת המשנה למכונות וירטואליות, כדי להגיע לממשקי Google API באופן פרטי.
התחברות לשירות פרטי הרשת הפרטית של Google נקודת קצה (endpoint) של כתובת IP פרטית בתוך רשת ה-VPC גישה פרטנית ומאובטחת לממשקי API של Google, לצדדים שלישיים או לשירותים שלכם.
Cloud NAT אינטרנט ציבורי כתובת ה-IP הציבורית של השירות גישה יוצאת לאינטרנט למטרות כלליות למכונות וירטואליות עם כתובות IP פרטיות.

הגדרת Private Service Connect

כדי להשתמש ב-Private Service Connect עם אשכול Managed Service for Apache Spark, צריך להגדיר את נקודות הקצה של Private Service Connect ואת ה-DNS ברשת ה-VPC לכל ממשקי ה-Google API שבהם Managed Service for Apache Spark תלוי. הוראות להגדרת רשת המשנה וה-DNS מפורטות במאמר מידע על גישה ל-Google APIs דרך נקודות קצה.

הפעלת קישור בין רשתות שכנות (peering) במקרה הצורך

למרות ש-Private Service Connect מספק גישה פרטית להרבה שירותים של Google, יכול להיות שתצטרכו להפעיל גם קישור בין רשתות VPC שכנות (peering), במיוחד בתרחישים הבאים:

  • רשתות VPC אחרות: Private Service Connect מתחבר לשירותים שמנוהלים על ידי Google, ולא ישירות לרשתות VPC של לקוחות אחרים. אם מקורות הנתונים, האפליקציות בהתאמה אישית או שירותים אחרים נמצאים ברשת VPC שונה מהאשכול של Managed Service for Apache Spark, בדרך כלל נדרש קישור בין רשתות VPC שכנות (peering) כדי לאפשר תקשורת פרטית בין הרשתות האלה.

  • רשתות מקומיות: אם אשכול Managed Service for Apache Spark ניגש לנתונים או לשירותים בסביבה המקומית, תצטרכו חיבור של Cloud VPN או Cloud Interconnect לרשת המקומית, בדרך כלל בשילוב עם קישור VPC לרשתות שכנות (peering).

  • תקשורת פנימית מקיפה לשירותי Google: למרות ש-Private Service Connect מספק גישה פרטית לשירותי Google שהוגדרו, כמו Cloud Storage ו-BigQuery, יכול להיות שתצטרכו להשתמש ב-VPC Peering לרשת עם נגישות רחבה לשירותי Google כדי לגשת לתשתית הבסיסית של Google או לממשקי Google API אחרים, בשביל תקשורת פנימית של מישור הבקרה או תכונות ספציפיות של Managed Service for Apache Spark.

  • גישה למקורות נתונים ברשתות VPC אחרות: אם המשימות של Managed Service for Apache Spark קוראות ממקורות נתונים או כותבות למקורות נתונים, כמו Cloud SQL, מסדי נתונים בניהול עצמי ואפליקציות בהתאמה אישית, שנמצאים ברשת VPC אחרת, צריך ליצור קישור VPC בין רשת ה-VPC של אשכול Managed Service for Apache Spark לבין רשת ה-VPC שמכילה את מקורות הנתונים האלה. ‫Private Service Connect לא מספק תקשורת בין רשתות VPC שנמצאות בבעלות הלקוח.

  • קישוריות היברידית: בפריסות של ענן היברידי שבהן אשכולות של Managed Service for Apache Spark צריכים לתקשר עם משאבים במרכז נתונים מקומי, חובה להשתמש בקישור VPC כדי לחבר את הרשת המקומית לרשת ה-VPC ב- Cloud de Confiance באמצעות Cloud VPN או Cloud Interconnect.

פתרון בעיות ב-Private Service Connect

אם לא הצלחתם ליצור אשכול Managed Service for Apache Spark עם Private Service Connect (בלי קישור לרשתות שכנות ב-VPC), או אם יש בעיות בקישוריות, אתם יכולים לנסות את השלבים הבאים כדי לפתור את הבעיה:

  • מאשרים את הגישה הנדרשת ל-API:

    • מוודאים שכל ממשקי ה-API הנדרשים של Google מופעלים בפרויקט ב- Cloud de Confiance .

  • אימות ההגדרה של נקודת הקצה של Private Service Connect:

    • מוודאים שנקודת הקצה של Private Service Connect מוגדרת בצורה נכונה לכל ממשקי ה-Google API שהאשכול דורש, כמו dataproc.googleapis.com,‏ storage.googleapis.com,‏ logging.googleapis.com,‏ bigquery.googleapis.com ו-compute.googleapis.com.

    • כדי לוודא שרשומות ה-DNS של השירותים הנדרשים מתורגמות בצורה נכונה לכתובות ה-IP הפרטיות ברשת ה-VPC באמצעות נקודת הקצה של Private Service Connect, משתמשים בכלים כמו dig או nslookup ממכונה וירטואלית ברשת המשנה של ה-VPC.

  • בדיקת הכללים של חומת האש:

    • מוודאים שהכללים של חומת האש ברשת ה-VPC מאפשרים חיבורים יוצאים ממכונות של אשכולות Managed Service for Apache Spark לנקודות קצה של Private Service Connect.

    • אם משתמשים ב-VPC משותף, חשוב לוודא שכללי חומת האש המתאימים מוגדרים בפרויקט המארח.

  • בודקים את יומני האשכולות של Managed Service for Apache Spark:

    • בודקים ביומני הרישום של יצירת האשכולות ב-Logging אם יש שגיאות שקשורות לרשת, כמו connection refused, timeout או unreachable host. השגיאות האלה יכולות להצביע על מסלול חסר או על כלל שגוי בחומת האש. בודקים את יומני הקונסולה הטורית של המכונות באשכול.

  • הערכת הצורך בקישור בין רשתות VPC שכנות (peering):

    • בהתאם ליחסי התלות של עומסי העבודה, אם אשכול Managed Service for Apache Spark דורש קישוריות למשאבים שלא מנוהלים על ידי Google, כמו מסדי נתונים ברשת VPC נפרדת ושרתים מקומיים, צריך להגדיר קישור VPC.

    • בודקים את דרישות הרשת של השירותים שמתקשרים עם האשכול של Managed Service for Apache Spark.Cloud de Confiance יכול להיות שלשירותים מסוימים יהיו דרישות ספציפיות לגבי קישור בין רשתות שכנות (peering), גם כשמשתמשים ב-Private Service Connect.

שיטות מומלצות

  • תכנון מקיף של ארכיטקטורת הרשת: לפני שפורסים את Managed Service for Apache Spark עם Private Service Connect, חשוב לתכנן בקפידה את ארכיטקטורת הרשת, תוך התחשבות בכל יחסי התלות המשתמעים והמפורשים ובנתיבי זרימת הנתונים. זה כולל זיהוי של כל ממשקי ה-API של Google שאשכול Managed Service for Apache Spark יוצר איתם אינטראקציה במהלך ההקצאה וההפעלה.

  • בדיקת הקישוריות: בשלבי הפיתוח וה-staging, בודקים ביסודיות את הקישוריות לרשת מאשכול Managed Service for Apache Spark לכל השירותים ומקורות הנתונים הנדרשים.

  • שימוש ב-Network Intelligence Center: אפשר להשתמש בכלים של Cloud de Confiance Network Intelligence Center, כמו בדיקות קישוריות, כדי לאבחן ולפתור בעיות בחיבור לרשת.

המאמרים הבאים