הגדרת חיבורים עם קבצים מצורפים לרשת

‫BigQuery תומך בשאילתות מאוחדות שמאפשרות לשלוח הצהרת שאילתה למסדי נתונים חיצוניים ולקבל את התוצאה כטבלה זמנית. שאילתות מאוחדות משתמשות ב-BigQuery Connection API כדי ליצור חיבור. במסמך הזה מוסבר איך לשפר את האבטחה של החיבור הזה.

החיבור מתבצע ישירות למסד הנתונים, ולכן צריך לאפשר תנועה מ- Cloud de Confiance by S3NS למנוע מסד הנתונים. כדי לשפר את האבטחה, כדאי לאפשר רק תנועה שמגיעה מהשאילתות שלכם ב-BigQuery. אפשר להגביל את התנועה בשתי דרכים:

  • מגדירים כתובת IP סטטית שמשמשת לחיבור BigQuery ומוסיפים אותה לכללי חומת האש של מקור הנתונים החיצוני.
  • על ידי יצירת VPN בין BigQuery לבין התשתית הפנימית שלכם, ושימוש בו להרצת השאילתות.

שתי הטכניקות האלה נתמכות באמצעות קבצים מצורפים לרשת.

לפני שמתחילים

להקצות תפקידים של ניהול זהויות והרשאות גישה (IAM) שנותנים למשתמשים את ההרשאות הדרושות לביצוע כל משימה במסמך הזה.

התפקידים הנדרשים

כדי לקבל את ההרשאות שנדרשות להגדרת חיבור עם קבצים מצורפים לרשת, צריך לבקש מהאדמין להקצות לכם ב-IAM את התפקיד אדמין של Compute (roles/compute.admin) בפרויקט. כדי לקרוא הסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

זהו תפקיד מוגדר מראש עם ההרשאות שנדרשות להגדרת חיבור עם קבצים מצורפים לרשת. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:

ההרשאות הנדרשות

כדי להגדיר חיבור עם קבצים מצורפים לרשת, נדרשות ההרשאות הבאות:

  • compute.networkAttachments.get
  • compute.networkAttachments.update

יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

מידע נוסף על תפקידים והרשאות של IAM ב-BigQuery זמין במאמר תפקידים והרשאות של IAM ב-BigQuery.

מגבלות

החיבורים עם קבצים מצורפים מהרשת כפופים למגבלות הבאות:

  • קבצים מצורפים לרשת נתמכים רק בחיבורים ל-SAP Datasphere.
  • באזורים רגילים, צירופי הרשת צריכים להיות באותו אזור כמו החיבור. לחיבורים באזור US שכולל מספר אזורים, רכיב NetworkAttachment צריך להיות ממוקם באזור us-central1. לחיבורים באזור EU שכולל מספר אזורים, קובץ הרשת המצורף צריך להיות ממוקם באזור europe-west4.
  • אחרי שיוצרים את הקובץ המצורף לרשת, אי אפשר לבצע בו שינויים. כדי להגדיר משהו בצורה חדשה, צריך ליצור מחדש את קובץ ה-NetworkAttachment.
  • אי אפשר למחוק קבצים מצורפים לרשת אלא אם היצרן (BigQuery) מוחק את המשאבים שהוקצו. כדי להתחיל את תהליך המחיקה, צריך לפנות לתמיכה של BigQuery.

יצירת צירוף רשת

כשיוצרים חיבור לאיחוד שאילתות, אפשר להשתמש בפרמטר האופציונלי network attachment, שמצביע על קובץ מצורף לרשת שמספק קישוריות לרשת שממנה נוצר החיבור למסד הנתונים. אפשר ליצור חיבור לרשת על ידי הגדרת כתובת IP סטטית או יצירת VPN. לכל אחת מהאפשרויות, מבצעים את הפעולות הבאות:

  1. אם עדיין אין לכם רשת VPC, צריך ליצור רשת VPC ותת-רשת.

  2. אם רוצים ליצור חיבור לרשת על ידי הגדרת כתובת IP סטטית, צריך ליצור שער Cloud NAT עם כתובת IP סטטית באמצעות הרשת, האזור ורשת המשנה שיצרתם. אם רוצים ליצור קובץ מצורף לרשת על ידי יצירת VPN, צריך ליצור VPN שמחובר לרשת הפרטית.

  3. יוצרים קובץ מצורף לרשת באמצעות הרשת, האזור ותת-הרשת שיצרתם.

  4. אופציונלי: בהתאם למדיניות האבטחה של הארגון, יכול להיות שתצטרכו להגדיר את חומת האש Cloud de Confiance כדי לאפשר תעבורת נתונים יוצאת. לשם כך, צריך ליצור כלל חומת אש עם ההגדרות הבאות:

    • מגדירים את היעדים לכל המופעים ברשת.
    • מגדירים את טווח כתובות IPv4 של היעד לטווח כתובות ה-IP המלא.
    • מגדירים את Specified protocols and ports (פרוטוקולים ויציאות שצוינו) ליציאה שבה נעשה שימוש במסד הנתונים.

  5. מגדירים את חומת האש הפנימית כך שתאפשר תעבורת נתונים נכנסת מכתובת ה-IP הסטטית שיצרתם. התהליך הזה משתנה בהתאם למקור הנתונים.

  6. יוצרים חיבור וכוללים את השם של קובץ הרשת המצורף שיצרתם.

  7. מריצים שאילתה לכמה מסדי נתונים כדי לסנכרן את הפרויקט עם צירוף הרשת.

החיבור שלכם מוגדר עכשיו עם צירוף לרשת, ואתם יכולים להריץ שאילתות מאוחדות.

תמחור

המאמרים הבאים