ניהול יחסי תלות ב-BigQuery API

כדי לנהל את ההתנהגות של BigQuery, חשוב להבין איך כל API משפיע על התכונות Cloud de Confiance by S3NS שמסתמכות על ממשקי ה-API האלה. חלק משירותי ה-API מופעלים כברירת מחדל בכל פרויקט שיוצרים, ואחרים מופעלים באופן אוטומטי בכל הפרויקטים שמשתמשים ב-BigQuery. Cloud de Confiance Cloud de Confiance כדי להשתמש בפונקציונליות של שירותי ה-API הנותרים, צריך להפעיל אותם באופן מפורש.

השבתה שגויה של תלות עלולה להשפיע על הפונקציונליות של BigQuery. חשוב להבין את התלות הזו כדי לקבל החלטות מושכלות כשמפעילים או משביתים שירותים בפרויקט Cloud de Confiance .

שירותים שמופעלים כברירת מחדל

השירותים הבאים מופעלים כברירת מחדל בכל פרויקט חדש שלCloud de Confiance :

Service אילו תכונות מסתמכות על הגישה הזו ההשלכות של השבתת השירות הזה
analyticshub.googleapis.com
  • אתם לא יכולים ליצור או לנהל חילופי נתונים, כרטיסי מוצר, מרכזי ניקוי נתונים או מינויים.
  • אי אפשר לחפש ולבדוק בורסות או מלאי שטחי פרסום שספקים אחרים יוצרים.
  • המינויים שנוצרו נשמרים אבל אי אפשר לגשת אליהם.
  • אפשר לגשת למערכי נתונים מקושרים כל עוד BigQuery API מופעל.
  • אי אפשר ליצור מינויים חדשים
bigqueryconnection.googleapis.com
  • אין לכם אפשרות לנהל חיבורים חיצוניים.
  • אי אפשר ליצור מודלים מרוחקים.
  • אי אפשר ליצור פונקציות מרוחקות.
  • אי אפשר לשלוח שאילתות לטבלאות BigLake ולטבלאות אובייקטים.
bigquerymigration.googleapis.com
  • אי אפשר ליצור משימות או הערכות להעברה.
  • אי אפשר לגשת למשימות או למבחנים קיימים.

הערה: בדרך כלל אפשר להשבית את השירות הזה אחרי השלמת העברת הנתונים.
bigquerydatapolicy.googleapis.com
  • אין לכם אפשרות לנהל את מדיניות מיסוך הנתונים.
  • מדיניות של ביצוע אנונימיזציה של נתונים לא נמחקת, אבל שאילתות לטבלאות שמוחלת עליהן אנונימיזציה של נתונים נכשלות.
bigquerydatatransfer.googleapis.com
  • אי אפשר לנהל את העברות הנתונים המתוזמנות.
  • העברות הנתונים הקיימות יופסקו.
bigqueryreservation.googleapis.com
  • אין לכם אפשרות ליצור או לנהל התחייבויות לקיבולת, הזמנות או הקצאות.
  • אי אפשר לעקוב אחרי השימוש במקומות.
  • המעבר לגיבוי במקרה של כשל לא זמין.
  • ההתאמה האוטומטית לעומס של יחידות הקיבולת תפסיק.
bigquerystorage.googleapis.com
dataform.googleapis.com
  • אי אפשר ליצור צינורות, שאילתות שמורות, מחברות Colab, לוחות נתונים, הכנות נתונים או פרויקטים של Dataform.
  • צינורות מתוזמנים, מחברות או פרויקטים של Dataform קיימים מפסיקים לפעול.
  • לא תהיה יותר גישה לצינורות קיימים, לשאילתות שמורות, למחברות Colab, ללוחות נתונים, להכנות נתונים או לפרויקטים של Dataform.
dataplex.googleapis.com
  • אי אפשר לחפש נכסי נתונים ב-BigQuery.
  • אי אפשר לשתף חיפושים של כרטיסי מוצר.
  • לא תוכלו ליצור תובנות חדשות לגבי פרופילים או לגשת לתובנות שנוצרו בעבר, לסריקות של איכות הנתונים או להצעות לשאילתות.
  • אי אפשר לראות את פרטי נכסי הנתונים בתרשים ההשתלשלות.
  • אי אפשר לחפש נכסי נתונים בקנבס הנתונים.

ההשפעה של השבתת BigQuery API

השבתה של BigQuery API משביתה גם את השירותים הבאים שתלויים ב-BigQuery API:

  • binaryauthorization.googleapis.com
  • container.googleapis.com
  • cloudapis.googleapis.com
  • dataprep.googleapis.com
  • servicebroker.googleapis.com
  • telecomdatafabric.googleapis.com

שירותים שמופעלים על ידי BigQuery Unified API

‫BigQuery Unified API‏ (bigqueryunified.googleapis.com) כולל אוסף של שירותים שנדרשים כדי שפונקציות שונות של BigQuery יפעלו. אם מפעילים את BigQuery Unified API, כל השירותים האלה מופעלים בו-זמנית. ‫Google יכולה לעדכן את השירותים באוסף הזה, והשירותים האלה מופעלים באופן אוטומטי בפרויקטים שבהם ה-API הזה מופעל. אפשר להשבית שירותים וממשקי API ספציפיים.

הוראות להפעלת bigqueryunified.googleapis.com מופיעות במאמר הפעלה והשבתה של שירותים.

Service אילו תכונות מסתמכות על הגישה הזו ההשלכות של השבתת השירות הזה
aiplatform.googleapis.com
  • לא תהיה לכם אפשרות להפעיל את המחברות.
  • מודלים קיימים של למידת מכונה מרחוק ב-BigQuery מפסיקים לפעול.
  • עדיין תהיה לכם גישה למחברות הקיימות כדי לערוך אותן.
bigqueryunified.googleapis.com
  • הפעלת שירותים שתלויים ב-BigQuery בלחיצה אחת, למעט ממשקי ה-API של cloudaicompanion, ‏ composer ו-datalineage.
  • מוודא שהתלות החדשה ב-BigQuery מופעלת בפרויקט.
  • תלויות עתידיות לא מופעלות באופן אוטומטי בפרויקט.
compute.googleapis.com
  • ‫Google Compute Engine מספק סביבת זמן ריצה לכל התכונות שמסופקות על ידי Managed Service for Apache Spark ו-Gemini Enterprise Agent Platform.
  • קובצי notebook של Colab, מודלים מרוחקים של ML, משימות Apache Spark,‏ SparkSQL ו-PySpark מפסיקות.
  • קוד המקור ממשיך להיות זמין.
  • ‫Dataproc API מושבת.
dataproc.googleapis.com
  • אי אפשר ליצור אשכולות של Managed Service for Apache Spark כדי להפעיל ניתוח נתונים בקוד פתוח.
  • אי אפשר להפעיל עומסי עבודה של Managed Service for Apache Spark.
  • אי אפשר להריץ Spark בעומסי עבודה ב-BigQuery.
datastream.googleapis.com
  • כל מקורות הנתונים מושהים ואין אליהם גישה.

שירותים שמושבתים כברירת מחדל

כדי שהיכולות המתאימות יהיו זמינות, צריך להפעיל ידנית את השירותים הבאים:

Service אילו תכונות מסתמכות על הגישה הזו ההשלכות של השבתת השירות הזה
cloudaicompanion.googleapis.com
  • התכונות של Gemini ב-BigQuery
composer.googleapis.com
  • קובצי DAG קיימים של Managed Service for Apache Airflow לא מופיעים בדף Scheduling (תזמון) ומפסיקים לפעול.
  • סביבות קיימות של Managed Airflow יפסיקו לפעול ויחזירו מצב שגיאה.
datalineage.googleapis.com
  • השיוך של מקורות הנתונים לא נשמר בפרויקט.
  • אי אפשר לראות את תרשים השושלת.

הפעלה ידנית של נכסי קוד ב-BigQuery

כדי לנהל נכסי קוד ב-BigQuery, כמו מחברות ושאילתות שמורות, צריך להפעיל את ממשקי ה-API הבאים:

  • ‫Compute Engine API
  • ‫Dataform API
  • ‫Vertex AI API

לפני מרץ 2024, ממשקי ה-API האלה לא הופעלו אוטומטית כברירת מחדל. אם יש לכם סקריפטים לאוטומציה מלפני מרץ 2024 שהסתמכו על הסטטוס של ממשקי ה-API האלה, יכול להיות שתצטרכו לעדכן אותם. אם כבר הפעלתם את ממשקי ה-API האלה, תראו תיקיות חדשות של מחברות ושאילתות בחלונית הסייר ב-BigQuery.

לפני שמתחילים

כדי להפעיל באופן ידני את ניהול נכסי הקוד, אתם צריכים את תפקיד הבעלים (roles/owner) בממשק של ניהול הזהויות והרשאות הגישה (IAM).

הפעלה ידנית של נכסי קוד ב-BigQuery

כדי להפעיל תלות נדרשת ב-API עבור נכסי קוד, פועלים לפי השלבים הבאים:

  1. עוברים לדף BigQuery.

    כניסה ל-BigQuery

  2. ב-Studio, בסרגל הכרטיסיות של חלונית העריכה, לוחצים על החץ של התפריט הנפתח לצד הסימן +, מעבירים את הסמן מעל מחברת ואז בוחרים באפשרות מחברת ריקה.

  3. לוחצים על Enable APIs.

    אם האפשרות הזו לא מופיעה, בודקים אם יש לכם את הרשאת הבעלים הנדרשת ב-IAM‏ (roles/owner). אם מחברת ריקה נפתחת, סימן שה-API הנדרש כבר מופעל.

  4. בחלונית Enable core features (הפעלת תכונות ליבה), בקטע Core feature APIs (ממשקי API של תכונות ליבה), מבצעים את הפעולות הבאות:

    1. כדי להפעיל את כל התלות של BigQuery להזרמת נתונים, לתזמון ולמחברות, לוחצים על Enable לצד BigQuery Unified API.
    2. אופציונלי: כדי לבחור אילו ממשקי API להפעיל, לוחצים על View and enable individual APIs (הצגה והפעלה של ממשקי API ספציפיים) ואז על Enable (הפעלה) לצד כל API שרוצים להפעיל.
    3. אחרי שה-API מופעל, לוחצים על הבא.

  5. אופציונלי: מגדירים את הרשאות המשתמש בקטע הרשאות:

    • כדי להעניק לישויות את היכולת ליצור נכסי קוד, ולקרוא, לערוך ולהגדיר הרשאות לנכסי הקוד שהן יצרו, מקלידים את שמות המשתמשים או הקבוצות שלהן בשדה משתמש BigQuery Studio.
    • כדי להעניק לישויות את היכולת לקרוא, לערוך ולהגדיר הרשאות לכל נכסי הקוד ששותפו איתן, מקלידים את שמות המשתמשים או הקבוצות שלהן בשדה BigQuery Studio Admin.

  6. לוחצים על הבא.

  7. אופציונלי: בקטע Additional APIs, לוחצים על Enable all כדי להפעיל את ממשקי ה-API שצריך כדי ליצור פרוצדורות מרוחקות ב-BigQuery באמצעות BigQuery DataFrames.

  8. אם בחרתם לא להפעיל את ממשקי ה-API הנוספים, לוחצים על סגירה כדי לסגור את החלונית הפעלת תכונות הליבה.

הגבלת הגישה לנכסי קוד

כדי למנוע הפעלה של ממשקי API נוספים, אפשר להגדיר את המגבלה של מדיניות הארגון בנושא הגבלת השימוש בשירות משאבים. תמיד אפשר להשבית ממשקי API נבחרים.

מה השלב הבא?