יצירת טבלאות חיצוניות של Apache Iceberg

טבלאות חיצוניות של Apache Iceberg מאפשרות לכם לגשת לטבלאות של Apache Iceberg בפורמט לקריאה בלבד, עם בקרת גישה מפורטת יותר.

‫Iceberg הוא פורמט טבלה בקוד פתוח שתומך בטבלאות נתונים בקנה מידה של פטה-בייט. מפרט Iceberg הפתוח מאפשר להפעיל כמה מנועי שאילתות על עותק יחיד של נתונים שמאוחסנים בחנות אובייקטים. טבלאות חיצוניות של Apache Iceberg (להלן טבלאות חיצוניות של Iceberg) תומכות בגרסה 2 של Iceberg, כולל מיזוג בקריאה. התמיכה ב-Iceberg גרסה 3, כולל וקטורים בינאריים למחיקה, נמצאת בגרסת טרום-השקה (Preview). כדי לשלוח משוב או לשאול שאלות שקשורות לתכונת התצוגה המקדימה הזו, אפשר לפנות לכתובת biglake-help@google.com.

אדמינים ב-BigQuery יכולים לאכוף בקרת גישה ברמת השורה והעמודה, כולל מיסוך נתונים בטבלאות. במאמר הגדרת מדיניות בקרת גישה מוסבר איך להגדיר בקרת גישה ברמת הטבלה. מדיניות הגישה לטבלאות נאכפת גם כשמשתמשים בממשק BigQuery Storage API כמקור נתונים לטבלה ב-Managed Service for Apache Spark וב-Serverless Spark.

אפשר ליצור טבלאות חיצוניות בפורמט Iceberg בדרכים הבאות:

• עם קטלוג זמן הריצה של Lakehouse (מומלץ ל- Cloud de Confiance by S3NS). קטלוג סביבת זמן הריצה של Lakehouse הוא מאגר מטא-נתונים מאוחד, מנוהל, בלי שרת (serverless) וניתן להרחבה, שמקשר בין נתונים של Lakehouse שמאוחסנים ב- Cloud de Confiance לבין מספר סביבות זמן ריצה, כולל מנועי קוד פתוח (כמו Apache Spark) ו-BigQuery.

• עם AWS Glue Data Catalog (מומלץ ל-AWS). ‫AWS Glue היא השיטה המומלצת ל-AWS כי היא מאגר מטא-נתונים מרכזי שבו מגדירים את המבנה והמיקום של הנתונים שמאוחסנים בשירותים שונים של AWS, והיא מספקת יכולות כמו גילוי סכמות אוטומטי ושילוב עם כלי ניתוח של AWS.

• עם קובצי מטא-נתונים של Iceberg JSON (מומלץ ל-Azure). אם אתם משתמשים בקובץ מטא-נתונים בפורמט JSON של Iceberg, אתם צריכים לעדכן ידנית את קובץ המטא-נתונים האחרון בכל פעם שיש עדכונים בטבלה. אתם יכולים להשתמש בפרוצדורה מאוחסנת ב-BigQuery עבור Apache Spark כדי ליצור טבלאות חיצוניות של Iceberg שמפנות לקובץ מטא-נתונים של Iceberg.

רשימה מלאה של המגבלות זמינה במאמר בנושא מגבלות.

לפני שמתחילים

מפעילים את BigQuery Connection API ואת BigQuery Reservation API.

הפעלת ממשקי ה-API

• אם אתם משתמשים בפרוצדורה מאוחסנת ל-Spark ב-BigQuery כדי ליצור טבלאות חיצוניות של Iceberg, אתם צריכים לבצע את השלבים הבאים:

  1. יצירת חיבור Spark
  2. הגדרת בקרת גישה לחיבור

• כדי לאחסן את המטא-נתונים של טבלת Iceberg החיצונית ואת קובצי הנתונים ב-Cloud Storage, צריך ליצור קטגוריה של Cloud Storage. כדי לגשת לקובצי מטא-נתונים, צריך להתחבר לקטגוריה של Cloud Storage. כדי לעשות זאת:

  1. יצירת קישור למשאבים ב-Cloud
  2. הגדרת גישה לחיבור הזה.

התפקידים הנדרשים

כדי לקבל את ההרשאות שדרושות ליצירת טבלה חיצונית של Iceberg, צריך לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים בפרויקט:

• אדמין של BigQuery (roles/bigquery.admin)
• אדמין של אובייקטים באחסון (roles/storage.objectAdmin)

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

התפקידים המוגדרים מראש האלה מכילים את ההרשאות שנדרשות ליצירת טבלת Iceberg חיצונית. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:

יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

יצירת טבלאות באמצעות קטלוג Lakehouse runtime

מומלץ ליצור טבלאות חיצוניות של Iceberg באמצעות קטלוג זמן הריצה של Lakehouse.

יצירת טבלאות באמצעות קובץ מטא-נתונים

אפשר ליצור טבלאות חיצוניות של Iceberg באמצעות קובץ מטא-נתונים בפורמט JSON. עם זאת, זו לא השיטה המומלצת כי צריך לעדכן באופן ידני את ה-URI של קובץ מטא-נתוני ה-JSON כדי שהטבלה החיצונית של Iceberg תישאר מעודכנת. אם ה-URI לא מעודכן, יכול להיות שהשאילתות ב-BigQuery ייכשלו או יספקו תוצאות שונות ממנועי שאילתות אחרים שמשתמשים ישירות בקטלוג Iceberg.

קבצי המטא-נתונים של טבלאות Iceberg נוצרים ב<term ref="Cloud Storage bucket">קטגוריה של Cloud Storage</term> שאתם מציינים כשאתם יוצרים טבלת Iceberg באמצעות Spark.

בוחרים באחת מהאפשרויות הבאות:

  CREATE EXTERNAL TABLE myexternal-table
  WITH CONNECTION `myproject.us.myconnection`
  OPTIONS (
         format = 'ICEBERG',
         uris = ["gs://mybucket/mydata/mytable/metadata/iceberg.metadata.json"]
   )

bq mk 

    --table 

    --external_table_definition=TABLE_FORMAT=URI@projects/CONNECTION_PROJECT_ID/locations/CONNECTION_REGION/connections/CONNECTION_ID 

    PROJECT_ID:DATASET.EXTERNAL_TABLE

עדכון המטא-נתונים של הטבלה

אם משתמשים בקובץ מטא-נתונים בפורמט JSON כדי ליצור טבלת Iceberg חיצונית, צריך לעדכן את הגדרת הטבלה למטא-נתונים העדכניים ביותר של הטבלה. כדי לעדכן את הסכימה או את קובץ המטא-נתונים, בוחרים באחת מהאפשרויות הבאות:

PATCH https://bigquery.googleapis.com/bigquery/v2/projects/PROJECT_ID/datasets/DATASET/tables/TABLE?autodetect_schema=true

{
     "externalDataConfiguration": {
      "sourceFormat": "ICEBERG",
      "sourceUris": [
        "URI"
      ]
    },
    "schema": null
  }'

הגדרת כללי מדיניות לבקרת גישה

אפשר לשלוט בגישה לטבלאות חיצוניות של Iceberg באמצעות אבטחה ברמת העמודה, אבטחה ברמת השורה ואנונימיזציה של נתונים.

שאילתת נתונים היסטוריים

אפשר לגשת לתמונות מצב של טבלאות חיצוניות ב-Iceberg שנשמרות במטא-נתונים של Iceberg באמצעות הסעיף FOR SYSTEM_TIME AS OF.

אין תמיכה בחלונות של שמירת נתונים בטוחה וחלונות של נסיעה בזמן בטבלאות חיצוניות.

מיפוי נתונים

‫BigQuery ממיר סוגי נתונים של Iceberg לסוגי נתונים של BigQuery כמו שמוצג בטבלה הבאה:

מגבלות

בנוסף למגבלות על טבלאות חיצוניות, יש מגבלות נוספות על טבלאות חיצוניות בפורמט Iceberg:

• לא ניתן להשתמש בשאילתות ב-VPC Service Controls, והן יובילו לשגיאה כמו NO_MATCHING_ACCESS_LEVEL.

• הטבלאות שמשתמשות במיזוג בזמן הקריאה מוגבלות באופן הבא:

  • אפשר לשייך לכל קובץ נתונים עד 10,000 קבצים למחיקה.
  • אפשר להחיל על קובץ נתונים עד 100,000 מחיקות של שוויון.
  • כדי לעקוף את המגבלות האלה, אפשר לבצע דחיסה של קובצי מחיקה בתדירות גבוהה, ליצור תצוגה מעל טבלת Iceberg כדי להימנע ממחיצות שעוברות שינויים בתדירות גבוהה, או להשתמש במחיקות לפי מיקום במקום במחיקות לפי שוויון.

• ‫BigQuery תומך בגיזום של קובצי מניפסט באמצעות כל פונקציות ההמרה של מחיצות Iceberg. מידע על גיזום מחיצות מופיע במאמר שאילתות בטבלאות עם מחיצות. שאילתות שמפנות לטבלאות חיצוניות של Iceberg צריכות להכיל ערכים מילוליים בפרדיקטים בהשוואה לעמודות שמחולקות למחיצות.

• יש תמיכה רק בקובצי נתונים בפורמט Apache Parquet.

• התכונות הבאות של Iceberg גרסה 3 לא נתמכות:

  • סוגי נתונים חדשים: חותמת זמן בננו-שנייה(tz), לא ידוע, וריאנט, גיאומטריה, גיאוגרפיה
  • ערכי ברירת מחדל ראשוניים
  • מפתחות להצפנת טבלאות

עלויות של מיזוג בזמן הקריאה

החיוב על פי דרישה על נתונים שמוזגו בקריאה הוא סכום הסריקות של הנתונים הבאים:

• כל הבייטים הלוגיים שנקראו בקובץ הנתונים (כולל שורות שמסומנות כמחוקות לפי מיקום ומחיקות של שוויון).
• בייטים לוגיים שנקראו במהלך טעינת קובצי המחיקה של שורות שוות, המחיקה של מיקום והמחיקה של וקטור, כדי למצוא את השורות שנמחקו בקובץ נתונים.

דרישת מסנן מחיצה

אתם יכולים לדרוש שימוש במסנני פרדיקטים על ידי הפעלת האפשרות require partition filter (דרישת מסנן מחיצה) בטבלת Iceberg. אם מפעילים את האפשרות הזו, ניסיונות לשאילתות בטבלה בלי לציין פסקה WHERE שתואמת לכל קובץ מניפסט יגרמו לשגיאה הבאה:

Cannot query over table project_id.dataset.table without a
filter that can be used for partition elimination.

כל קובץ מניפסט צריך לכלול לפחות פרדיקט אחד שמתאים להסרת מחיצות.

אתם יכולים להפעיל את require_partition_filter בדרכים הבאות כשאתם יוצרים טבלת Iceberg :

  CREATE EXTERNAL TABLE TABLE
  WITH CONNECTION `PROJECT_ID.REGION.CONNECTION_ID`
  OPTIONS (
         format = 'ICEBERG',
         uris = [URI],
         require_partition_filter = true
   )

bq mk \
    --table \
    --external_table_definition=ICEBERG=URI@projects/CONNECTION_PROJECT_ID/locations/CONNECTION_REGION/connections/CONNECTION_ID \
    PROJECT_ID:DATASET.EXTERNAL_TABLE \
    --require_partition_filter

אפשר גם לעדכן את טבלת Iceberg כדי להפעיל את האפשרות require partition filter (דרישת מסנן מחיצה).

אם לא מפעילים את האפשרות require partition filter (דרישת מסנן מחיצה) כשיוצרים את הטבלה עם המחיצות, אפשר לעדכן את הטבלה כדי להוסיף את האפשרות.

bq update --require_partition_filter PROJECT_ID:DATASET.TABLE

המאמרים הבאים

• מידע על פרוצדורה מאוחסנת ל-Spark
• מידע על מדיניות בקרת גישה
• מידע נוסף על הפעלת שאילתות ב-BigQuery
• מידע על המשפטים הנתמכים ועל דיאלקטים של SQL ב-BigQuery