ניהול טבלאות מחולקות למחיצות

המסוף

אי אפשר לעדכן את תאריך התפוגה של המחיצה ב Cloud de Confiance מסוף.

SQL

משתמשים בהצהרה ALTER TABLE SET OPTIONS. בדוגמה הבאה, תאריך התפוגה מתעדכן ל-5 ימים. כדי להסיר את תאריך התפוגה של מחיצה בטבלה, מגדירים את partition_expiration_days ל-NULL.

1. במסוף Cloud de Confiance , עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. מזינים את ההצהרה הבאה בעורך השאילתות:

   ALTER TABLE mydataset.mytable
     SET OPTIONS (
       -- Sets partition expiration to 5 days
       partition_expiration_days = 5);

3. לוחצים על play_circle הפעלה.

מידע נוסף על הרצת שאילתות זמין במאמר הרצת שאילתה אינטראקטיבית.

BQ

מריצים את הפקודה bq update עם הדגל --time_partitioning_expiration. אם אתם מעדכנים טבלה עם חלוקה למחיצות בפרויקט שאינו פרויקט ברירת המחדל שלכם, צריך להוסיף את מזהה הפרויקט לשם מערך הנתונים בפורמט הבא: project_id:dataset.

bq update \
--time_partitioning_expiration integer_in_seconds \
--time_partitioning_type unit_time \
project_id:dataset.table

כאשר:

• ‫integer הוא משך החיים שמוגדר כברירת מחדל (בשניות) למחיצות בטבלה. אין ערך מינימלי. זמן התפוגה מוערך לפי התאריך של המחיצה בתוספת הערך השלם. אם תציינו 0, תוקף המחיצה יוסר והמחיצה לא תפוג לעולם. צריך למחוק ידנית מחיצות ללא תאריך תפוגה.
• ‫unit_time הוא DAY,‏ HOUR,‏ MONTH או YEAR, בהתאם לרמת הפירוט של חלוקת הטבלה למחיצות. הערך הזה צריך להיות זהה לגרנולריות שהגדרתם כשיצרתם את הטבלה.
• ‫project_id הוא מזהה הפרויקט.
• ‫dataset הוא שם מערך הנתונים שמכיל את הטבלה שאתם מעדכנים.
• ‫table הוא השם של הטבלה שאתם מעדכנים.

דוגמאות:

מזינים את הפקודה הבאה כדי לעדכן את תאריך התפוגה של המחיצות ב-mydataset.mytable ל-5 ימים (432,000 שניות). ‫mydataset נמצא בפרויקט ברירת המחדל.

bq update --time_partitioning_expiration 432000 mydataset.mytable

מזינים את הפקודה הבאה כדי לעדכן את תאריך התפוגה של המחיצות ב-mydataset.mytable ל-5 ימים (432,000 שניות). ‫mydataset נמצא ב-myotherproject, ולא בפרויקט ברירת המחדל שלכם.

bq update \
--time_partitioning_expiration 432000 \
myotherproject:mydataset.mytable

API

קוראים לשיטה tables.patch ומשתמשים במאפיין timePartitioning.expirationMs כדי לעדכן את תאריך התפוגה של המחיצה במילישניות. מומלץ להשתמש ב-method‏ tables.patch כי היא מחליפה את כל משאב הטבלה.tables.update

המסוף

אי אפשר להשתמש במסוף Cloud de Confiance כדי לדרוש מסנני מחיצות אחרי שיוצרים טבלה עם מחיצות.

SQL

כדי לעדכן את הדרישה של מסנן המחיצה, משתמשים בהצהרת ALTER TABLE SET OPTIONS. בדוגמה הבאה, הדרישה מעודכנת ל-true:

1. במסוף Cloud de Confiance , עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. מזינים את ההצהרה הבאה בעורך השאילתות:

   ALTER TABLE mydataset.mypartitionedtable
     SET OPTIONS (
       require_partition_filter = true);

3. לוחצים על play_circle הפעלה.

מידע נוסף על הרצת שאילתות זמין במאמר הרצת שאילתה אינטראקטיבית.

BQ

כדי לעדכן טבלה מחולקת למחיצות כך שיידרשו מסנני מחיצות באמצעות כלי שורת הפקודה של BigQuery, מזינים את הפקודה bq update ומספקים את הדגל --require_partition_filter.

כדי לעדכן טבלה עם חלוקה למחיצות בפרויקט שאינו פרויקט ברירת המחדל, מוסיפים את מזהה הפרויקט למערך הנתונים בפורמט הבא: project_id:dataset.

לדוגמה:

כדי לעדכן את mypartitionedtable ב-mydataset בפרויקט ברירת המחדל, מזינים:

bq update --require_partition_filter mydataset.mytable

כדי לעדכן את mypartitionedtable ב-mydataset ב-myotherproject, מזינים:

bq update --require_partition_filter myotherproject:mydataset.mytable

API

מבצעים קריאה ל-method‏ tables.patch ומגדירים את המאפיין requirePartitionFilter לערך true כדי לדרוש מסנני מחיצות. מומלץ להשתמש ב-method ‏tables.patch כי היא מחליפה את כל משאב הטבלה.tables.update

Java

import com.google.cloud.bigquery.BigQuery;
import com.google.cloud.bigquery.BigQueryException;
import com.google.cloud.bigquery.BigQueryOptions;
import com.google.cloud.bigquery.Table;

// Sample to update require partition filter on a table.
public class UpdateTableRequirePartitionFilter {

  public static void runUpdateTableRequirePartitionFilter() {
    // TODO(developer): Replace these variables before running the sample.
    String datasetName = "MY_DATASET_NAME";
    String tableName = "MY_TABLE_NAME";
    updateTableRequirePartitionFilter(datasetName, tableName);
  }

  public static void updateTableRequirePartitionFilter(String datasetName, String tableName) {
    try {
      // Initialize client that will be used to send requests. This client only needs to be created
      // once, and can be reused for multiple requests.
      BigQuery bigquery = BigQueryOptions.getDefaultInstance().getService();

      Table table = bigquery.getTable(datasetName, tableName);
      table.toBuilder().setRequirePartitionFilter(true).build().update();

      System.out.println("Table require partition filter updated successfully");
    } catch (BigQueryException e) {
      System.out.println("Table require partition filter was not updated \n" + e.toString());
    }
  }
}

המסוף

אי אפשר להעתיק מחיצות באמצעות המסוף של Cloud de Confiance .

BQ

כדי להעתיק מחיצה, משתמשים בפקודה bq cp (העתקה) של כלי שורת הפקודה bq עם מעצב מחיצה ($date), כמו $20160201.

אפשר להשתמש בדגלים אופציונליים כדי לשלוט בהגדרת הכתיבה של מחיצת היעד:

• ‫-a או --append_table מוסיפים את הנתונים מהמחיצה של המקור לטבלה או למחיצה קיימת במערך הנתונים של היעד.
• ‫-f או --force מחליפים טבלה או מחיצה קיימות במערך הנתונים של היעד, ולא מוצגת בקשה לאישור.
• הפונקציה -n או --no_clobber מחזירה את הודעת השגיאה הבאה אם הטבלה או המחיצה קיימות במערך הנתונים של היעד: Table '<var>project_id:dataset.table</var> or <var>table$date</var>' already exists, skipping. אם לא מציינים את -n, התנהגות ברירת המחדל היא להציג בקשה לבחור אם להחליף את טבלת היעד או המחיצה.
• ‫--destination_kms_key הוא מפתח Cloud KMS בניהול הלקוח שמשמש להצפנת טבלת היעד או המחיצה.

הפקודה cp לא תומכת בדגלים --time_partitioning_field או --time_partitioning_type. אי אפשר להשתמש בעבודת העתקה כדי להמיר טבלה מחולקת למחיצות (Partitions) לפי זמני כתיבת הנתונים לטבלה מחולקת למחיצות.

--destination_kms_key לא מוסבר כאן. מידע נוסף מופיע במאמר הגנה על נתונים באמצעות מפתחות Cloud KMS.

אם מערך הנתונים של המקור או היעד נמצא בפרויקט שאינו פרויקט ברירת המחדל, צריך להוסיף את מזהה הפרויקט לשמות של מערכי הנתונים בפורמט הבא: project_id:dataset.

(אופציונלי) מציינים את הדגל --location ומגדירים את הערך למיקום.

bq --location=location cp \
-a -f -n \
project_id:dataset.source_table$source_partition \
project_id:dataset.destination_table$destination_partition

כאשר:

• ‫location הוא השם של המיקום. הדגל --location הוא אופציונלי. לדוגמה, אם אתם משתמשים ב-BigQuery באזור טוקיו, אתם יכולים להגדיר את הערך של הדגל כ-asia-northeast1. אפשר להגדיר ערך ברירת מחדל למיקום באמצעות הקובץ ‎.bigqueryrc.
• ‫project_id הוא מזהה הפרויקט.
• ‫dataset הוא השם של מערך הנתונים של המקור או היעד.
• ‫source_table היא הטבלה שמעתיקים.
• ‫source_partition הוא מעצב המחיצה של מחיצת המקור.
• ‫destination_table הוא שם הטבלה במערך נתוני היעד.
• ‫destination_partition הוא מעצב המחיצה של מחיצת היעד.

דוגמאות:

העתקת מחיצה לטבלה חדשה

מזינים את הפקודה הבאה כדי להעתיק את המחיצה מ-30 בינואר 2018 מ-mydataset.mytable לטבלה חדשה – mydataset.mytable2. ‫mydataset נמצא בפרויקט ברירת המחדל.

bq cp -a 'mydataset.mytable$20180130' mydataset.mytable2

העתקת מחיצה לטבלה לא מחולקת

מזינים את הפקודה הבאה כדי להעתיק את המחיצה מ-30 בינואר 2018 מ-mydataset.mytable לטבלה לא מחולקת – mydataset2.mytable2. מקש הקיצור -a משמש לצירוף הנתונים של המחיצה לטבלת היעד שלא חולקה למחיצות. שני מערכי הנתונים נמצאים בפרויקט ברירת המחדל.

bq cp -a 'mydataset.mytable$20180130' mydataset2.mytable2

מזינים את הפקודה הבאה כדי להעתיק את המחיצה מ-30 בינואר 2018 מ-mydataset.mytable לטבלה לא מחולקת – mydataset2.mytable2. מקש הקיצור -f משמש להחלפת טבלת היעד שלא חולקה למחיצות, בלי להציג הנחיה.

bq --location=US cp -f 'mydataset.mytable$20180130' mydataset2.mytable2

העתקת מחיצה לטבלה אחרת עם מחיצות

מזינים את הפקודה הבאה כדי להעתיק את המחיצה מ-30 בינואר 2018 מ-mydataset.mytable לטבלה אחרת עם מחיצות – mydataset2.mytable2. מקש הקיצור -a משמש לצירוף הנתונים של המחיצה לטבלת היעד. מכיוון שלא צוין מעצב מחיצות בטבלת היעד, מפתח המחיצה של המקור נשמר והנתונים מועתקים למחיצה של 30 בינואר 2018 בטבלת היעד. אפשר גם לציין מעצב מחיצות בטבלת היעד כדי להעתיק נתונים למחיצה ספציפית. ‫mydataset נמצא בפרויקט ברירת המחדל שלכם. mydataset2 נמצא ב-myotherproject, ולא בפרויקט ברירת המחדל שלכם.

bq --location=US cp \
-a \
'mydataset.mytable$20180130' \
myotherproject:mydataset2.mytable2

מזינים את הפקודה הבאה כדי להעתיק את המחיצה מ-30 בינואר 2018 מ-mydataset.mytable למחיצה מ-30 בינואר 2018 של טבלה מופרדת אחרת – mydataset2.mytable2. מקש הקיצור -f משמש כדי להחליף את המחיצה של 30 בינואר 2018 בטבלת היעד בלי להציג הנחיה. אם לא משתמשים במעצב מחיצות, כל הנתונים בטבלת היעד נמחקים. ‫mydataset נמצא בפרויקט ברירת המחדל שלכם. ‫mydataset2 נמצא ב-myotherproject, ולא בפרויקט ברירת המחדל שלכם.

bq cp \
-f \
'mydataset.mytable$20180130' \
'myotherproject:mydataset2.mytable2$20180130'

מזינים את הפקודה הבאה כדי להעתיק את המחיצה מ-30 בינואר 2018 מ-mydataset.mytable לטבלה אחרת עם מחיצות – mydataset2.mytable2. ‫mydataset נמצא בפרויקט ברירת המחדל שלכם. mydataset2 נמצא ב-myotherproject, ולא בפרויקט ברירת המחדל שלכם. אם יש נתונים בטבלת היעד, התנהגות ברירת המחדל היא להציג לכם הנחיה להחלפת הנתונים.

bq cp \
'mydataset.mytable$20180130' \
myotherproject:mydataset2.mytable2

כדי להעתיק כמה מחיצות, מציינים אותן כרשימה שמופרדת באמצעות פסיקים:

bq cp \
'mydataset.mytable$20180130,mydataset.mytable$20180131' \
myotherproject:mydataset.mytable2

API

מבצעים קריאה לשיטה jobs.insert ומגדירים משימת copy. (אופציונלי) מציינים את האזור במאפיין location בקטע jobReference של משאב המשימה.

מציינים את המאפיינים הבאים בהגדרות האישיות של המשימה:

• מזינים את מערך הנתונים, הטבלה והמחיצה של המקור במאפיין sourceTables.
• מזינים את מערך הנתונים ואת הטבלה של היעד במאפיין destinationTable.
• משתמשים במאפיין writeDisposition כדי לציין אם להוסיף נתונים לטבלת היעד או למחיצה, או להחליף את הנתונים הקיימים.

כדי להעתיק כמה מחיצות, מזינים את מחיצות המקור (כולל השמות של מערך הנתונים והטבלה) במאפיין sourceTables.

המסוף

אי אפשר למחוק מחיצות באמצעות מסוף Cloud de Confiance .

SQL

אם משפט DELETE שמגדיר את התנאים חל על כל השורות במחיצה, BigQuery מסיר את כל המחיצה. ההסרה הזו מתבצעת בלי לסרוק בייטים או לצרוך משבצות. בדוגמה הבאה של משפט DELETE מופיע כל החלק של מסנן בעמודה הווירטואלית _PARTITIONDATE:

1. במסוף Cloud de Confiance , עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. מזינים את ההצהרה הבאה בעורך השאילתות:

   DELETE mydataset.mytable
   WHERE _PARTITIONDATE IN ('2076-10-07', '2076-03-06');

3. לוחצים על play_circle הפעלה.

מידע נוסף על הרצת שאילתות זמין במאמר הרצת שאילתה אינטראקטיבית.

BQ

משתמשים בפקודה bq rm עם הדגל --table (או קיצור הדרך -t) ומציינים את מעצב המחיצה כדי למחוק מחיצה ספציפית.

bq rm --table project_id:dataset.table$partition

כאשר:

• ‫project_id הוא מזהה הפרויקט. אם לא מציינים פרויקט, המערכת משתמשת בפרויקט ברירת המחדל.
• ‫dataset הוא שם מערך הנתונים שמכיל את הטבלה.
• ‫table הוא שם הטבלה.
• ‫partition הוא קישוט המחיצה של המחיצה שרוצים למחוק.

הפורמט של קישוטי המחיצות משתנה בהתאם לסוג המחיצה:

• חלוקה לפי שעות: yyyymmddhh. דוגמה: $2016030100.
• חלוקה יומית: yyyymmdd. דוגמה: $20160301.
• חלוקה חודשית: yyyymm. דוגמה: $201603.
• מחיצה שנתית: yyyy. דוגמה: $2016.
• חלוקה לטווחים של מספרים שלמים: תחילת טווח החלוקה. דוגמה: $20

כלי שורת הפקודה של BigQuery יבקש מכם לאשר את הפעולה. כדי לדלג על האישור, משתמשים בדגל --force (או במקש הקיצור -f).

דוגמאות:

מחיקת המחיצה של 1 במרץ 2016 בטבלה עם מחיצות יומיות בשם mydataset.mytable בפרויקט שמוגדר כברירת מחדל:

bq rm --table 'mydataset.mytable$20160301'

כדי למחוק את המחיצה של מרץ 2016 בטבלה שמחולקת למחיצות חודשיות:

bq rm --table 'mydataset.mytable$201603'

מחיקת טווח המספרים השלמים שמתחיל ב-20 בטבלה מחולקת לטווחים של מספרים שלמים בשם mydataset.mytable:

bq rm --table 'mydataset.mytable$20'

API

מבצעים קריאה לשיטה tables.delete ומציינים את הטבלה ואת קישוט המחיצה באמצעות הפרמטר tableId.