ניהול הגדרות התצורה

אדמינים ב-BigQuery ובעלי פרויקטים יכולים לנהל את הגדרות התצורה ברמת הארגון והפרויקט. אתם יכולים להגדיר תצורות כדי לאכוף אבטחה, לשלוט בעלויות ולשפר את ביצועי השאילתות בכל תשתית הנתונים. הגדרת ערכי ברירת מחדל עוזרת לשמור על עמידה עקבית בדרישות ועל יעילות תפעולית, ומקלה על הניהול של סביבת BigQuery.

בקטעים הבאים מוסבר איך מציינים הגדרות תצורה שמוגדרות כברירת מחדל. הגדרות ברירת המחדל מוגדרות ברמת הארגון או הפרויקט, אבל אפשר לשנות אותן ברמת הסשן או העבודה.

התפקידים הנדרשים

כדי לקבל את ההרשאה שנדרשת לציון הגדרת תצורה, צריך לבקש מהאדמין להקצות לכם את תפקיד ה-IAM‏ BigQuery Admin (roles/bigquery.admin). כדי לקרוא הסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

התפקיד המוגדר מראש הזה כולל את ההרשאה bigquery.config.update, שנדרשת כדי לציין הגדרת תצורה.

יכול להיות שתוכלו לקבל את ההרשאה הזו גם בתפקידים בהתאמה אישית או בתפקידים אחרים שמוגדרים מראש.

במאמר תפקידים והרשאות מוגדרים מראש יש מידע נוסף על תפקידים והרשאות ב-IAM ב-BigQuery.

ציון הגדרות גלובליות

אפשר לציין הגדרות גלובליות ברמת הארגון או הפרויקט.

מגבלות

ההגבלות הבאות חלות על הגדרות התצורה הגלובליות:

  • הגדרות גלובליות של ארגונים והגדרות הפרויקט לא זמינות במיקומים של BigQuery Omni.
  • כשמשנים את ההגדרה הכללית default_location, יכולות לחלוף עד 10 דקות עד שהשינוי יתעדכן. עד שההגדרה תופץ, יכול להיות ששאילתות שעומדות בדרישות ינותבו למיקום ברירת המחדל הקודם.

קביעת הגדרות גלובליות לארגון

אם לא מציינים מיקום באופן מפורש, המיקום נקבע באחת מהדרכים הבאות:

  • המיקום של מערכי הנתונים שאליהם מתייחסת הבקשה. לדוגמה, אם שאילתה מפנה לטבלה או לתצוגה במערך נתונים שמאוחסן באזור asia-northeast1, משימת השאילתה תפעל באזור asia-northeast1.
  • האזור שצוין לחיבור שאליו מתייחסים בבקשה.
  • המיקום של טבלת היעד.

אם המיקום לא מצוין במפורש, ולא ניתן לקבוע אותו מהמשאבים בבקשה, המערכת משתמשת במיקום שמוגדר כברירת מחדל. אם לא מוגדר מיקום ברירת מחדל, העבודה מופעלת בUS מספר אזורים.

אפשר להגדיר הגדרות גלובליות ברמת הארגון באמצעות הצהרת ה-DDL‏ ALTER ORGANIZATION SET OPTIONS. מיקום ברירת המחדל הוא ההגדרה הגלובלית היחידה של הארגון. מיקום ברירת המחדל משמש להפעלת משימות כשאי אפשר להסיק את המיקום מהבקשה.

כשמגדירים את המיקום שמוגדר כברירת מחדל, לא מציינים אזור שבו ההגדרה חלה. אי אפשר לשלב הגדרות גלובליות ואזוריות באותה הצהרת DDL.

כדי להגדיר את default_location ברמת הארגון, מבצעים את השלבים הבאים:

המסוף

  1. עוברים לדף BigQuery במסוף Cloud de Confiance .

    כניסה ל-BigQuery

  2. לוחצים על עורך השאילתות. הכרטיסייה הזו נקראת search_insights Untitled query.

  3. כדי להגדיר את default_location, מזינים את הצהרת ה-DDL הבאה בעורך השאילתות:

      ALTER ORGANIZATION
      SET OPTIONS (
      `default_location` = 'LOCATION'
      );

    מחליפים את LOCATION במיקום אזורי או במספר אזורים. הערך הזה הוא המיקום שמשמש להפעלת משימות כשאי אפשר להסיק אותו מהבקשה. לדוגמה, המיקום שמוגדר כברירת מחדל ישמש אם לא ניתן לקבוע את המיקום של מערכי הנתונים בשאילתה.

  4. לחלופין, כדי לנקות את ההגדרות הגלובליות ברמת הארגון default_location, מזינים את הצהרת ה-DDL הבאה בעורך השאילתות:

      ALTER ORGANIZATION
      SET OPTIONS (
      `default_location` = NULL
      );
  5. לוחצים על Run.

BQ

  1. כדי להגדיר את default_location ברמת הארגון, מזינים את הפקודה bq query ומספקים את הצהרת ה-DDL הבאה כפרמטר של השאילתה. מגדירים את הדגל use_legacy_sql לערך false.

    ALTER ORGANIZATION
    SET OPTIONS (
    `default_location` = 'LOCATION'
    );

    מחליפים את LOCATION במיקום אזורי או במספר אזורים. הערך הזה הוא המיקום שבו מופעלים התפקידים, אם אי אפשר להסיק אותו מהבקשה. לדוגמה, אם אי אפשר לקבוע את המיקום של מערכי הנתונים בשאילתה, המיקום שמוגדר כברירת מחדל ישמש את המערכת.

  2. כדי לנקות את default_location ברמת הארגון, מזינים את הפקודה bq query ומספקים את הצהרת ה-DDL הבאה כפרמטר השאילתה. מגדירים את הדגל use_legacy_sql לערך false.

    ALTER ORGANIZATION
    SET OPTIONS (
    `default_location` = NULL
    );

API

מבצעים קריאה לשיטה jobs.query ומספקים את הצהרת ה-DDL במאפיין query של גוף הבקשה.

הגדרת הגדרות גלובליות של הפרויקט

אם לא מציינים מיקום באופן מפורש, המיקום נקבע באחת מהדרכים הבאות:

  • המיקום של מערכי הנתונים שאליהם מתייחסת הבקשה. לדוגמה, אם שאילתה מפנה לטבלה או לתצוגה במערך נתונים שמאוחסן באזור asia-northeast1, משימת השאילתה תפעל באזור asia-northeast1.
  • האזור שצוין לחיבור שאליו מתייחסים בבקשה.
  • המיקום של טבלת היעד.

אם המיקום לא מצוין במפורש, ולא ניתן לקבוע אותו מהמשאבים בבקשה, המערכת משתמשת במיקום שמוגדר כברירת מחדל. אם לא מוגדר מיקום ברירת מחדל, העבודה מופעלת בUS מספר אזורים.

אפשר להגדיר הגדרות גלובליות ברמת הפרויקט באמצעות הצהרת ה-DDL‏ ALTER PROJECT SET OPTIONS. הצהרת ה-DDL‏ ALTER PROJECT SET OPTIONS מקבלת באופן אופציונלי את המשתנה PROJECT_ID. אם לא מציינים את PROJECT_ID, ברירת המחדל היא הפרויקט הנוכחי שבו מריצים את הצהרת ה-DDL‏ ALTER PROJECT.

מיקום ברירת המחדל הוא ההגדרה הגלובלית היחידה של הפרויקט. כשמגדירים את מיקום ברירת המחדל, לא מציינים אזור שבו ההגדרה חלה. אי אפשר לשלב הגדרות גלובליות ואזוריות באותה הצהרת DDL.

הגדרות ברמת הפרויקט מקבלות עדיפות על פני הגדרות ברמת הארגון. הגדרות ברמת הפרויקט יכולות להיות מוחלפות על ידי הגדרות ברמת הסשן, שיכולות להיות מוחלפות על ידי הגדרות ברמת הג'וב.

כדי להגדיר את default_location ברמת הפרויקט, פועלים לפי השלבים הבאים:

המסוף

  1. נכנסים לדף BigQuery במסוף Cloud de Confiance .

    כניסה ל-BigQuery

  2. לוחצים על עורך השאילתות. הכרטיסייה הזו נקראת search_insights Untitled query.

  3. כדי להגדיר את default_location, מזינים את הצהרת ה-DDL הבאה בעורך השאילתות:

      ALTER PROJECT PROJECT_ID
      SET OPTIONS (
      `default_location` = 'LOCATION'
      );

    מחליפים את מה שכתוב בשדות הבאים:

    • PROJECT_ID: מזהה הפרויקט.

    • LOCATION: מיקום אזורי או רב-אזורי. הערך הזה הוא המיקום שבו מריצים את העבודות, אם אי אפשר להסיק אותו מהבקשה. לדוגמה, המיקום שמוגדר כברירת מחדל ישמש את המערכת אם היא לא תוכל לקבוע את המיקום של מערכי הנתונים בשאילתה.

  4. לחלופין, כדי לנקות את ההגדרה default_location, מזינים את הצהרת ה-DDL הבאה בעורך השאילתות. אם מבטלים את הסימון של התיבה default_location ברמת הפרויקט, נעשה שימוש בהגדרות ברירת המחדל ברמת הארגון, אם הן קיימות. אחרת, נעשה שימוש בהגדרת ברירת המחדל של המערכת.

      ALTER PROJECT PROJECT_ID
      SET OPTIONS (
      `default_location` = NULL
      );
  5. לוחצים על Run.

BQ

  1. כדי להגדיר את default_location ברמת הפרויקט, מזינים את הפקודה bq query ומספקים את הצהרת ה-DDL הבאה כפרמטר של השאילתה. מגדירים את הדגל use_legacy_sql לערך false.

    ALTER PROJECT PROJECT_ID
    SET OPTIONS (
    `default_location` = 'LOCATION'
    );

    מחליפים את מה שכתוב בשדות הבאים:

    • PROJECT_ID: מזהה הפרויקט.
    • LOCATION: מיקום אזורי או רב-אזורי. הערך הזה הוא המיקום שמשמש להפעלת משימות כשאי אפשר להסיק אותו מהבקשה. לדוגמה, המיקום שמוגדר כברירת מחדל ישמש אם לא ניתן לקבוע את המיקום של מערכי הנתונים בשאילתה.
  2. לחלופין, כדי לנקות את default_location ברמת הפרויקט, מזינים את הפקודה bq query ומספקים את הצהרת ה-DDL הבאה כפרמטר של השאילתה. מגדירים את הדגל use_legacy_sql לערך false. אם מבטלים את הסימון של התיבה default_location ברמת הפרויקט, המערכת משתמשת בהגדרות ברירת המחדל ברמת הארגון, אם הן קיימות. אחרת, נעשה שימוש בהגדרת ברירת המחדל של המערכת.

    ALTER PROJECT PROJECT_ID
    SET OPTIONS (
    `default_location` = NULL
    );

API

מבצעים קריאה לשיטה jobs.query ומספקים את הצהרת ה-DDL במאפיין query של גוף הבקשה.

קביעת הגדרות אזוריות

אפשר להגדיר הגדרות אזוריות ברמת הארגון או ברמת הפרויקט.

ניהול אמצעי בקרה להזמנות ולחיובים

אתם יכולים לקבוע איך שאילתות ישתמשו בהזמנות או בחיוב על פי דרישה. ההגדרות האלה עוזרות להבטיח את צפיות העלויות, כי הן מאפשרות שימוש גמיש בשמירת המקום או מחייבות שהשאילתות ישתמשו במשבצות של שמירת המקום.

אמצעי בקרה נפוצים בנושא הזמנות וחיוב כוללים הגדרות כמו reservation_override_mode (תצוגה מקדימה) ו-disable_on_demand_billing (תצוגה מקדימה). רשימה מלאה של ההגדרות והאפשרויות זמינה במאמר על האפשרויות של ALTER PROJECT SET OPTIONS.

הגדרת הגדרות אזוריות לארגון

אפשר להגדיר הגדרות אזוריות ברמת הארגון באמצעות ALTER ORGANIZATION SET OPTIONS הצהרת DDL. צריך לציין את האזור שבו כל הגדרה של הארגון חלה. אפשר להשתמש רק באזור אחד בהצהרה.

כדי להגדיר הגדרות אזוריות לארגון, מבצעים את השלבים הבאים. בדוגמה הבאה מפורטות כמה הגדרות אזוריות שמוגדרות כברירת מחדל, כולל ההגדרות הבאות:

  • אזור זמן: America/Chicago
  • מפתח Cloud KMS: מפתח שמוגדר על ידי המשתמש
  • זמן קצוב לתפוגה של שאילתה: 30 דקות (1,800,000 אלפיות השנייה)
  • זמן קצוב לתפוגה של תור שאילתות אינטראקטיביות: 10 דקות (600,000 אלפיות השנייה)
  • הזמן הקצוב לתפוגה של תור שאילתות Batch: ‏ 20 דקות (1,200,000 אלפיות השנייה)
  • INFORMATION_SCHEMA: מופעל

כדי לראות את כל ההגדרות האזוריות של הארגון, עוברים אל organization_set_options_list.

המסוף

  1. נכנסים לדף BigQuery במסוף Cloud de Confiance .

    כניסה ל-BigQuery

  2. לוחצים על עורך השאילתות. הכרטיסייה הזו נקראת search_insights Untitled query.

  3. כדי להגדיר את ההגדרות האזוריות של הארגון, מזינים את הצהרת ה-DDL הבאה בעורך השאילתות:

      ALTER ORGANIZATION
      SET OPTIONS (
      `region-REGION.default_time_zone`= 'America/Chicago',
      -- Ensure all service accounts under the organization have permission to KMS_KEY
      `region-REGION.default_kms_key_name` = KMS_KEY,
      `region-REGION.default_query_job_timeout_ms` = 1800000,
      `region-REGION.default_interactive_query_queue_timeout_ms` = 600000,
      `region-REGION.default_batch_query_queue_timeout_ms` = 1200000,
      `region-REGION.enable_info_schema_storage` = true);

    מחליפים את מה שכתוב בשדות הבאים:

    • REGION: האזור שמשויך לפרויקט או לארגון שלכם – לדוגמה, us או europe-west6. הערך של REGION חייב להיות זהה לכל אפשרות בפקודה.
    • KMS_KEY: מפתח Cloud KMS שהוגדר על ידי המשתמש. מידע נוסף מופיע במאמר בנושא מפתחות Cloud KMS בניהול הלקוח.
  4. לחלופין, כדי לנקות את ההגדרות האזוריות של הארגון, מזינים את הצהרת ה-DDL הבאה בעורך השאילתות:

      ALTER ORGANIZATION
      SET OPTIONS (
      `region-REGION.default_time_zone` = NULL,
      `region-REGION.default_kms_key_name` = NULL,
      `region-REGION.default_query_job_timeout_ms` = NULL,
      `region-REGION.default_interactive_query_queue_timeout_ms` = NULL,
      `region-REGION.default_batch_query_queue_timeout_ms` = NULL,
      `region-REGION.enable_info_schema_storage` = NULL);
  5. לוחצים על Run.

BQ

כדי להגדיר את ההגדרות האזוריות של הארגון, מזינים את הפקודה bq query ומספקים את הצהרת ה-DDL הבאה כפרמטר של השאילתה. מגדירים את הדגל use_legacy_sql לערך false.

  ALTER ORGANIZATION
  SET OPTIONS (
  `region-REGION.default_time_zone`= 'America/Chicago',
  -- Ensure all service accounts under the organization have permission to KMS_KEY
  `region-REGION.default_kms_key_name` = KMS_KEY,
  `region-REGION.default_query_job_timeout_ms` = 1800000,
  `region-REGION.default_interactive_query_queue_timeout_ms` = 600000,
  `region-REGION.default_batch_query_queue_timeout_ms` = 1200000);

מחליפים את מה שכתוב בשדות הבאים:

  • REGION: האזור שמשויך לפרויקט או לארגון שלכם – לדוגמה, us או europe-west6. הערך של REGION חייב להיות זהה לכל אפשרות בפקודה.
  • KMS_KEY: מפתח Cloud KMS שהוגדר על ידי המשתמש. מידע נוסף מופיע במאמר בנושא מפתחות Cloud KMS בניהול הלקוח.

לחלופין, כדי לנקות את ההגדרות האזוריות של הארגון, מזינים את הפקודה bq query ומספקים את הצהרת ה-DDL הבאה כפרמטר של השאילתה. מגדירים את הדגל use_legacy_sql לערך false:

ALTER ORGANIZATION
SET OPTIONS (
  `region-REGION.default_time_zone` = NULL,
  `region-REGION.default_kms_key_name` = NULL,
  `region-REGION.default_query_job_timeout_ms` = NULL,
  `region-REGION.default_interactive_query_queue_timeout_ms` = NULL,
  `region-REGION.default_batch_query_queue_timeout_ms` = NULL,
  `region-REGION.default_storage_billing_model`= NULL,
  `region-REGION.default_max_time_travel_hours` = NULL,
  `region-REGION.default_cloud_resource_connection_id` = NULL,
  `region-REGION.default_sql_dialect_option` = NULL,
  `region-REGION.enable_reservation_based_fairness` = NULL,
  `region-REGION.enable_global_queries_execution` = NULL,
  `region-REGION.enable_global_queries_data_access` = NULL);

API

מבצעים קריאה לשיטה jobs.query ומספקים את הצהרת ה-DDL במאפיין query של גוף הבקשה.

הגדרת הגדרות אזוריות לפרויקט

אפשר להגדיר הגדרות אזוריות ברמת הפרויקט באמצעות ALTER PROJECT SET OPTIONS הצהרת DDL. כשמציינים את ההגדרה, צריך לציין את האזור שבו היא חלה. אפשר להשתמש רק באזור אחד בכל הצהרה.

הגדרות ברמת הפרויקט מקבלות עדיפות על פני הגדרות ברמת הארגון. הגדרות ברמת הפרויקט יכולות להיות מוחלפות על ידי הגדרות ברמת הסשן, שיכולות להיות מוחלפות על ידי הגדרות ברמת הג'וב.

הצהרת ה-DDL‏ ALTER PROJECT SET OPTIONS מקבלת באופן אופציונלי את המשתנה PROJECT_ID. אם לא מציינים את המשתנה PROJECT_ID, ברירת המחדל היא הפרויקט הנוכחי שבו מריצים את הצהרת ה-DDL‏ ALTER PROJECT.

בדוגמה הבאה מפורטות כמה הגדרות אזוריות ברמת הפרויקט, כולל:

  • אזור זמן: America/Los_Angeles
  • מפתח Cloud KMS: מפתח לדוגמה
  • זמן קצוב לתפוגה של שאילתה: שעה אחת (1,800,000 אלפיות השנייה)
  • זמן קצוב לתפוגה של תור שאילתות אינטראקטיביות: 10 דקות (600,000 אלפיות השנייה)
  • הזמן הקצוב לתפוגה של תור שאילתות Batch: ‏ 20 דקות (1,200,000 אלפיות השנייה)
  • הוגנות מבוססת-הזמנות: מופעלת
  • שאילתות גלובליות: מופעלות להרצה ולגישה לנתונים
  • INFORMATION_SCHEMA: מופעל

כדי לראות את כל הגדרות הפרויקט האזוריות, עוברים אל project_set_options_list.

המסוף

  1. נכנסים לדף BigQuery במסוף Cloud de Confiance .

    כניסה ל-BigQuery

  2. לוחצים על עורך השאילתות. הכרטיסייה הזו נקראת search_insights Untitled query.

  3. כדי להגדיר את ההגדרות האזוריות של הפרויקט, מזינים את הצהרת ה-DDL הבאה בעורך השאילתות:

     ALTER PROJECT PROJECT_ID
     SET OPTIONS (
     `region-REGION.default_time_zone` = 'America/Los_Angeles',
     -- Ensure all service accounts under the project have permission to KMS_KEY
     `region-REGION.default_kms_key_name` = KMS_KEY,
     `region-REGION.default_query_job_timeout_ms` = 3600000,
     `region-REGION.default_interactive_query_queue_timeout_ms` = 600000,
     `region-REGION.default_batch_query_queue_timeout_ms` = 1200000,
     `region-REGION.enable_reservation_based_fairness` = true,
     `region-REGION.enable_global_queries_execution` = true,
     `region-REGION.enable_global_queries_data_access` = true,
     `region-REGION.enable_info_schema_storage` = true);

    מחליפים את מה שכתוב בשדות הבאים:

    • PROJECT_ID: מזהה הפרויקט.
    • REGION: האזור שמשויך לפרויקט או לארגון שלכם – לדוגמה, us או europe-west6. הערך של REGION חייב להיות זהה לכל אפשרות בפקודה.
    • KMS_KEY: מפתח Cloud KMS שמוגדר על ידי המשתמש. מידע נוסף מופיע במאמר בנושא מפתחות Cloud KMS בניהול הלקוח.
  4. לחלופין, כדי למחוק את הגדרות הפרויקט האזוריות, מזינים את הצהרת ה-DDL הבאה בעורך השאילתות:

      ALTER PROJECT PROJECT_ID
      SET OPTIONS (
      `region-REGION.default_time_zone` = NULL,
      `region-REGION.default_kms_key_name` = NULL,
      `region-REGION.default_query_job_timeout_ms` = NULL,
      `region-REGION.default_interactive_query_queue_timeout_ms` = NULL,
      `region-REGION.default_batch_query_queue_timeout_ms` = NULL,
      `region-REGION.enable_reservation_based_fairness` = false,
      `region-REGION.enable_info_schema_storage` = NULL);
  5. לוחצים על Run.

BQ

  1. כדי להגדיר את הגדרות הפרויקט האזוריות, מזינים את הפקודה bq query ומספקים את הצהרת ה-DDL הבאה כפרמטר של השאילתה. מגדירים את הדגל use_legacy_sql לערך false.

    ALTER PROJECT PROJECT_ID
    SET OPTIONS (
    `region-REGION.default_time_zone`= 'America/Chicago',
    -- Ensure all service accounts under the organization have permission to KMS_KEY
    `region-REGION.default_kms_key_name` = KMS_KEY,
    `region-REGION.default_query_job_timeout_ms` = 1800000,
    `region-REGION.default_interactive_query_queue_timeout_ms` = 600000,
    `region-REGION.default_batch_query_queue_timeout_ms` = 1200000,
    `region-REGION.enable_reservation_based_fairness` = true);

    מחליפים את מה שכתוב בשדות הבאים:

    • PROJECT_ID: מזהה הפרויקט.
    • REGION: האזור שמשויך לפרויקט או לארגון שלכם – לדוגמה, us או europe-west6. הערך של REGION חייב להיות זהה לכל אפשרות בפקודה.
    • KMS_KEY: מפתח Cloud KMS שהוגדר על ידי המשתמש. מידע נוסף מופיע במאמר בנושא מפתחות Cloud KMS בניהול הלקוח.
  2. לחלופין, כדי לנקות את הגדרות הפרויקט האזוריות, מזינים את הפקודה bq query ומספקים את הצהרת ה-DDL הבאה כפרמטר של השאילתה. מגדירים את הדגל use_legacy_sql לערך false:

    ALTER ORGANIZATION
    SET OPTIONS (
    `region-REGION.default_time_zone` = NULL,
    `region-REGION.default_kms_key_name` = NULL,
    `region-REGION.default_query_job_timeout_ms` = NULL,
    `region-REGION.default_interactive_query_queue_timeout_ms` = NULL,
    `region-REGION.default_batch_query_queue_timeout_ms` = NULL,
    `region-REGION.enable_reservation_based_fairness` = false,
    `region-REGION.enable_global_queries_execution` = NULL,
    `region-REGION.enable_global_queries_data_access` = NULL);

API

מבצעים קריאה לשיטה jobs.query ומספקים את הצהרת ה-DDL במאפיין query של גוף הבקשה.

אחזור הגדרות התצורה

אפשר לראות את הגדרות התצורה של ארגון או פרויקט באמצעות התצוגות הבאות של INFORMATION_SCHEMA:

יכול להיות שיחלפו כמה דקות עד שההגדרות החדשות ייכנסו לתוקף ויוצגו בתצוגה INFORMATION_SCHEMA.

התפקידים הנדרשים

כדי לקבל את ההרשאה שנדרשת לאחזור הגדרות, צריך לבקש מהאדמין להקצות לכם את תפקיד ה-IAM‏ BigQuery Job User (roles/bigquery.jobUser) בפרויקט שצוין. כדי לקרוא הסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

התפקיד המוגדר מראש הזה כולל את ההרשאה bigquery.config.get, שנדרשת כדי לאחזר הגדרות תצורה.

יכול להיות שתוכלו לקבל את ההרשאה הזו גם בתפקידים בהתאמה אישית או בתפקידים אחרים שמוגדרים מראש.

במאמר תפקידים והרשאות מוגדרים מראש יש מידע נוסף על תפקידים והרשאות ב-IAM ב-BigQuery.

דוגמאות

אפשר להשתמש בדוגמאות הבאות של שאילתות כדי לאחזר את ההגדרות של הפרויקט והארגון מתצוגות INFORMATION_SCHEMA.

הצגת ההגדרות הגלובליות

כדי לראות את כל ההגדרות הכלליות של הארגון, מריצים את השאילתה הבאה:

SELECT * FROM INFORMATION_SCHEMA.ORGANIZATION_OPTIONS;

כדי לראות רק את הגדרת מיקום ברירת המחדל בארגון, מריצים את השאילתה הבאה:

SELECT
    option_value
FROM INFORMATION_SCHEMA.ORGANIZATION_OPTIONS
WHERE option_name = 'default_location'

כדי לראות את כל ההגדרות הגלובליות שחלות על פרויקט ברירת המחדל, מריצים את השאילתה הבאה:

SELECT * FROM INFORMATION_SCHEMA.EFFECTIVE_PROJECT_OPTIONS;

כדי להציג רק את הגדרת המיקום שמוגדרת כברירת מחדל בתצורה הגלובלית של פרויקט ברירת המחדל, מריצים את השאילתה הבאה:

SELECT
    option_value
FROM INFORMATION_SCHEMA.EFFECTIVE_PROJECT_OPTIONS
WHERE option_name = 'default_location'

כדי להציג את כל ההגדרות הגלובליות של פרויקט ברירת המחדל, מריצים את השאילתה הבאה:

SELECT * FROM INFORMATION_SCHEMA.PROJECT_OPTIONS;

כדי לראות רק את הגדרת המיקום שמוגדרת כברירת מחדל בפרויקט ברירת המחדל, מריצים את השאילתה הבאה:

SELECT
    option_value
FROM INFORMATION_SCHEMA.PROJECT_OPTIONS
WHERE option_name = 'default_location'

הצגת ההגדרות האזוריות

כדי לראות את ההגדרות בארגון באזור us, מריצים את השאילתה הבאה:

SELECT * FROM region-us.INFORMATION_SCHEMA.ORGANIZATION_OPTIONS;

כדי להציג את ההגדרות שבתוקף בפרויקט ברירת המחדל באזור us, מריצים את השאילתה הבאה:

SELECT * FROM region-us.INFORMATION_SCHEMA.EFFECTIVE_PROJECT_OPTIONS;

כדי לראות את ההגדרות בפרויקט ברירת המחדל באזור us, מריצים את השאילתה הבאה:

SELECT * FROM region-us.INFORMATION_SCHEMA.PROJECT_OPTIONS;

הגדרות תצורה

בקטעים הבאים מפורטות הגדרות התצורה שאפשר לציין.

הגדרות של שאילתות והרצת משימות

ההגדרות הבאות מאפשרות לשלוט באופן ההרצה, התזמון וההוספה לתור של השאילתות.

  • default_batch_query_queue_timeout_ms: משך הזמן שמוגדר כברירת מחדל, באלפיות השנייה, שבו שאילתת אצווה מוכנסת לתור. אם לא מגדירים את המדיניות, ברירת המחדל היא 24 שעות. הערך המינימלי הוא אלפית שנייה. הערך המקסימלי הוא 48 שעות. כדי להשבית את הוספת שאילתות לאצווה לתור, מגדירים את הערך -1.

  • default_interactive_query_queue_timeout_ms: כמות הזמן שמוגדרת כברירת מחדל, באלפיות השנייה, שבה שאילתה אינטראקטיבית מוכנסת לתור. אם לא מגדירים את משך הזמן, ברירת המחדל היא שש שעות. הערך המינימלי הוא אלפית שנייה. הערך המקסימלי הוא 48 שעות. כדי להשבית את התור האינטראקטיבי של השאילתות, מגדירים את הערך -1.

  • default_query_job_timeout_ms: זמן ברירת המחדל שאחריו שאילתת משימה מסתיימת בטיימאאוט, כולל הזמן שהמשימה נמצאת בתור והזמן שחלף במהלך ההרצה. משך הזמן הקצוב לתפוגה צריך להיות בין 5 דקות ל-48 שעות. ההגדרה הזו של פסק זמן חלה רק על משימות של שאילתות בודדות ועל משימות צאצא של סקריפטים. כדי להגדיר זמן קצוב לתהליכי סקריפט, צריך להשתמש בשיטת ה-API‏ jobs.insert ולהגדיר את השדה jobTimeoutMs.

  • default_location: הגדרת התצורה default_location משמשת להרצת משימות כשהמיקום לא מוגדר או שלא ניתן לקבוע אותו. אם לא מוגדר default_location, העבודה מופעלת באזור US.

  • enable_reservation_based_fairness: האפשרות שקובעת איך משתפים יחידות קיבולת פנויות. ערך ברירת המחדל הוא false, כלומר יחידות קיבולת פנויות מחולקות באופן שווה בין כל הפרויקטים של השאילתות. אם האפשרות הזו מופעלת, יחידות הקיבולת הפנויות מחולקות באופן שווה בין כל המקומות השמורים, ואז בין הפרויקטים בתוך המקום השמור. מידע נוסף זמין במאמר בנושא הוגנות מבוססת-הזמנה. האפשרות הזו נתמכת רק ברמת הפרויקט. אי אפשר לציין את זה ברמת הארגון או ברמת המשימה.

  • default_time_zone: אזור הזמן שמוגדר כברירת מחדל לשימוש בפונקציות GoogleSQL שתלויות באזור הזמן, כשלא מציינים אזור זמן כארגומנט. ההגדרה הזו לא חלה על טבלאות עם חלוקה למחיצות לפי יחידות זמן (שמשתמשות ב-UTC כאזור הזמן), על העברות מתוזמנות של Storage Transfer Service או על טעינת נתונים באמצעות כלי שורת הפקודה של BigQuery. מידע נוסף זמין במאמר בנושא אזורי זמן.

  • default_query_optimizer_options: אופטימיזציות של שאילתות שמבוססות על היסטוריה. האפשרות הזו יכולה להיות אחת מהאפשרויות הבאות:

    • 'adaptive=on': שימוש באופטימיזציות של שאילתות שמבוססות על היסטוריה.
    • 'adaptive=off': לא להשתמש באופטימיזציות של שאילתות שמבוססות על היסטוריה.
    • NULL (ברירת מחדל): שימוש בהגדרת ברירת המחדל של אופטימיזציה של שאילתות שמבוססת על היסטוריה, ששווה ל-'adaptive=on'.
  • default_sql_dialect_option: הדיאלקט של שאילתת ה-SQL שמוגדר כברירת מחדל להרצת משימות של שאילתות באמצעות כלי שורת הפקודה של BigQuery או BigQuery API. שינוי ההגדרה הזו לא משפיע על ניב ברירת המחדל במסוף. האפשרות הזו יכולה להיות אחת מהאפשרויות הבאות:

    • 'default_legacy_sql' (ברירת מחדל): שימוש ב-SQL מדור קודם אם ניב השאילתה לא צוין ברמת העבודה.
    • 'default_google_sql': אם לא מציינים את דיאלקט השאילתה ברמת העבודה, נעשה שימוש ב-GoogleSQL.
    • 'only_google_sql': שימוש ב-GoogleSQL אם הניב של השאילתה לא צוין ברמת העבודה. לדחות עבודות עם ניב שאילתות שמוגדר ל-SQL מדור קודם.
    • NULL: שימוש בהגדרת ברירת המחדל של דיאלקט השאילתה, ששווה ל-'default_legacy_sql'.
  • enable_global_queries_execution: האפשרות שקובעת אם אפשר להריץ שאילתות גלובליות. ערך ברירת המחדל הוא FALSE, כלומר שאילתות גלובליות לא מופעלות.

  • enable_global_queries_data_access: האפשרות שקובעת אם שאילתות גלובליות יכולות לגשת לנתונים שמאוחסנים באזור. ערך ברירת המחדל הוא FALSE, כלומר שאילתות גלובליות לא יכולות להעתיק נתונים מהאזור הזה, לא משנה באיזה פרויקט הן מופעלות.

הגדרות לניהול נתונים

משתמשים בהגדרות הבאות כדי להגדיר כללים ליצירת נתונים, לאבטחה ולמחזור החיים.

  • default_column_name_character_map: היקף ברירת המחדל והטיפול בתווים בשמות העמודות. אם לא מגדירים את האפשרות הזו, טעינת משימות שמשתמשות בתווים לא נתמכים בשמות של עמודות נכשלת ומוצגת הודעת שגיאה. יכול להיות שחלק מהטבלאות הישנות יותר מוגדרות להחלפת תווים לא נתמכים בשמות של עמודות. מידע נוסף זמין במאמר load_option_list.

  • default_kms_key_name: מפתח ברירת המחדל של Cloud Key Management Service להצפנת נתוני טבלה, כולל טבלאות זמניות או אנונימיות. מידע נוסף מופיע במאמר בנושא מפתחות Cloud KMS בניהול הלקוח.

  • default_max_time_travel_hours: חלון ברירת המחדל של Time Travel בשעות למערכי נתונים חדשים. משך הזמן הזה צריך להיות בין 48 ל-168, כולל, וצריך להתחלק ב-24. שינוי ברירת המחדל של מספר השעות המקסימלי של נסיעה בזמן לא משפיע על מערכי נתונים קיימים. מידע נוסף זמין במאמר Time Travel ושמירת נתונים.

  • enable_info_schema_storage: האפשרות שמספקת גישה לתצוגות INFORMATION_SCHEMA.TABLE_STORAGE ו-SEARCH_INDEXES ולגרסאות שלהן. האפשרות הזו לא מופעלת כברירת מחדל. אם תשאלו שאילתות לגבי התצוגות האלה בפעם הראשונה בלי להגדיר את האפשרות הזו לערך TRUE, השאילתה תיכשל ותקבלו הוראות להפעלה שלה. אחרי שמפעילים את האפשרות הזו, השאילתות מצליחות באופן מיידי ומחזירות נתונים שנוצרו מאותה נקודה והלאה. תהליך מילוי חוסרים מלא של נתונים היסטוריים יכול להימשך יום אחד עד שהנתונים יהיו זמינים בתצוגות. אם השתמשתם בתצוגות האלה לפני שההגדרה הזו נוספה, האפשרות הזו כבר מופעלת.

הגדרות עלות ומשאבים

ההגדרות הבאות קובעות איך המשאבים יחויבו ואיך הם יקושרו.

  • default_storage_billing_model: מודל החיוב שמוגדר כברירת מחדל לאחסון של מערכי נתונים חדשים. מגדירים את הערך ל-PHYSICAL כדי להשתמש בבייטים פיזיים כשמחשבים את עלויות האחסון, או ל-LOGICAL כדי להשתמש בבייטים לוגיים. שימו לב: שינוי מודל החיוב שמוגדר כברירת מחדל לא משפיע על מערכי נתונים קיימים. מידע נוסף זמין במאמר מודלים לחיוב על אחסון.
  • default_cloud_resource_connection_id: חיבור ברירת המחדל שמשמש ליצירת טבלאות ומודלים. צריך לציין רק את המזהה או השם של החיבור, ולא לכלול את מזהה הפרויקט המצורף ואת הקידומות של האזור. שימוש בחיבורי ברירת מחדל עלול לגרום לעדכון ההרשאות שניתנו לחשבון השירות של החיבור, בהתאם לסוג הטבלה או המודל שאתם יוצרים. מידע נוסף זמין במאמר סקירה כללית של חיבור ברירת המחדל.
  • reservation_override_mode (Preview): מציין איך אפשר לבטל את ההגדרות של הזמנות שאילתות באזור (לדוגמה, 'ALLOW_ANY_OVERRIDE'). פרטים נוספים זמינים ברשימת האפשרויות של ALTER PROJECT SET OPTIONS.
  • disable_on_demand_billing (Preview): קובע אם החיוב על פי דרישה מושבת עבור שאילתות באזור. אם true, כל השאילתות חייבות להשתמש בהזמנה שהוקצתה, אחרת הן ייכשלו. פרטים נוספים זמינים ברשימת האפשרויות של ALTER PROJECT SET OPTIONS.
  • preflight_fluid_autoscaling_reservations: רשימת ההזמנות שהופעלה בהן האפשרות של שינוי גודל דינמי לחיוב לפי שניות ללא משך מינימלי. מידע נוסף זמין במאמר הסבר על הזמנות.

תמחור

השימוש בשירות ההגדרות האישיות של BigQuery לא כרוך בתשלום נוסף. מידע נוסף על תמחור