ניהול הקצאות של עומסי עבודה

המסוף

1. נכנסים לדף BigQuery במסוף Cloud de Confiance .

   כניסה ל-BigQuery

2. בתפריט הניווט, לוחצים על ניהול קיבולת.

3. לוחצים על Create reservation.

4. בשדה Reservation name, נותנים שם להזמנה.

5. ברשימה Location, בוחרים את המיקום. אם בוחרים מיקום ב-BigQuery Omni, אפשר לבחור רק במהדורת Enterprise.

6. ברשימה מהדורה, בוחרים את המהדורה. תכונות של מהדורות BigQuery, כמו התאמה אוטומטית לעומס, זמינות רק במהדורה. למידע נוסף, קראו את המאמר מבוא למהדורות של BigQuery.

7. ברשימה Max reservation size selector, בוחרים את הגודל המקסימלי של ההזמנה.

8. אופציונלי: בשדה Baseline slots, מזינים את מספר המשבצות הבסיסיות להזמנה.

   מספר המשבצות הזמינות להתאמה אוטומטית לעומס נקבע על ידי חיסור הערך של Baseline slots מהערך של Max reservation size. לדוגמה, אם יוצרים הזמנה עם 100 משבצות בסיסיות וגודל הזמנה מקסימלי של 400, להזמנה יש 300 משבצות להתאמה אוטומטית לעומס. מידע נוסף על משבצות בסיסיות מופיע במאמר שימוש בהזמנות עם משבצות בסיסיות ומשבצות להתאמה אוטומטית לעומס (autoscaling).

9. כדי להשבית את שיתוף המשבצות הלא פעילות ולהשתמש רק בקיבולת המשבצות שצוינה, לוחצים על המתג Ignore idle slots.

10. כדי להרחיב את הקטע Advanced settings, לוחצים על החץ expand_more.

11. אופציונלי: כדי להגדיר את מספר המשימות המקבילות, לוחצים על המתג Override automatic target job concurrency ומזינים את מספר המשימות המקבילות בשדה Target Job Concurrency.

12. אופציונלי: כדי להגדיר כללי ברירת מחדל לתזמון פרויקטים בשביל ההזמנה, מגדירים לפחות אחת מהאפשרויות הבאות:

    1. כדי להגביל את מספר השאילתות בו-זמנית שמותרות לכל פרויקט שהוקצה למקום השמור, לוחצים על המתג Override project concurrency למצב מופעל, ואז מזינים ערך בשדה Project Concurrency.
    2. כדי להגביל את צריכת ה-slots של כל פרויקט שמוקצה למאגר, לוחצים על המתג Override project max slots למצב מופעל, ואז מזינים ערך בשדה Project Max Slots.

13. בודקים את פירוט המשבצות שמוצג בטבלה Cost estimate ואת סיכום ההזמנה בטבלה Capacity summary.

14. לוחצים על Save.

ההזמנה החדשה מופיעה בכרטיסייה Slot reservations.

SQL

כדי ליצור הזמנה, משתמשים בהצהרת ה-DDL‏ CREATE RESERVATION.

1. נכנסים לדף BigQuery במסוף Cloud de Confiance .

   כניסה ל-BigQuery

2. בעורך השאילתות, מזינים את ההצהרה הבאה:

   CREATE RESERVATION
     `ADMIN_PROJECT_ID.region-LOCATION.RESERVATION_NAME`
   OPTIONS (
     slot_capacity = NUMBER_OF_BASELINE_SLOTS,
     edition = EDITION,
     autoscale_max_slots = NUMBER_OF_AUTOSCALING_SLOTS,
     scheduling_policy_max_slots = MAX_SLOTS_PER_PROJECT,
     scheduling_policy_concurrency = MAX_CONCURRENCY_PER_PROJECT);

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫ADMIN_PROJECT_ID: מזהה הפרויקט של פרויקט הניהול שבבעלותו משאב ההזמנה
   • ‫LOCATION: המיקום של ההזמנה. אם בוחרים מיקום ב-BigQuery Omni, אפשרות המהדורה מוגבלת למהדורת Enterprise.

   • ‫RESERVATION_NAME: שם ההזמנה

     השם יכול להכיל רק תווים אלפאנומריים קטנים או מקפים, חייב להתחיל באות ולא להסתיים במקף, והאורך המקסימלי הוא 64 תווים.

   • ‫NUMBER_OF_BASELINE_SLOTS: מספר המשבצות הבסיסיות שיוקצו להזמנה. אי אפשר להגדיר את האפשרות slot_capacity ואת אפשרות המהדורה standard באותה הזמנה.
   • ‫EDITION: מהדורת ההזמנה. הערכים הנתמכים הם STANDARD,‏ ENTERPRISE ו-ENTERPRISE_PLUS. הקצאת הזמנה למהדורה כרוכה בשינויים בתכונות ובמחירים. למידע נוסף, קראו את המאמר מבוא למהדורות של BigQuery.
   • ‫NUMBER_OF_AUTOSCALING_SLOTS: מספר יחידות הקיבולת להתאמה אוטומטית לעומס שהוקצו למקום השמור. הערך הזה שווה לערך של הגודל המקסימלי של ההזמנה פחות מספר המשבצות הבסיסיות.
   • ‫MAX_SLOTS_PER_PROJECT: המגבלה שמוגדרת כברירת מחדל על צריכת ה-slots של שאילתות שפועלות בכל פרויקט שמוקצה להזמנה.
   • ‫MAX_CONCURRENCY_PER_PROJECT: המגבלה שמוגדרת כברירת מחדל על מספר השאילתות בו-זמנית שמותרות לכל פרויקט שמוקצה להזמנה.

3. לוחצים על play_circle הפעלה.

מידע נוסף על הרצת שאילתות זמין במאמר הרצת שאילתה אינטראקטיבית.

BQ

כדי ליצור הזמנה, משתמשים בפקודה bq mk עם הדגל --reservation:

bq mk \
    --project_id=ADMIN_PROJECT_ID \
    --location=LOCATION \
    --reservation \
    --slots=NUMBER_OF_BASELINE_SLOTS \
    --ignore_idle_slots=false \
    --edition=EDITION \
    --autoscale_max_slots=NUMBER_OF_AUTOSCALING_SLOTS \
    --max_slots=MAXIMUM_NUMBER_OF_SLOTS
    --scaling_mode=SCALING_MODE
    RESERVATION_NAME

מחליפים את מה שכתוב בשדות הבאים:

• ‫ADMIN_PROJECT_ID: מזהה הפרויקט
• ‫LOCATION: המיקום של ההזמנה. אם בוחרים מיקום ב-BigQuery Omni, אפשר לבחור רק במהדורת Enterprise.

• ‫NUMBER_OF_BASELINE_SLOTS: מספר יחידות הקיבולת הבסיסיות שיוקצו למקום השמור

• ‫RESERVATION_NAME: שם ההזמנה. השם יכול להכיל רק תווים אלפאנומריים קטנים או מקפים, חייב להתחיל באות ולא להסתיים במקף, והאורך המקסימלי הוא 64 תווים.

• ‫EDITION: מהדורת ההזמנה. הערכים הנתמכים הם STANDARD,‏ ENTERPRISE ו-ENTERPRISE_PLUS. הקצאת הזמנה למהדורה כרוכה בשינויים בתכונות ובמחירים. למידע נוסף, קראו את המאמר מבוא למהדורות של BigQuery.

• ‫NUMBER_OF_AUTOSCALING_SLOTS: מספר יחידות הקיבולת להתאמה אוטומטית לעומס שהוקצו למקום השמור. הערך הזה שווה לערך של הגודל המקסימלי של ההזמנה פחות מספר המשבצות הבסיסיות. אי אפשר להגדיר את זה באמצעות הדגלים --max_slots או --scaling_mode.

• ‫MAXIMUM_NUMBER_OF_SLOTS: המספר המקסימלי של משבצות שההזמנה יכולה לצרוך. צריך להגדיר את הערך הזה באמצעות הדגל --scaling_mode (תצוגה מקדימה).

• ‫SCALING_MODE: מצב ההתאמה לעומס (scaling) של ההזמנה. האפשרויות הן ALL_SLOTS,‏ IDLE_SLOTS_ONLY או AUTOSCALE_ONLY. צריך להגדיר את הערך הזה באמצעות הדגל --scaling_mode (תצוגה מקדימה).

למידע על הדגל --ignore_idle_slots, קראו את המאמר משבצות לא פעילות. ערך ברירת המחדל הוא false.

Terraform

משתמשים במשאב google_bigquery_reservation.

כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לספריות לקוח.

בדוגמה הבאה נוצרת בקשה לשמירת מקום בשם my-reservation:

resource "google_bigquery_reservation" "default" {
  name              = "my-reservation"
  location          = "us-central1"
  slot_capacity     = 100
  edition           = "ENTERPRISE"
  ignore_idle_slots = false # Use idle slots from other reservations
  concurrency       = 0     # Automatically adjust query concurrency based on available resources
  autoscale {
    max_slots = 200 # Allow the reservation to scale up to 300 slots (slot_capacity + max_slots) if needed
  }
}

כך מחילים את ההגדרות של Terraform בפרויקט ב- Cloud de Confiance :

הכנת Cloud Shell

1. מפעילים את Cloud Shell.

2. מגדירים את פרויקט ברירת המחדל ב- Cloud de Confiance שבו רוצים להחיל את ההגדרות של Terraform.

   תצטרכו להריץ את הפקודה הזו רק פעם אחת לכל פרויקט, ותוכלו לעשות זאת בכל ספרייה.

   export GOOGLE_CLOUD_PROJECT=PROJECT_ID

   אם תגדירו ערכים ספציפיים בקובץ התצורה של Terraform, הם יבטלו את ערכי ברירת המחדל של משתני הסביבה.

הכנת הספרייה

לכל קובץ תצורה של Terraform צריכה להיות ספרייה משלו (שנקראת גם מודול ברמה הבסיסית).

1. יוצרים ספרייה חדשה ב-Cloud Shell ובה יוצרים קובץ חדש. שם הקובץ חייב לכלול את הסיומת .tf, למשל main.tf. במדריך הזה, הקובץ נקרא main.tf.

   mkdir DIRECTORY && cd DIRECTORY && touch main.tf

2. אם אתם עוקבים אחרי המדריך, תוכלו להעתיק את הקוד לדוגמה בכל קטע או שלב.

   מעתיקים את הקוד לדוגמה בקובץ main.tf החדש שיצרתם.

   לחלופין, אפשר גם להעתיק את הקוד מ-GitHub. כדאי לעשות את זה כשקטע הקוד של Terraform הוא חלק מפתרון מקצה לקצה.

3. בודקים את הפרמטרים לדוגמה ומשנים אותם בהתאם לסביבה שלכם.
4. שומרים את השינויים.
5. מפעילים את Terraform. צריך לעשות זאת רק פעם אחת לכל ספרייה.

   terraform init

   אופציונלי: תוכלו לכלול את האפשרות -upgrade, כדי להשתמש בגרסה העדכנית ביותר של הספק של Google:

   terraform init -upgrade

החלה של השינויים

1. בודקים את ההגדרות ומוודאים שהמשאבים שמערכת Terraform תיצור או תעדכן תואמים לציפיות שלכם:

   terraform plan

   מתקנים את ההגדרות לפי הצורך.

2. מריצים את הפקודה הבאה ומזינים yes בהודעה שמופיעה, כדי להחיל את הגדרות Terraform:

   terraform apply

   ממתינים עד שב-Terraform תוצג ההודעה "Apply complete!‎".

3. פותחים את הפרויקט ב- Cloud de Confiance כדי להציג את התוצאות. במסוף Cloud de Confiance , נכנסים למשאבים בממשק המשתמש כדי לוודא שהם נוצרו או עודכנו ב-Terraform.

Python

# TODO(developer): Set project_id to the project ID containing the
# reservation.
project_id = "your-project-id"

# TODO(developer): Set location to the location of the reservation.
# See: https://cloud.google.com/bigquery/docs/locations for a list of
# available locations.
location = "US"

# TODO(developer): Set reservation_id to a unique ID of the reservation.
reservation_id = "sample-reservation"

# TODO(developer): Set slot_capicity to the number of slots in the
# reservation.
slot_capacity = 100

# TODO(developer): Choose a transport to use. Either 'grpc' or 'rest'
transport = "grpc"

# ...

from google.cloud.bigquery_reservation_v1.services import reservation_service
from google.cloud.bigquery_reservation_v1.types import (
    reservation as reservation_types,
)

reservation_client = reservation_service.ReservationServiceClient(
    transport=transport
)

parent = reservation_client.common_location_path(project_id, location)

reservation = reservation_types.Reservation(slot_capacity=slot_capacity)
reservation = reservation_client.create_reservation(
    parent=parent,
    reservation=reservation,
    reservation_id=reservation_id,
)

print(f"Created reservation: {reservation.name}")

המסוף

1. נכנסים לדף BigQuery במסוף Cloud de Confiance .

   כניסה ל-BigQuery

2. בחלונית הניווט, עוברים לקטע כלי לניהול עומס העבודה ולוחצים על יצירת מקום שמור.

3. בשדה Reservation name, נותנים שם להזמנה.

4. ברשימה Location, בוחרים את המיקום. אם בוחרים מיקום ב-BigQuery Omni, אפשר לבחור רק במהדורת Enterprise.

5. ברשימה מהדורה, בוחרים את המהדורה. למידע נוסף, קראו את המאמר הסבר על מהדורות BigQuery.

6. ברשימה Max reservation size selector, בוחרים את הגודל המקסימלי של ההזמנה.

7. אופציונלי: בשדה Baseline slots, מזינים את מספר המשבצות הבסיסיות להזמנה.

   מספר המשבצות הזמינות להתאמה אוטומטית לעומס נקבע על ידי חיסור הערך של Baseline slots מהערך של Max reservation size. לדוגמה, אם יוצרים הזמנה עם 100 משבצות בסיסיות וגודל הזמנה מקסימלי של 400, להזמנה יש 300 משבצות להתאמה אוטומטית לעומס. מידע נוסף על משבצות בסיסיות מופיע במאמר שימוש בהזמנות עם משבצות בסיסיות ומשבצות להתאמה אוטומטית לעומס (autoscaling).

8. כדי להשבית את שיתוף המשבצות הלא פעילות ולהשתמש רק בקיבולת המשבצות שצוינה, לוחצים על המתג Ignore idle slots.

9. כדי להרחיב את הקטע Advanced settings, לוחצים על החץ expand_more.

10. אופציונלי: כדי להגדיר כללי מדיניות ברירת מחדל לתזמון פרויקטים בשביל ההזמנה, מגדירים את האפשרויות הבאות:

    • Project Concurrency: הגבלת מספר המשימות שפועלות בו-זמנית בפרויקט מסוים במסגרת ההזמנה הזו.
    • ‫Project Max Slots: הגבלת צריכת ה-slots של שאילתות שפועלות בפרויקט מסוים במסגרת ההזמנה הזו.

11. ברשימה How to use idle slots?‎, בוחרים את אפשרות ההגדרה.

    • הכי צפוי: קודם כל צורך משבצות בסיסיות, אחר כך משבצות לא פעילות, ולבסוף משבצות בהתאמה אוטומטית לעומס, עד למספר המקסימלי שצוין.
    • פחות צפוי: צורך רק משבצות בסיסיות ומשבצות לא פעילות, עד למספר המקסימלי של משבצות. לא נעשה שימוש ב-Autoscaling slots.
    • הכי משתנה: כל המשבצות הפנויות הזמינות משמשות להגדלה מעל ערך הבסיס. לאחר מכן, המערכת משתמשת ביחידות קיבולת להתאמה אוטומטית לעומס, עד להפרש בין המקסימום לבין הבסיס. במצב כזה, יכול להיות שההזמנה תחרוג ממספר ה-slots המקסימלי שצוין.

12. פירוט המשבצות מוצג בטבלה Cost estimate. סיכום של שמירת המקום מוצג בטבלה Capacity summary.

13. לוחצים על Save.

ההזמנה החדשה מופיעה בכרטיסייה Slot reservations.

BQ

כדי ליצור הזמנה צפויה, משתמשים בפקודה bq mk עם הדגל --reservation ומגדירים את הערך של max_slots ו-scaling_mode:

bq mk \
    --project_id=ADMIN_PROJECT_ID \
    --location=LOCATION \
    --reservation \
    --slots=NUMBER_OF_BASELINE_SLOTS \
    --ignore_idle_slots=false \
    --edition=EDITION \
    --max_slots=MAXIMUM_NUMBER_OF_SLOTS \
    --scaling_mode=SCALING_MODE
    RESERVATION_NAME

מחליפים את מה שכתוב בשדות הבאים:

• ‫ADMIN_PROJECT_ID: מזהה הפרויקט
• ‫LOCATION: המיקום של ההזמנה. אם בוחרים מיקום ב-BigQuery Omni, אפשר לבחור רק במהדורת Enterprise.

• ‫NUMBER_OF_BASELINE_SLOTS: מספר יחידות הקיבולת הבסיסיות שיוקצו למקום השמור

• ‫RESERVATION_NAME: שם ההזמנה

• ‫EDITION: מהדורת ההזמנה. הקצאת הזמנה למהדורה כרוכה בשינויים בתכונות ובמחירים. למידע נוסף, קראו את המאמר מבוא למהדורות של BigQuery.

• ‫MAXIMUM_NUMBER_OF_SLOTS: המספר המקסימלי של משבצות שההזמנה יכולה לצרוך. צריך להגדיר את הערך הזה באמצעות הדגל --scaling_mode.

• ‫SCALING_MODE: מצב ההתאמה לעומס (scaling) של ההזמנה. האפשרויות הן ALL_SLOTS,‏ IDLE_SLOTS_ONLY או AUTOSCALE_ONLY. צריך להגדיר את הערך הזה באמצעות הדגל max_slots. הערך הזה צריך להיות תואם לדגל ignore_idle_slots. פרטים נוספים זמינים במאמר יכולת החיזוי של הזמנות.

למידע על הדגל --ignore_idle_slots, קראו את המאמר משבצות לא פעילות. ערך ברירת המחדל הוא false.

SQL

כדי ליצור הזמנה צפויה, משתמשים בהצהרת ה-DDL‏ CREATE RESERVATION.

1. נכנסים לדף BigQuery במסוף Cloud de Confiance .

   כניסה ל-BigQuery

2. בעורך השאילתות, מזינים את ההצהרה הבאה:

   CREATE RESERVATION
     `ADMIN_PROJECT_ID.region-LOCATION.RESERVATION_NAME`
   OPTIONS (
     slot_capacity = NUMBER_OF_BASELINE_SLOTS,
     edition = EDITION,
     ignore_idle_slots = IGNORE_IDLE_SLOTS,
     max_slots = MAX_NUMBER_OF_SLOTS,
     scaling_mode = SCALING_MODE,
     scheduling_policy_max_slots = MAX_SLOTS_PER_PROJECT,
     scheduling_policy_concurrency = MAX_CONCURRENCY_PER_PROJECT);

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫ADMIN_PROJECT_ID: מזהה הפרויקט של פרויקט הניהול שבבעלותו משאב ההזמנה.
   • ‫LOCATION: המיקום של ההזמנה. אם בוחרים מיקום ב-BigQuery Omni, אפשרות המהדורה מוגבלת למהדורת Enterprise.
   • ‫RESERVATION_NAME: שם ההזמנה.השם יכול להכיל רק תווים אלפאנומריים קטנים או מקפים, חייב להתחיל באות ולא להסתיים במקף, והאורך המקסימלי הוא 64 תווים.
   • ‫NUMBER_OF_BASELINE_SLOTS: מספר הבסיס של יחידות הקיבולת שיוקצו למקום השמור. אי אפשר להגדיר את האפשרות slot_capacity ואת אפשרות המהדורה standard באותה הזמנה.
   • ‫EDITION: מהדורת ההזמנה. הקצאת הזמנה למהדורה כרוכה בשינויים בתכונות ובמחירים. למידע נוסף, קראו את המאמר מבוא למהדורות של BigQuery.
   • ‫IGNORE_IDLE_SLOTS: אם המאגר משתמש במשבצות לא פעילות או לא. ערך ברירת המחדל הוא false.
   • ‫MAX_NUMBER_OF_SLOTS: המספר המקסימלי של משבצות שההזמנה יכולה לצרוך. צריך להגדיר את הערך הזה עם האפשרות scaling_mode.
   • ‫SCALING_MODE: מצב ההתאמה לעומס (scaling) של ההזמנה. האפשרויות הן ALL_SLOTS,‏ IDLE_SLOTS_ONLY או AUTOSCALE_ONLY. צריך להגדיר את הערך הזה עם האפשרות max_slots. הערך הזה צריך להיות תואם לאפשרות ignore_idle_slots. פרטים נוספים זמינים במאמר יכולת החיזוי של הזמנות.
   • ‫MAX_SLOTS_PER_PROJECT: המגבלה שמוגדרת כברירת מחדל על צריכת ה-slots של שאילתות שפועלות בכל פרויקט שמוקצה להזמנה.
   • ‫MAX_CONCURRENCY_PER_PROJECT: המגבלה שמוגדרת כברירת מחדל על מספר השאילתות בו-זמנית שמותרות לכל פרויקט שמוקצה להזמנה.

3. לוחצים על play_circle הפעלה.

מידע נוסף על הרצת שאילתות זמין במאמר הרצת שאילתה אינטראקטיבית.

Terraform

משתמשים במשאב google_bigquery_reservation.

כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לספריות לקוח.

בדוגמה הבאה יוצרים קבוצת הזמנות צפויות בשם my-reservation:

resource "google_bigquery_reservation" "default" {
  provider          = google-beta
  name              = "my-reservation"
  location          = "us-central1"
  slot_capacity     = 100
  edition           = "ENTERPRISE"
  ignore_idle_slots = true
  concurrency       = 0 # Automatically adjust query concurrency based on available resources
  max_slots         = 300
  scaling_mode      = "AUTOSCALE_ONLY"
}

כך מחילים את ההגדרות של Terraform בפרויקט ב- Cloud de Confiance :

הכנת Cloud Shell

1. מפעילים את Cloud Shell.

2. מגדירים את פרויקט ברירת המחדל ב- Cloud de Confiance שבו רוצים להחיל את ההגדרות של Terraform.

   תצטרכו להריץ את הפקודה הזו רק פעם אחת לכל פרויקט, ותוכלו לעשות זאת בכל ספרייה.

   export GOOGLE_CLOUD_PROJECT=PROJECT_ID

   אם תגדירו ערכים ספציפיים בקובץ התצורה של Terraform, הם יבטלו את ערכי ברירת המחדל של משתני הסביבה.

הכנת הספרייה

לכל קובץ תצורה של Terraform צריכה להיות ספרייה משלו (שנקראת גם מודול ברמה הבסיסית).

1. יוצרים ספרייה חדשה ב-Cloud Shell ובה יוצרים קובץ חדש. שם הקובץ חייב לכלול את הסיומת .tf, למשל main.tf. במדריך הזה, הקובץ נקרא main.tf.

   mkdir DIRECTORY && cd DIRECTORY && touch main.tf

2. אם אתם עוקבים אחרי המדריך, תוכלו להעתיק את הקוד לדוגמה בכל קטע או שלב.

   מעתיקים את הקוד לדוגמה בקובץ main.tf החדש שיצרתם.

   לחלופין, אפשר גם להעתיק את הקוד מ-GitHub. כדאי לעשות את זה כשקטע הקוד של Terraform הוא חלק מפתרון מקצה לקצה.

3. בודקים את הפרמטרים לדוגמה ומשנים אותם בהתאם לסביבה שלכם.
4. שומרים את השינויים.
5. מפעילים את Terraform. צריך לעשות זאת רק פעם אחת לכל ספרייה.

   terraform init

   אופציונלי: תוכלו לכלול את האפשרות -upgrade, כדי להשתמש בגרסה העדכנית ביותר של הספק של Google:

   terraform init -upgrade

החלה של השינויים

1. בודקים את ההגדרות ומוודאים שהמשאבים שמערכת Terraform תיצור או תעדכן תואמים לציפיות שלכם:

   terraform plan

   מתקנים את ההגדרות לפי הצורך.

2. מריצים את הפקודה הבאה ומזינים yes בהודעה שמופיעה, כדי להחיל את הגדרות Terraform:

   terraform apply

   ממתינים עד שב-Terraform תוצג ההודעה "Apply complete!‎".

3. פותחים את הפרויקט ב- Cloud de Confiance כדי להציג את התוצאות. במסוף Cloud de Confiance , נכנסים למשאבים בממשק המשתמש כדי לוודא שהם נוצרו או עודכנו ב-Terraform.

SQL

משתמשים בהצהרה ALTER PROJECT SET OPTIONS:

• כדי להפעיל או לעדכן את התכונה ברשימה של הזמנות:

  ALTER PROJECT `ADMIN_PROJECT_ID`
  SET OPTIONS (
    `region-LOCATION.preflight_fluid_autoscaling_reservations` = ["RESERVATION_NAME"]);
  

• כדי להשבית את התכונה בכל ההזמנות באזור מסוים:

  ALTER PROJECT `ADMIN_PROJECT_ID`
  SET OPTIONS (
    `region-LOCATION.preflight_fluid_autoscaling_reservations` = NULL);
  

מחליפים את מה שכתוב בשדות הבאים:

• ‫ADMIN_PROJECT_ID: מזהה הפרויקט לניהול.
• ‫LOCATION: המיקום של ההזמנה, לדוגמה us-central1.
• ‫RESERVATION_NAME: שם המקום השמור שרוצים להפעיל בו את ההתאמה הגמישה לעומס ב-BigQuery. השם יכול להכיל רק תווים אלפאנומריים קטנים או מקפים, חייב להתחיל באות ולא להסתיים במקף, והאורך המקסימלי הוא 64 תווים.

המסוף

1. נכנסים לדף BigQuery במסוף Cloud de Confiance .

   כניסה ל-BigQuery

2. בתפריט הניווט, לוחצים על Workload management.

3. לוחצים על הכרטיסייה Slot reservations.

4. מוצאים את ההזמנה שרוצים לעדכן.

5. מרחיבים את האפשרות more_vert פעולות.

6. לוחצים על Edit.

7. בתיבת הדו-שיח Max reservation size selector, מזינים את הגודל המקסימלי של ההזמנה.

8. בשדה Baseline slots, מזינים את מספר המשבצות הבסיסיות.

9. כדי להרחיב את הקטע Advanced settings, לוחצים על החץ expand_more.

10. אופציונלי: כדי להגדיר את מספר המשימות המקבילות, לוחצים על המתג Override automatic target job concurrency ומזינים את מספר המשימות המקבילות בשדה Target Job Concurrency.

11. לוחצים על Save.

SQL

כדי לשנות את גודל ההזמנה, משתמשים בהצהרת שפת הגדרת הנתונים (DDL) של ALTER RESERVATION SET OPTIONS.

1. נכנסים לדף BigQuery במסוף Cloud de Confiance .

   כניסה ל-BigQuery

2. בעורך השאילתות, מזינים את ההצהרה הבאה:

   ALTER RESERVATION
     `ADMIN_PROJECT_ID.region-LOCATION.RESERVATION_NAME`
   SET OPTIONS (
     slot_capacity = NUMBER_OF_BASELINE_SLOTS,
     autoscale_max_slots = NUMBER_OF_AUTOSCALING_SLOTS);

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫ADMIN_PROJECT_ID: מזהה הפרויקט של פרויקט הניהול שבבעלותו משאב ההזמנה
   • ‫LOCATION: המיקום של ההזמנה, לדוגמה europe-west9.
   • ‫RESERVATION_NAME: שם ההזמנה. השם יכול להכיל רק תווים אלפאנומריים קטנים או מקפים, חייב להתחיל באות ולא להסתיים במקף, והאורך המקסימלי הוא 64 תווים.
   • ‫NUMBER_OF_BASELINE_SLOTS: מספר המשבצות הבסיסיות שיוקצו להזמנה.
   • ‫NUMBER_OF_AUTOSCALING_SLOTS: מספר יחידות הקיבולת להתאמה אוטומטית לעומס שהוקצו למקום השמור. הערך הזה שווה לערך של הגודל המקסימלי של ההזמנה פחות מספר המשבצות הבסיסיות.

3. לוחצים על play_circle הפעלה.

מידע נוסף על הרצת שאילתות זמין במאמר הרצת שאילתה אינטראקטיבית.

BQ

כדי לעדכן את הגודל של ההזמנה, משתמשים בפקודה bq update עם הדגל --reservation:

bq update \
    --project_id=ADMIN_PROJECT_ID \
    --location=LOCATION \
    --slots=NUMBER_OF_BASELINE_SLOTS \
    --autoscale_max_slots=NUMBER_OF_AUTOSCALING_SLOTS \
    --reservation RESERVATION_NAME

מחליפים את מה שכתוב בשדות הבאים:

• ‫ADMIN_PROJECT_ID: מזהה הפרויקט
• ‫LOCATION: המיקום של ההזמנה
• ‫NUMBER_OF_BASELINE_SLOTS: מספר יחידות הקיבולת הבסיסיות שיוקצו למקום השמור
• ‫RESERVATION_NAME: שם ההזמנה. השם יכול להכיל רק תווים אלפאנומריים קטנים או מקפים, חייב להתחיל באות ולא להסתיים במקף, והאורך המקסימלי הוא 64 תווים.
• ‫NUMBER_OF_AUTOSCALING_SLOTS: מספר יחידות הקיבולת להתאמה אוטומטית לעומס שהוקצו למקום השמור. הערך הזה שווה לערך של הגודל המקסימלי של ההזמנה פחות מספר המשבצות הבסיסיות.

Python

# TODO(developer): Set project_id to the project ID containing the
# reservation.
project_id = "your-project-id"

# TODO(developer): Set location to the location of the reservation.
# See: https://cloud.google.com/bigquery/docs/locations for a list of
# available locations.
location = "US"

# TODO(developer): Set reservation_id to a unique ID of the reservation.
reservation_id = "sample-reservation"

# TODO(developer): Set slot_capicity to the new number of slots in the
# reservation.
slot_capacity = 50

# TODO(developer): Choose a transport to use. Either 'grpc' or 'rest'
transport = "grpc"

# ...

from google.cloud.bigquery_reservation_v1.services import reservation_service
from google.cloud.bigquery_reservation_v1.types import (
    reservation as reservation_types,
)
from google.protobuf import field_mask_pb2

reservation_client = reservation_service.ReservationServiceClient(
    transport=transport
)

reservation_name = reservation_client.reservation_path(
    project_id, location, reservation_id
)
reservation = reservation_types.Reservation(
    name=reservation_name,
    slot_capacity=slot_capacity,
)
field_mask = field_mask_pb2.FieldMask(paths=["slot_capacity"])
reservation = reservation_client.update_reservation(
    reservation=reservation, update_mask=field_mask
)

print(f"Updated reservation: {reservation.name}")
print(f"\tslot_capacity: {reservation.slot_capacity}")

SQL

שולחים שאילתה לעמודה ignore_idle_slots בתצוגה INFORMATION_SCHEMA.RESERVATIONS_BY_PROJECT.

1. נכנסים לדף BigQuery במסוף Cloud de Confiance .

   כניסה ל-BigQuery

2. בעורך השאילתות, מזינים את ההצהרה הבאה:

   SELECT
     reservation_name,
     ignore_idle_slots
   FROM
     `ADMIN_PROJECT_ID.region-LOCATION`.INFORMATION_SCHEMA.RESERVATIONS_BY_PROJECT;

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫ADMIN_PROJECT_ID: מזהה הפרויקט של פרויקט הניהול שבבעלותו משאבי ההזמנה
   • ‫LOCATION: המיקום של ההזמנות

3. לוחצים על play_circle הפעלה.

מידע נוסף על הרצת שאילתות זמין במאמר הרצת שאילתה אינטראקטיבית.

BQ

משתמשים בפקודה bq ls עם הדגל --reservation:

bq ls --reservation \
    --project_id=ADMIN_PROJECT_ID \
    --location=LOCATION

מחליפים את מה שכתוב בשדות הבאים:

• ‫ADMIN_PROJECT_ID: מזהה הפרויקט של פרויקט הניהול שבבעלותו משאבי ההזמנה
• ‫LOCATION: המיקום של ההזמנות

השדה ignoreIdleSlots מכיל את הגדרת התצורה.

המסוף

1. נכנסים לדף BigQuery במסוף Cloud de Confiance .

   כניסה ל-BigQuery

2. בתפריט הניווט, לוחצים על Workload management.

3. לוחצים על הכרטיסייה Slot reservations.

4. מוצאים את ההזמנה שרוצים למחוק.

5. מרחיבים את האפשרות more_vert פעולות.

6. לוחצים על Delete.

7. בתיבת הדו-שיח Delete reservation, לוחצים על Delete.

SQL

כדי למחוק הזמנה, משתמשים בהצהרת ה-DDL‏ DROP RESERVATION.

1. נכנסים לדף BigQuery במסוף Cloud de Confiance .

   כניסה ל-BigQuery

2. בעורך השאילתות, מזינים את ההצהרה הבאה:

   DROP RESERVATION
     `ADMIN_PROJECT_ID.region-LOCATION.RESERVATION_NAME`;

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫ADMIN_PROJECT_ID: מזהה הפרויקט של פרויקט הניהול שבבעלותו משאב ההזמנה
   • ‫LOCATION: המיקום של ההזמנה
   • ‫RESERVATION_NAME: המזהה של ההזמנה

3. לוחצים על play_circle הפעלה.

מידע נוסף על הרצת שאילתות זמין במאמר הרצת שאילתה אינטראקטיבית.

BQ

כדי למחוק הזמנה, משתמשים בפקודה bq rm עם הדגל --reservation:

bq rm \
    --project_id=ADMIN_PROJECT_ID \
    --location=LOCATION \
    --reservation RESERVATION_NAME

מחליפים את מה שכתוב בשדות הבאים:

• ‫ADMIN_PROJECT_ID: מזהה הפרויקט של פרויקט הניהול שבבעלותו משאב ההזמנה
• ‫LOCATION: המיקום של ההזמנה
• ‫RESERVATION_NAME: שם ההזמנה. השם יכול להכיל רק תווים אלפאנומריים קטנים או מקפים, חייב להתחיל באות ולא להסתיים במקף, והאורך המקסימלי הוא 64 תווים.

Python

# TODO(developer): Set project_id to the project ID containing the
# reservation.
project_id = "your-project-id"

# TODO(developer): Set location to the location of the reservation.
# See: https://cloud.google.com/bigquery/docs/locations for a list of
# available locations.
location = "US"

# TODO(developer): Set reservation_id to a unique ID of the reservation.
reservation_id = "sample-reservation"

# TODO(developer): Choose a transport to use. Either 'grpc' or 'rest'
transport = "grpc"

# ...

from google.cloud.bigquery_reservation_v1.services import reservation_service

reservation_client = reservation_service.ReservationServiceClient(
    transport=transport
)
reservation_name = reservation_client.reservation_path(
    project_id, location, reservation_id
)
reservation_client.delete_reservation(name=reservation_name)

print(f"Deleted reservation: {reservation_name}")

המסוף

במסוף Cloud de Confiance , אתם יכולים להשתמש בתנאי כדי לאפשר גישה למספר משאבי הזמנות.

1. נכנסים לדף IAM במסוף Cloud de Confiance .

   כניסה לדף IAM

2. בוחרים פרויקט, תיקייה או ארגון.

3. כדי להקצות את התפקיד bigquery.resourceEditor לחשבון משתמש שיש לו תפקיד במשאבי ההזמנה:

   1. בכרטיסייה View by principals, מנווטים לחשבון המשתמש הרלוונטי או משתמשים באפשרות Filter כדי למצוא את חשבון המשתמש.

   2. לוחצים על edit Edit principal.

   3. בדף Assign roles, לוחצים על add Add roles.

   4. בשדה Search for roles, מזינים את הערך bigquery.resourceEditor.

   5. מסמנים את האפשרות BigQuery Resource Editor בתוצאות החיפוש ולוחצים על Apply.

   6. לוחצים על Save.

4. לחלופין, כדי לתת את התפקיד bigquery.resourceEditor לחשבון משתמש שאין לו תפקיד במשאבי ההזמנה:

   1. לוחצים על person_add Grant Access.

   2. בדף Add principals, בשדה New principals, מזינים את המזהה של חשבון המשתמש, לדוגמה //iam.googleapis.com/locations/global/workforcePools/my-pool/subject/my-user@example.com.

   3. לוחצים על add הוספת תפקידים.

   4. בשדה Search for roles, מזינים את הערך bigquery.resourceEditor.

   5. מסמנים את האפשרות BigQuery Resource Editor בתוצאות החיפוש ולוחצים על Apply.

   6. בתיבה BigQuery Resource Editor, לוחצים על Add condition.

   7. בדף הוספת תנאי:

      1. מזינים ערכים בשדות Title ו-Description.

      2. בכלי להגדרת תנאים, מוסיפים את התנאי. לדוגמה, כדי להוסיף תנאי שמעניק את התפקיד לכל שמות ההזמנות שמסתיימים ב-/reservation1, בוחרים באפשרות Name בשדה Condition type, באפשרות Ends with בשדה Operator ומזינים /reservation1 בשדה Value.

      3. לוחצים על Save.

5. לוחצים על Save.

BQ

בכלי שורת הפקודה של BigQuery, אתם יכולים לתת גישה למשאב הזמנה ספציפי.

כדי לתת גישה להזמנה, משתמשים בפקודה bq set-iam-policy:

bq set-iam-policy --reservation RESOURCE FILE_NAME

מחליפים את מה שכתוב בשדות הבאים:

• ‫RESOURCE: מזהה ההזמנה. לדוגמה, project1:US.reservation1.

• ‫FILE_NAME: הקובץ שמכיל את המדיניות בפורמט JSON. הפורמט צריך להתאים למבנה של מדיניות IAM לכללי מדיניות הרשאה. לדוגמה:

  {
    "bindings": [
      {
        "members": [
          "user:my-user@example.com"
        ],
        "role": "roles/bigquery.resourceEditor"
      }
    ],
    "etag": "BwUjMhCsNvY=",
    "version": 1
  }

המסוף

1. נכנסים לדף BigQuery במסוף Cloud de Confiance .

   כניסה ל-BigQuery

2. בתפריט הניווט, לוחצים על Workload management.

3. מסמנים את התיבה לצד ההזמנה שרוצים להוסיף לקבוצה.

4. לוחצים על הכפתור Create reservation group בכותרת הטבלה.

5. בחלונית Create reservation group, נותנים שם לקבוצה בשדה Group name.

6. אופציונלי: בשדה Reservations, בוחרים עוד הזמנות שרוצים להוסיף לקבוצה. לוחצים על אישור.

7. לוחצים על יצירה.

קבוצת ההזמנות החדשה מופיעה בכרטיסייה Slot reservations.

BQ

כדי ליצור הזמנה, משתמשים בפקודה bq mk עם הדגל --reservation:

bq mk \
    --project_id=ADMIN_PROJECT_ID \
    --location=LOCATION \
    --reservation_group \
    RESERVATION_GROUP_NAME

מחליפים את מה שכתוב בשדות הבאים:

• ‫ADMIN_PROJECT_ID: מזהה הפרויקט
• ‫LOCATION: המיקום של ההזמנה.
• ‫RESERVATION_GROUP_NAME: השם של קבוצת ההזמנות. השם יכול להכיל רק תווים אלפאנומריים קטנים או מקפים, חייב להתחיל באות ולא להסתיים במקף, והאורך המקסימלי הוא 64 תווים.

Terraform

משתמשים במשאב google_bigquery_reservation_group.

כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לספריות לקוח.

בדוגמה הבאה נוצרת קבוצת הזמנות בשם my-reservation-group:

resource "google_bigquery_reservation_group" "default" {
  name     = "my-reservation-group"
  location = "us-central1"
}

כך מחילים את ההגדרות של Terraform בפרויקט ב- Cloud de Confiance :

הכנת Cloud Shell

1. מפעילים את Cloud Shell.

2. מגדירים את פרויקט ברירת המחדל ב- Cloud de Confiance שבו רוצים להחיל את ההגדרות של Terraform.

   תצטרכו להריץ את הפקודה הזו רק פעם אחת לכל פרויקט, ותוכלו לעשות זאת בכל ספרייה.

   export GOOGLE_CLOUD_PROJECT=PROJECT_ID

   אם תגדירו ערכים ספציפיים בקובץ התצורה של Terraform, הם יבטלו את ערכי ברירת המחדל של משתני הסביבה.

הכנת הספרייה

לכל קובץ תצורה של Terraform צריכה להיות ספרייה משלו (שנקראת גם מודול ברמה הבסיסית).

1. יוצרים ספרייה חדשה ב-Cloud Shell ובה יוצרים קובץ חדש. שם הקובץ חייב לכלול את הסיומת .tf, למשל main.tf. במדריך הזה, הקובץ נקרא main.tf.

   mkdir DIRECTORY && cd DIRECTORY && touch main.tf

2. אם אתם עוקבים אחרי המדריך, תוכלו להעתיק את הקוד לדוגמה בכל קטע או שלב.

   מעתיקים את הקוד לדוגמה בקובץ main.tf החדש שיצרתם.

   לחלופין, אפשר גם להעתיק את הקוד מ-GitHub. כדאי לעשות את זה כשקטע הקוד של Terraform הוא חלק מפתרון מקצה לקצה.

3. בודקים את הפרמטרים לדוגמה ומשנים אותם בהתאם לסביבה שלכם.
4. שומרים את השינויים.
5. מפעילים את Terraform. צריך לעשות זאת רק פעם אחת לכל ספרייה.

   terraform init

   אופציונלי: תוכלו לכלול את האפשרות -upgrade, כדי להשתמש בגרסה העדכנית ביותר של הספק של Google:

   terraform init -upgrade

החלה של השינויים

1. בודקים את ההגדרות ומוודאים שהמשאבים שמערכת Terraform תיצור או תעדכן תואמים לציפיות שלכם:

   terraform plan

   מתקנים את ההגדרות לפי הצורך.

2. מריצים את הפקודה הבאה ומזינים yes בהודעה שמופיעה, כדי להחיל את הגדרות Terraform:

   terraform apply

   ממתינים עד שב-Terraform תוצג ההודעה "Apply complete!‎".

3. פותחים את הפרויקט ב- Cloud de Confiance כדי להציג את התוצאות. במסוף Cloud de Confiance , נכנסים למשאבים בממשק המשתמש כדי לוודא שהם נוצרו או עודכנו ב-Terraform.

המסוף

1. נכנסים לדף BigQuery במסוף Cloud de Confiance .

   כניסה ל-BigQuery

2. בתפריט הניווט, לוחצים על Workload management.

3. מרחיבים את האפשרות more_vert פעולות.

4. לוחצים על Edit.

5. בחלונית Edit reservation group, בוחרים את ההזמנות שרוצים להוסיף בשדה Reservations. לוחצים על אישור.

6. לוחצים על Save.

קבוצת ההזמנות מתעדכנת בהזמנות האחרונות של החברים.

BQ

כדי לעדכן את ההזמנה ולהגדיר את קבוצת ההזמנות, משתמשים בפקודה bq update עם הדגל --reservation:

bq update \
    --project_id=ADMIN_PROJECT_ID \
    --location=LOCATION \
    --reservation_group_name=RESERVATION_GROUP_NAME \
    --reservation RESERVATION_NAME

מחליפים את מה שכתוב בשדות הבאים:

• ‫ADMIN_PROJECT_ID: מזהה הפרויקט
• ‫LOCATION: המיקום של ההזמנה
• ‫RESERVATION_GROUP_NAME: השם של קבוצת ההזמנות. השם יכול להכיל רק תווים אלפאנומריים קטנים או מקפים, חייב להתחיל באות ולא להסתיים במקף, והאורך המקסימלי הוא 64 תווים.
• ‫RESERVATION_NAME: שם ההזמנה. השם יכול להכיל רק תווים אלפאנומריים קטנים או מקפים, חייב להתחיל באות ולא להסתיים במקף, והאורך המקסימלי הוא 64 תווים.

המסוף

1. נכנסים לדף BigQuery במסוף Cloud de Confiance .

   כניסה ל-BigQuery

2. בתפריט הניווט, לוחצים על Workload management.

3. בכרטיסייה Slot reservations, בטבלה מוצגות גם קבוצות של הזמנות וגם הזמנות (ללא קבוצת הורה).

4. לוחצים על כפתור ההרחבה לצד קבוצת ההזמנות. שורת קבוצת ההזמנות תתרחב ותציג את ההזמנות של החברים בשורות הבאות.

BQ

כדי להציג את רשימת ההזמנות ולכלול את פרטי קבוצת ההזמנות, משתמשים בפקודה bq ls עם הדגל --reservation:

bq ls \
    --project_id=ADMIN_PROJECT_ID \
    --location=LOCATION \
    --reservation

מחליפים את מה שכתוב בשדות הבאים:

• ‫ADMIN_PROJECT_ID: מזהה הפרויקט
• ‫LOCATION: המיקום של ההזמנה

המסוף

1. נכנסים לדף BigQuery במסוף Cloud de Confiance .

   כניסה ל-BigQuery

2. בתפריט הניווט, לוחצים על Workload management.

3. מרחיבים את האפשרות more_vert פעולות.

4. לוחצים על Edit.

5. בחלונית Edit reservation group, בוחרים את ההזמנות שרוצים להסיר בשדה Reservations. לוחצים על אישור.

6. לוחצים על Save.

קבוצת ההזמנות מתעדכנת בהזמנות האחרונות של החברים.

אם ההזמנה שרוצים להסיר היא האחרונה בקבוצה:

1. נכנסים לדף BigQuery במסוף Cloud de Confiance .

   כניסה ל-BigQuery

2. בתפריט הניווט, לוחצים על Workload management.

3. מרחיבים את האפשרות more_vert פעולות.

4. לוחצים על Edit.

5. בחלונית עריכת קבוצת ההזמנות, לוחצים על ביטול הקיבוץ.

קבוצת ההזמנות נמחקת.

BQ

כדי להסיר את ההזמנה מקבוצת ההזמנות, משתמשים בפקודה bq update עם הדגל --reservation:

bq update \
    --project_id=ADMIN_PROJECT_ID \
    --location=LOCATION \
    --reservation_group_name="" \
    --reservation RESERVATION_NAME

מחליפים את מה שכתוב בשדות הבאים:

• ‫ADMIN_PROJECT_ID: מזהה הפרויקט
• ‫LOCATION: המיקום של ההזמנה
• ‫NUMBER_OF_BASELINE_SLOTS: מספר יחידות הקיבולת הבסיסיות שיוקצו למקום השמור
• ‫RESERVATION_NAME: שם ההזמנה. השם יכול להכיל רק תווים אלפאנומריים קטנים או מקפים, חייב להתחיל באות ולא להסתיים במקף, והאורך המקסימלי הוא 64 תווים.

המסוף

1. נכנסים לדף BigQuery במסוף Cloud de Confiance .

   כניסה ל-BigQuery

2. בתפריט הניווט, לוחצים על Workload management.

3. מוצאים את קבוצת ההזמנות שרוצים למחוק. מוודאים שאין הזמנות שרשומות תחתיו.

4. מרחיבים את האפשרות more_vert Actions של קבוצת ההזמנות.

5. לוחצים על Edit.

6. בחלונית עריכת קבוצת ההזמנות, לוחצים על ביטול הקיבוץ.

BQ

כדי למחוק קבוצת הזמנות ריקה, משתמשים בפקודה bq rm עם הדגל --reservation_group:

bq rm \
    --project_id=ADMIN_PROJECT_ID \
    --location=LOCATION \
    --reservation_group RESERVATION_GROUP_NAME

מחליפים את מה שכתוב בשדות הבאים:

• ‫ADMIN_PROJECT_ID: מזהה הפרויקט
• ‫LOCATION: המיקום של ההזמנה
• ‫RESERVATION_GROUP_NAME: השם של קבוצת ההזמנות. השם יכול להכיל רק תווים אלפאנומריים קטנים או מקפים, חייב להתחיל באות ולא להסתיים במקף, והאורך המקסימלי הוא 64 תווים.