ביצוע חיזויים באמצעות מודלים של PyTorch בפורמט ONNX

‫Open Neural Network Exchange‏ (ONNX) מספק פורמט אחיד שנועד לייצג כל מסגרת של למידת מכונה. התמיכה של BigQuery ML ב-ONNX מאפשרת:

  • לאמן מודל באמצעות ה-framework המועדף עליכם.
  • ממירים את המודל לפורמט ONNX.
  • מייבאים את מודל ה-ONNX ל-BigQuery ומבצעים חיזויים באמצעות BigQuery ML.

במדריך הזה מוסבר איך לייבא מודלים של ONNX שאומנו באמצעות PyTorch למערך נתונים ב-BigQuery, ולהשתמש בהם כדי ליצור חיזויים משאילתת SQL.

מטרות

  • מייבאים מודל שעבר אימון מראש באמצעות PyTorch.
  • ממירים את המודל לפורמט ONNX באמצעות torch.onnx.
  • משתמשים בהצהרה CREATE MODEL כדי לייבא את מודל ONNX ל-BigQuery.
  • משתמשים בפונקציה ML.PREDICT כדי ליצור תחזיות באמצעות מודל ONNX המיובא.

עלויות

במסמך הזה משתמשים ברכיבים הבאים של Cloud de Confiance by S3NS, והשימוש בהם כרוך בתשלום:

כשמסיימים את המשימות שמתוארות במסמך הזה אפשר למחוק את המשאבים שיצרתם כדי להימנע מחיובים נוספים. מידע נוסף זמין בקטע הסרת המשאבים.

לפני שמתחילים

  1. In the Cloud de Confiance console, on the project selector page, select or create a Cloud de Confiance project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  2. מוודאים שהחיוב מופעל בפרויקט ב- Cloud de Confiance .

  3. מפעילים את ממשקי ה-API של BigQuery, של BigQuery Connection ושל Cloud Storage, אם הם עדיין לא מופעלים.

    התפקידים שנדרשים כדי להפעיל ממשקי API

    כדי להפעיל ממשקי API, צריך את ההרשאה serviceusage.services.enable. אם אתם יצרתם את הפרויקט, סביר להניח שכבר יש לכם את ההרשאה הזו דרך התפקיד "בעלים" (roles/owner). אחרת, אתם יכולים לקבל את ההרשאה הזו דרך התפקיד "אדמין בממשק 'שימוש בשירות'" (roles/serviceusage.serviceUsageAdmin). איך מקצים תפקידים?

    הפעלת ממשקי ה-API

  4. מוודאים שיש לכם את ההרשאות הנדרשות כדי לבצע את המשימות שמפורטות במסמך הזה.

התפקידים הנדרשים

אם אתם יוצרים פרויקט חדש, אתם הבעלים של הפרויקט ומוענקות לכם כל ההרשאות הנדרשות בממשק של ניהול הזהויות והרשאות הגישה (IAM) כדי להשלים את המדריך הזה.

אם אתם משתמשים בפרויקט קיים, בצעו את הפעולות הבאות.

צריך לוודא שיש לכם בפרויקט את התפקיד או התפקידים הבאים:

בדיקת התפקידים

  1. נכנסים לדף IAM במסוף Cloud de Confiance .

    כניסה לדף IAM
  2. בוחרים את הפרויקט.
  3. בעמודה Principal, מחפשים את כל השורות שמזהות אתכם או קבוצה שאתם חברים בה. כדי לברר לאילו קבוצות אתם שייכים, פנו לאדמין.

  4. בכל השורות שבהן אתם מופיעים, בודקים בעמודה Role אם רשימת התפקידים כוללת את התפקידים הנדרשים.

מתן התפקידים

  1. נכנסים לדף IAM במסוף Cloud de Confiance .

    כניסה לדף IAM
  2. בוחרים את הפרויקט.
  3. לוחצים על Grant access.
  4. בשדה New principals, מזינים את מזהה המשתמש. ‫ בדרך כלל זה המזהה של משתמש במאגר זהויות של כוח עבודה. למידע נוסף, קראו את המאמר ייצוג המשתמשים במאגרי כוח עבודה בכללי מדיניות IAM או פנו לאדמין שלכם.

  5. לוחצים על Select a role ומחפשים את התפקיד.
  6. כדי לתת עוד תפקידים, לוחצים על Add another role ומוסיפים אותם.
  7. לוחצים על Save.

למידע נוסף על הרשאות IAM ב-BigQuery, קראו את המאמר הרשאות IAM.

אופציונלי: אימון מודל והמרה שלו לפורמט ONNX

בדוגמאות הקוד הבאות אפשר לראות איך לייבא מודל סיווג שעבר אימון מראש ל-PyTorch, ואיך להמיר את המודל שנוצר לפורמט ONNX. במדריך הזה נשתמש במודל לדוגמה שנוצר מראש ומאוחסן ב-gs://cloud-samples-data/bigquery/ml/onnx/resnet18.onnx. אם אתם משתמשים במודל לדוגמה, אתם לא צריכים לבצע את השלבים האלה.

יצירת מודל ראייה ממוחשבת ב-PyTorch לסיווג תמונות

אפשר להשתמש בדוגמת הקוד הבאה כדי לייבא מודל resnet18 שעבר אימון מראש ב-PyTorch, שמקבל נתוני תמונה מפוענחים שמוחזרים על ידי הפונקציות ML.DECODE_IMAGE ו-ML.RESIZE_IMAGE של BigQuery ML.

import torch
import torch.nn as nn

# Define model input format to match the output format of
# ML.DECODE_IMAGE function: [height, width, channels]
dummy_input = torch.randn(1, 224, 224, 3, device="cpu")

# Load a pretrained pytorch model for image classification
model = torch.hub.load('pytorch/vision:v0.10.0', 'resnet18', pretrained=True)

# Reshape input format from [batch_size, height, width, channels]
# to [batch_size, channels, height, width]
class ReshapeLayer(nn.Module):
    def __init__(self):
        super().__init__()

    def forward(self, x):
        x = x.permute(0, 3, 1, 2)  # reorder dimensions
        return x

class ArgMaxLayer(nn.Module):
    def __init__(self):
        super().__init__()

    def forward(self, x):
       return torch.argmax(x, dim=1)

final_model = nn.Sequential(
    ReshapeLayer(),
    model,
    nn.Softmax(),
    ArgMaxLayer()
)

המרת המודל לפורמט ONNX

כדי לייצא את מודל הראייה הממוחשבת של PyTorch באמצעות torch.onnx, השתמשו בדוגמה הבאה: קובץ ה-ONNX המיוצא נקרא resnet18.onnx.

torch.onnx.export(final_model,            # model being run
                  dummy_input,            # model input
                  "resnet18.onnx",        # where to save the model
                  opset_version=10,       # the ONNX version to export the model to
                  input_names = ['input'],         # the model's input names
                  output_names = ['class_label'])  # the model's output names

העלאת מודל ONNX ל-Cloud Storage

אחרי ששומרים את המודל, מבצעים את הפעולות הבאות:

יצירת קבוצת נתונים

כדי ליצור מערך נתונים ב-BigQuery, בוחרים אחת מהאפשרויות הבאות:

המסוף

  1. נכנסים לדף BigQuery במסוף Cloud de Confiance .

    כניסה ל-BigQuery

  2. בחלונית הימנית, לוחצים על Explorer:

    כפתור מודגש לחלונית Explorer.

    אם החלונית הימנית לא מוצגת, לוחצים על Expand left pane כדי לפתוח אותה.

  3. ב-Explorer, מרחיבים את הפרויקט ולוחצים על Datasets.

  4. בדף Datasets, לוחצים על Create dataset.

  5. בחלונית Create dataset:

    • בשדה Dataset ID, מזינים bqml_tutorial.

    • בקטע Data location (מיקום הנתונים), בוחרים באפשרות US (ארה"ב).

    משאירים את שאר הגדרות ברירת המחדל כמו שהן.

  6. לוחצים על Create dataset.

BQ

כדי ליצור קבוצת נתונים חדשה, משתמשים בפקודה bq mk --dataset.

  1. יוצרים מערך נתונים בשם bqml_tutorial ומגדירים את מיקום הנתונים ל-US:

    bq mk --dataset \
      --location=US \
      --description "BigQuery ML tutorial dataset." \
      bqml_tutorial
  2. מוודאים שמערך הנתונים נוצר:

    bq ls

API

מפעילים את השיטה datasets.insert עם משאב של מערך נתונים מוגדר:

{
  "datasetReference": {
     "datasetId": "bqml_tutorial"
  }
}

ייבוא של מודל ONNX ל-BigQuery

כדי לייבא את המודל לדוגמה של ONNX מ-Cloud Storage למערך הנתונים, משתמשים בהצהרה CREATE MODEL.

המסוף

  1. נכנסים לדף BigQuery Studio במסוף Cloud de Confiance .

    כניסה ל-BigQuery Studio

  2. בעורך השאילתות, מזינים את ההצהרה הבאה של CREATE MODEL.

    CREATE OR REPLACE MODEL `bqml_tutorial.imported_onnx_model`
     OPTIONS (MODEL_TYPE='ONNX',
      MODEL_PATH='BUCKET_PATH')

    מחליפים את BUCKET_PATH בנתיב למודל שהעליתם ל-Cloud Storage. אם אתם משתמשים במודל לדוגמה, החליפו את BUCKET_PATH בערך הבא: gs://cloud-samples-data/bigquery/ml/onnx/resnet18.onnx.

    בסיום הפעולה, תופיע הודעה דומה לזו: Successfully created model named imported_onnx_model.

    המודל החדש מופיע בחלונית משאבים. המודלים מסומנים בסמל המודל: סמל המודל בחלונית Resources.. אם בוחרים את המודל החדש בחלונית Resources, המידע על המודל מופיע ליד עורך השאילתות.

    חלונית המידע של `imported_onnx_model`.

BQ

  1. מייבאים את המודל של ONNX מ-Cloud Storage באמצעות הזנת ההצהרה הבאה של CREATE MODEL.

    bq query --use_legacy_sql=false \
    "CREATE OR REPLACE MODEL
      `bqml_tutorial.imported_onnx_model`
    OPTIONS
      (MODEL_TYPE='ONNX',
       MODEL_PATH='BUCKET_PATH')"

    מחליפים את BUCKET_PATH בנתיב למודל שהעליתם ל-Cloud Storage. אם אתם משתמשים במודל לדוגמה, החליפו את BUCKET_PATH בערך הזה: gs://cloud-samples-data/bigquery/ml/onnx/resnet18.onnx.

  2. אחרי שמייבאים את המודל, מוודאים שהוא מופיע במערך הנתונים.

    bq ls -m bqml_tutorial

    הפלט אמור להיראות כך:

    tableId               Type
    --------------------- -------
    imported_onnx_model  MODEL

מידע נוסף על ייבוא מודלים של ONNX ל-BigQuery, כולל דרישות הפורמט והאחסון, זמין במאמר ההצהרה CREATE MODEL לייבוא מודלים של ONNX.

יצירת טבלת אובייקטים ב-BigQuery כדי לנתח נתוני תמונות

טבלת אובייקטים היא טבלה לקריאה בלבד של אובייקטים של נתונים לא מובְנים שנמצאים ב-Cloud Storage. טבלאות אובייקטים מאפשרות לנתח נתונים לא מובְנים מ-BigQuery.

במדריך הזה תשתמשו בפונקציה ML.PREDICT כדי להפיק את תווית הסיווג החזויה של תמונת קלט שמאוחסנת בקטגוריה של Cloud Storage.

כדי ליצור את טבלת האובייקטים, צריך לבצע את הפעולות הבאות:

  • יוצרים קטגוריה של Cloud Storage ומעלים תמונה של דג זהב.
  • יוצרים קישור למשאבים ב-Cloud שמשמש לגישה לטבלת האובייקטים.
  • נותנים גישה לחשבון השירות של החיבור למשאב.

יצירת קטגוריה והעלאת תמונה

כדי ליצור קטגוריה של Cloud Storage ולהעלות תמונה של דג זהב, צריך לפעול לפי השלבים הבאים:

המסוף

  1. במסוף Cloud de Confiance , נכנסים לדף Buckets של Cloud Storage.

    כניסה לדף Buckets

  2. לוחצים על Create.

  3. ממלאים את פרטי הקטגוריה בדף Create a bucket.

    1. בקטע Get started:

      1. בתיבה, מזינים bqml_images.

      2. לוחצים על Continue.

    2. בקטע Choose where to store your data מבצעים את הפעולות הבאות:

      1. בשדה Location type, בוחרים באפשרות Multi-region.

      2. בתפריט של סוג המיקום, בוחרים באפשרות US (multiple regions in United States).

      3. לוחצים על Continue.

    3. בקטע Choose a storage class for your data:

      1. בוחרים באפשרות הגדרת מחלקה כברירת מחדל.

      2. בוחרים באפשרות רגילה.

      3. לוחצים על Continue.

    4. בקטעים האחרים, משאירים את ערכי ברירת המחדל.

  4. לוחצים על יצירה.

שורת הפקודה

מזינים את הפקודה הבאה ב-gcloud storage buckets create:

gcloud storage buckets create gs://bqml_images --location=us

אם הבקשה מבוצעת בהצלחה, הפקודה תחזיר את ההודעה הבאה:

Creating gs://bqml_images/...

העלאת תמונה לקטגוריה של Cloud Storage

אחרי שיוצרים את הקטגוריה, מורידים תמונה של דג זהב ומעלים אותה לקטגוריה של Cloud Storage.

כדי להעלות את התמונה:

המסוף

  1. במסוף Cloud de Confiance , נכנסים לדף Buckets של Cloud Storage.

    כניסה לדף Buckets

  2. ברשימת הקטגוריות, לוחצים על bqml_images.

  3. בכרטיסייה Objects של הקטגוריה, מבצעים אחת מהפעולות הבאות:

    • גוררים את הקובץ משולחן העבודה או ממנהל הקבצים ומשחררים אותו בחלונית הראשית של מסוף Cloud de Confiance .

    • לוחצים על Upload > Upload files, בוחרים את קובץ התמונה שרוצים להעלות בתיבת הדו-שיח שמופיעה ולוחצים על Open.

שורת הפקודה

מזינים את הפקודה הבאה ב-gcloud storage cp:

gcloud storage cp OBJECT_LOCATION gs://bqml_images/IMAGE_NAME

מחליפים את מה שכתוב בשדות הבאים:

  • ‫OBJECT_LOCATION: הנתיב המקומי לקובץ התמונה. לדוגמה, Desktop/goldfish.jpg.
  • ‫IMAGE_NAME: שם התמונה. לדוגמה, goldfish.jpg.

אם הפעולה מצליחה, התשובה תהיה דומה לדוגמה הבאה:

Completed files 1/1 | 164.3kiB/164.3kiB

יצירת קישור למשאבים ב-Cloud ב-BigQuery

כדי להתחבר לטבלת האובייקטים שתיצרו בהמשך המדריך, צריך להיות לכם חיבור למשאבים ב-Cloud.

קישורים למשאבים ב-Cloud מאפשרים לשלוח שאילתות על נתונים שמאוחסנים מחוץ ל-BigQuery בשירותי Cloud de Confiance כמו Cloud Storage או Spanner, או במקורות של צד שלישי כמו AWS או Azure. החיבורים החיצוניים האלה משתמשים ב-BigQuery Connection API.

כדי ליצור קישור למשאבים ב-Cloud:

המסוף

  1. נכנסים לדף BigQuery Studio.

    כניסה ל-BigQuery Studio

  2. בחלונית השמאלית, לוחצים על database Data Explorer:

    הכפתור המודגש של חלונית הנתונים.

    אם החלונית הימנית לא מוצגת, לוחצים על הרחבת החלונית הימנית כדי לפתוח אותה.

  3. בחלונית נתונים, לוחצים על הוספת נתונים.

    תיבת הדו-שיח Add data נפתחת.

  4. בחלונית Filter By, בקטע Data Source Type, בוחרים באפשרות Databases.

    אפשר גם להזין Vertex AI בשדה Search for data sources.

  5. בקטע Featured data sources, לוחצים על Vertex AI.

  6. לוחצים על כרטיס הפתרון מודלי AI של Vertex: איחוד BigQuery.

  7. ברשימה Connection type, בוחרים באפשרות Vertex AI remote models, פונקציות מרוחקות ו-BigLake (Cloud Resource).

  8. בשדה Connection ID, מזינים את הערך bqml_tutorial.

  9. מוודאים שהאפשרות Multi-region—US נבחרה.

  10. לוחצים על יצירת חיבור.

  11. בתחתית החלון, לוחצים על מעבר לחיבור. לחלופין, בחלונית Explorer לוחצים על Connections ואז על us.bqml_tutorial.

  12. בחלונית Connection info, מעתיקים את מזהה חשבון השירות. תצטרכו את המזהה הזה כשתגדירו את ההרשאות לחיבור. כשיוצרים משאב חיבור, BigQuery יוצר חשבון שירות ייחודי של המערכת ומשייך אותו לחיבור.

BQ

  1. יצירת חיבור:

    bq mk --connection --location=US --project_id=PROJECT_ID \
        --connection_type=CLOUD_RESOURCE bqml_tutorial

    מחליפים את PROJECT_ID במזהה הפרויקט ב-Cloud de Confiance . הפרמטר --project_id מבטל את פרויקט ברירת המחדל.

    כשיוצרים משאב חיבור, BigQuery יוצר חשבון שירות ייחודי של המערכת ומשייך אותו לחיבור.

    פתרון בעיות: אם מופיעה שגיאת החיבור הבאה, עדכנו את Google Cloud SDK:

    Flags parsing error: flag --connection_type=CLOUD_RESOURCE: value should be one of...
    
  2. מאחזרים ומעתיקים את מזהה חשבון השירות כדי להשתמש בו בשלב מאוחר יותר:

    bq show --connection PROJECT_ID.us.bqml_tutorial

    הפלט אמור להיראות כך:

    name                          properties
    1234.REGION.CONNECTION_ID {"serviceAccountId": "connection-1234-9u56h9@gcp-sa-bigquery-condel.s3ns-system.iam.gserviceaccount.com"}
    

הגדרת גישה לחיבור

מקצים את התפקיד "אדמין של אובייקטים באחסון" לחשבון השירות של הקישור למשאבים ב-Cloud. צריך להקצות את התפקיד הזה באותו פרויקט שבו העליתם את קובצי התמונות.

כדי להקצות את התפקיד:

  1. נכנסים לדף IAM & Admin.

    כניסה לדף IAM & Admin

  2. לוחצים על Grant Access.

  3. בשדה New principals, מזינים את מזהה חשבון השירות של הקישור למשאבים ב-Cloud שהעתקתם קודם.

  4. בשדה Select a role, בוחרים באפשרות Cloud Storage ואז באפשרות Storage object admin.

  5. לוחצים על Save.

יצירת טבלת האובייקטים

כדי ליצור טבלת אובייקטים בשם goldfish_image_table באמצעות תמונת דג הזהב שהעליתם ל-Cloud Storage, מבצעים את השלבים הבאים:

המסוף

  1. נכנסים לדף BigQuery Studio.

    כניסה ל-BigQuery Studio

  2. בעורך השאילתות, מזינים את השאילתה הזו כדי ליצור את טבלת האובייקטים.

    CREATE EXTERNAL TABLE `bqml_tutorial.goldfish_image_table`
    WITH CONNECTION `us.bqml_tutorial`
    OPTIONS(
    object_metadata = 'SIMPLE',
    uris = ['gs://bqml_images/IMAGE_NAME'],
    max_staleness = INTERVAL 1 DAY,
    metadata_cache_mode = 'AUTOMATIC');

    מחליפים את IMAGE_NAME בשם של קובץ התמונה, לדוגמה goldfish.jpg.

    בסיום הפעולה, תופיע הודעה כמו This statement created a new table named goldfish_image_table.

BQ

  1. יוצרים את טבלת האובייקטים באמצעות הזנת ההצהרה הבאה של CREATE EXTERNAL TABLE.

    bq query --use_legacy_sql=false \
    "CREATE EXTERNAL TABLE `bqml_tutorial.goldfish_image_table`
    WITH CONNECTION `us.bqml_tutorial`
    OPTIONS(
    object_metadata = 'SIMPLE',
    uris = ['gs://bqml_images/IMAGE_NAME'],
    max_staleness = INTERVAL 1 DAY,
    metadata_cache_mode = 'AUTOMATIC')"

    מחליפים את IMAGE_NAME בשם של קובץ התמונה, לדוגמה goldfish.jpg.

  2. אחרי שיוצרים את טבלת האובייקטים, מוודאים שהיא מופיעה במערך הנתונים.

    bq ls bqml_tutorial

    הפלט אמור להיראות כך:

    tableId               Type
    --------------------- --------
    goldfish_image_table  EXTERNAL

מידע נוסף זמין במאמר יצירת טבלאות אובייקטים.

יצירת חיזויים באמצעות מודל ONNX המיובא

אתם משתמשים בשאילתה הבאה, שמכילה את הפונקציה ML.PREDICT, כדי ליצור חיזויים מנתוני התמונות בטבלת אובייקטי הקלט goldfish_image_table. השאילתה הזו מפיקה את תווית הסיווג החזויה של תמונת הקלט, על סמך המילון של תוויות ImageNet.

בשאילתה, הפונקציה ML.DECODE_IMAGE נדרשת כדי לפענח את נתוני התמונה כך ש-ML.PREDICT יוכל לפרש אותם. הפונקציה ML.RESIZE_IMAGE נקראת כדי לשנות את גודל התמונה כך שתתאים לגודל הקלט של המודל (224*224).

למידע נוסף על הרצת הסקה בטבלאות אובייקטים של תמונות, ראו הרצת הסקה בטבלאות אובייקטים של תמונות.

כדי ליצור חיזויים מנתוני התמונות:

המסוף

  1. נכנסים לדף BigQuery Studio.

    כניסה ל-BigQuery Studio

  2. בעורך השאילתות, מזינים את השאילתה הבאה ב-ML.PREDICT.

     SELECT
       class_label
     FROM
       ML.PREDICT(MODEL bqml_tutorial.imported_onnx_model,
         (
         SELECT
           ML.RESIZE_IMAGE(ML.DECODE_IMAGE(DATA),
             224,
             224,
             FALSE) AS input
         FROM
           bqml_tutorial.goldfish_image_table))
     

    תוצאות השאילתה אמורות להיראות כך:

    התוצאות של השאילתה ML.PREDICT

BQ

מזינים את הפקודה הבאה ב-bq query:

bq query --use_legacy_sql=false \
'SELECT
  class_label
FROM
  ML.PREDICT(MODEL `bqml_tutorial.imported_onnx_model`,
    (
    SELECT
      ML.RESIZE_IMAGE(ML.DECODE_IMAGE(DATA),
        224,
        224,
        FALSE) AS input
    FROM
      bqml_tutorial.goldfish_image_table))'

הסרת המשאבים

כדי להימנע מחיובים בחשבון Google Cloud בגלל השימוש במשאבים שנעשה במסגרת המדריך הזה, אפשר למחוק את הפרויקט שמכיל את המשאבים, או להשאיר את הפרויקט ולמחוק את המשאבים הנפרדים.

מחיקת הפרויקט

המסוף

  1. במסוף Cloud de Confiance , נכנסים לדף Manage resources.

    כניסה לדף Manage resources

  2. ברשימת הפרויקטים, בוחרים את הפרויקט שרוצים למחוק ולוחצים על Delete.
  3. כדי למחוק את הפרויקט, כותבים את מזהה הפרויקט בתיבת הדו-שיח ולוחצים על Shut down.

gcloud

    כדי למחוק פרויקט ב- Cloud de Confiance :

    gcloud projects delete PROJECT_ID

מחיקת משאבים ספציפיים

לחלופין, כדי להסיר את המשאבים הספציפיים שבהם השתמשתם במדריך הזה:

  1. מוחקים את המודל המיובא.

  2. (אופציונלי) מוחקים את מערך הנתונים.

  3. מוחקים את הקישור למשאבים ב-Cloud.

  4. מוחקים את הקטגוריה של Cloud Storage.

המאמרים הבאים