יצירת תחזיות באמצעות מודלים מיובאים של TensorFlow

המסוף

1. במסוף Cloud de Confiance , עוברים לדף BigQuery.

   לדף BigQuery

2. בחלונית Explorer, לוחצים על שם הפרויקט.

3. לוחצים על more_vert הצגת פעולות > יצירת מערך נתונים.

4. בדף Create dataset, מבצעים את הפעולות הבאות:

   • בשדה Dataset ID (מזהה מערך הנתונים), מזינים bqml_tutorial.

   • בקטע Location type, בוחרים באפשרות Multi-region ואז בוחרים באפשרות US.

   • משאירים את הגדרות ברירת המחדל שנותרו כמו שהן ולוחצים על Create dataset (יצירת מערך נתונים).

BQ

כדי ליצור מערך נתונים חדש, משתמשים בפקודה bq mk --dataset.

1. יוצרים מערך נתונים בשם bqml_tutorial עם מיקום הנתונים שמוגדר ל-US.

   bq mk --dataset \
     --location=US \
     --description "BigQuery ML tutorial dataset." \
     bqml_tutorial

2. בודקים שמערך הנתונים נוצר:

   bq ls

API

מבצעים קריאה לשיטה datasets.insert עם משאב מוגדר של מערך נתונים.

{
  "datasetReference": {
     "datasetId": "bqml_tutorial"
  }
}

המסוף

1. במסוף Cloud de Confiance , עוברים לדף BigQuery.

   לדף BigQuery

2. כדי ליצור חדש, לוחצים על שאילתת SQL.

3. בעורך השאילתות, מזינים את ההצהרה CREATE MODEL ולוחצים על Run.

     CREATE OR REPLACE MODEL `bqml_tutorial.imported_tf_model`
     OPTIONS (MODEL_TYPE='TENSORFLOW',
       MODEL_PATH='gs://cloud-training-demos/txtclass/export/exporter/1549825580/*')

   בסיום הפעולה, אמורה להופיע הודעה כמו Successfully created model named imported_tf_model.

4. המודל החדש מופיע בחלונית משאבים. מודלים מסומנים בסמל המודל: .

5. אם בוחרים את המודל החדש בחלונית Resources, המידע על המודל מופיע מתחת לעורך השאילתות.

   

BQ

1. מייבאים את מודל TensorFlow מ-Cloud Storage על ידי הזנת ההצהרה הבאה CREATE MODEL.

   bq query --use_legacy_sql=false \
   "CREATE OR REPLACE MODEL
     `bqml_tutorial.imported_tf_model`
   OPTIONS
     (MODEL_TYPE='TENSORFLOW',
       MODEL_PATH='gs://cloud-training-demos/txtclass/export/exporter/1549825580/*')"

2. אחרי שמייבאים את המודל, מוודאים שהוא מופיע במערך הנתונים.

   bq ls -m bqml_tutorial

   הפלט אמור להיראות כך:

   tableId             Type
   ------------------- -------
   imported_tf_model   MODEL

API

מוסיפים משרה חדשה ומאכלסים את המאפיין jobs#configuration.query בגוף הבקשה.

{
  "query": "CREATE MODEL `PROJECT_ID:bqml_tutorial.imported_tf_model` OPTIONS(MODEL_TYPE='TENSORFLOW' MODEL_PATH='gs://cloud-training-demos/txtclass/export/exporter/1549825580/*')"
}

מחליפים את PROJECT_ID בשם הפרויקט ומערך הנתונים.

BigQuery DataFrames

לפני שמנסים את הדוגמה הזו, צריך לפעול לפי הוראות ההגדרה של BigQuery DataFrames במדריך לתחילת העבודה עם BigQuery באמצעות BigQuery DataFrames. מידע נוסף מופיע במאמרי העזרה בנושא BigQuery DataFrames.

כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת ADC לסביבת פיתוח מקומית.

מייבאים את המודל באמצעות האובייקט TensorFlowModel.

import bigframes
from bigframes.ml.imported import TensorFlowModel

bigframes.options.bigquery.project = PROJECT_ID
# You can change the location to one of the valid locations: https://cloud.google.com/bigquery/docs/locations#supported_locations
bigframes.options.bigquery.location = "US"

imported_tensorflow_model = TensorFlowModel(
    model_path="gs://cloud-training-demos/txtclass/export/exporter/1549825580/*"
)

המסוף

1. במסוף Cloud de Confiance , עוברים לדף BigQuery.

   לדף BigQuery

2. בקטע יצירה של, לוחצים על שאילתת SQL.

3. בעורך השאילתות, מזינים את השאילתה הזו שמשתמשת בפונקציה ML.PREDICT.

   SELECT *
     FROM ML.PREDICT(MODEL `bqml_tutorial.imported_tf_model`,
       (
        SELECT title AS input
        FROM bigquery-public-data.hacker_news.full
       )
   )

   תוצאות השאילתה אמורות להיראות כך:

   

BQ

כדי להריץ את השאילתה שמשתמשת ב-ML.PREDICT, מזינים את הפקודה הבאה.

bq query \
--use_legacy_sql=false \
'SELECT *
FROM ML.PREDICT(
  MODEL `bqml_tutorial.imported_tf_model`,
  (SELECT title AS input FROM `bigquery-public-data.hacker_news.full`))'

התוצאות אמורות להיראות כך:

+------------------------------------------------------------------------+----------------------------------------------------------------------------------+
|                               dense_1                                  |                                       input                                      |
+------------------------------------------------------------------------+----------------------------------------------------------------------------------+
|   ["0.6251608729362488","0.2989124357700348","0.07592673599720001"]    | How Red Hat Decides Which Open Source Companies t...                             |
|   ["0.014276246540248394","0.972910463809967","0.01281337533146143"]   | Ask HN: Toronto/GTA mastermind around side income for big corp. dev?             |
|   ["0.9821603298187256","1.8601855117594823E-5","0.01782100833952427"] | Ask HN: What are good resources on strategy and decision making for your career? |
|   ["0.8611106276512146","0.06648492068052292","0.07240450382232666"]   | Forget about promises, use harvests                                              |
+------------------------------------------------------------------------+----------------------------------------------------------------------------------+

API

מוסיפים משרה חדשה ומאכלסים את מאפיין jobs#configuration.query כמו בגוף הבקשה. מחליפים את project_id בשם הפרויקט.

{
  "query": "SELECT * FROM ML.PREDICT(MODEL `project_id.bqml_tutorial.imported_tf_model`, (SELECT * FROM input_data))"
}

BigQuery DataFrames

לפני שמנסים את הדוגמה הזו, צריך לפעול לפי הוראות ההגדרה של BigQuery DataFrames במדריך לתחילת העבודה עם BigQuery באמצעות BigQuery DataFrames. מידע נוסף מופיע במאמרי העזרה בנושא BigQuery DataFrames.

כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת ADC לסביבת פיתוח מקומית.

משתמשים בפונקציה predict כדי להפעיל את מודל TensorFlow:

import bigframes.pandas as bpd

df = bpd.read_gbq("bigquery-public-data.hacker_news.full")
df_pred = df.rename(columns={"title": "input"})
predictions = imported_tensorflow_model.predict(df_pred)
predictions.head(5)

התוצאות אמורות להיראות כך: