חיזוי של כמה סדרות זמנים באמצעות מודל רב-משתנים

יצירת מערך נתונים

כדי ליצור מערך נתונים ב-BigQuery, בוחרים באחת מהאפשרויות הבאות:

{
  "datasetReference": {
     "datasetId": "bqml_tutorial"
  }
}

יצירת טבלה של נתוני קלט

ליצור טבלת נתונים שאפשר להשתמש בה כדי לאמן ולהעריך את המודל. בטבלה הזו משולבות עמודות מהטבלאות bigquery-public-data.iowa_liquor_sales.sales ו-bigquery-public-data.covid19_weathersource_com.postal_code_day_history כדי לנתח את ההשפעה של מזג האוויר על הסוג והמספר של הפריטים שהוזמנו בחנויות משקאות חריפים. יוצרים גם את העמודות הנוספות הבאות שאפשר להשתמש בהן כמשתני קלט למודל:

• ‫date: תאריך ההזמנה
• ‫store_number: המספר הייחודי של החנות שביצעה את ההזמנה
• ‫item_number: המספר הייחודי של הפריט שהוזמן
• ‫bottles_sold: מספר הבקבוקים שהוזמנו מהפריט המשויך
• ‫temperature: הטמפרטורה הממוצעת במיקום החנות בתאריך ההזמנה
• ‫humidity: הלחות הממוצעת במיקום החנות בתאריך ההזמנה

כדי ליצור את טבלת נתוני הקלט:

1. במסוף Cloud de Confiance , עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בעורך השאילתות, מדביקים את השאילתה הבאה ולוחצים על Run:

   CREATE OR REPLACE TABLE
     `bqml_tutorial.iowa_liquor_sales_with_weather` AS
   WITH
     sales AS (
       SELECT
         DATE,
         store_number,
         item_number,
         bottles_sold,
         SAFE_CAST(SAFE_CAST(zip_code AS FLOAT64) AS INT64) AS zip_code
       FROM
         `bigquery-public-data.iowa_liquor_sales.sales` AS sales
       WHERE
         SAFE_CAST(zip_code AS FLOAT64) IS NOT NULL
     ),
     aggregated_sales AS (
       SELECT
         DATE,
         store_number,
         item_number,
         ANY_VALUE(zip_code) AS zip_code,
         SUM(bottles_sold) AS bottles_sold,
       FROM
         sales
       GROUP BY
         DATE,
         store_number,
         item_number
     ),
     weather AS (
       SELECT
         DATE,
         SAFE_CAST(postal_code AS INT64) AS zip_code,
         avg_temperature_air_2m_f AS temperature,
         avg_humidity_specific_2m_gpkg AS humidity,
       FROM
         `bigquery-public-data.covid19_weathersource_com.postal_code_day_history`
       WHERE
         country = 'US' AND
         SAFE_CAST(postal_code AS INT64) IS NOT NULL
     )
   SELECT
     aggregated_sales.date,
     aggregated_sales.store_number,
     aggregated_sales.item_number,
     aggregated_sales.bottles_sold,
     weather.temperature AS temperature,
     weather.humidity AS humidity
   FROM
     aggregated_sales
     LEFT JOIN weather ON aggregated_sales.zip_code=weather.zip_code
     AND aggregated_sales.DATE=weather.DATE;

יצירת מודל של סדרת זמנים

יוצרים מודל של סדרת זמנים כדי לחזות את מספר הבקבוקים שנמכרו לכל שילוב של מזהה חנות ומזהה פריט, לכל תאריך בטבלה bqml_tutorial.iowa_liquor_sales_with_weather לפני 1 בספטמבר 2022. משתמשים בטמפרטורה הממוצעת וברמת הלחות במיקום החנות בכל תאריך כמאפיינים להערכה במהלך התחזית. יש בערך מיליון שילובים שונים של מספר פריט ומספר חנות בטבלה bqml_tutorial.iowa_liquor_sales_with_weather, כלומר יש מיליון סדרות זמן שונות שאפשר לחזות.

כדי ליצור את המודל:

1. במסוף Cloud de Confiance , עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בעורך השאילתות, מדביקים את השאילתה הבאה ולוחצים על Run:

   CREATE
   OR REPLACE MODEL `bqml_tutorial.multi_time_series_arimax_model`
   OPTIONS(
     model_type = 'ARIMA_PLUS_XREG',
     time_series_id_col = ['store_number', 'item_number'],
     time_series_data_col = 'bottles_sold',
     time_series_timestamp_col = 'date'
   )
   AS SELECT
     *
   FROM
     `bqml_tutorial.iowa_liquor_sales_with_weather`
   WHERE
     DATE < DATE('2022-09-01');

   השלמת השאילתה תימשך כ-38 דקות, ולאחר מכן תוכלו לגשת למודל multi_time_series_arimax_model. מכיוון שהשאילתה משתמשת בהצהרת CREATE MODEL כדי ליצור מודל, לא מוצגות תוצאות של השאילתה.

שימוש במודל לחיזוי נתונים

אפשר לחזות ערכים עתידיים של סדרות עיתיות באמצעות הפונקציה ML.FORECAST.

בשאילתת GoogleSQL הבאה, סעיף STRUCT(5 AS horizon, 0.8 AS confidence_level) מציין שהשאילתה חוזה 5 נקודות זמן עתידיות, ומפיקה רווח חיזוי עם רמת סמך של 80%.

חתימת הנתונים של נתוני הקלט לפונקציה ML.FORECAST זהה לחתימת הנתונים של נתוני האימון ששימשו ליצירת המודל. העמודה bottles_sold לא נכללת בקלט, כי אלה הנתונים שהמודל מנסה לחזות.

כדי לחזות נתונים באמצעות המודל:

1. במסוף Cloud de Confiance , עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בעורך השאילתות, מדביקים את השאילתה הבאה ולוחצים על Run:

   SELECT
     *
   FROM
     ML.FORECAST (
       model `bqml_tutorial.multi_time_series_arimax_model`,
       STRUCT (5 AS horizon, 0.8 AS confidence_level),
       (
         SELECT
           * EXCEPT (bottles_sold)
         FROM
           `bqml_tutorial.iowa_liquor_sales_with_weather`
         WHERE
           DATE>=DATE('2022-09-01')
       )
     );

   התוצאות אמורות להיראות כך:

   

   השורות של הפלט מסודרות לפי הערך של store_number, אחר כך לפי הערך של item_ID, ואז לפי סדר כרונולוגי של הערך בעמודה forecast_timestamp. בתחזית של סדרת זמן, מרווח החיזוי, שמיוצג על ידי ערכי העמודות prediction_interval_lower_bound ו-prediction_interval_upper_bound, חשוב לא פחות מערך העמודה forecast_value. הערך של forecast_value הוא נקודת האמצע של מרווח החיזוי. מרווח החיזוי תלוי בערכים של העמודות standard_error ו-confidence_level.

   מידע נוסף על עמודות הפלט זמין במאמר ML.FORECAST.

הסבר על תוצאות התחזית

אפשר לקבל מדדים של יכולת הסבר בנוסף לנתוני התחזית באמצעות הפונקציה ML.EXPLAIN_FORECAST. הפונקציה ML.EXPLAIN_FORECAST חוזה ערכים עתידיים של סדרות זמן, וגם מחזירה את כל הרכיבים הנפרדים של סדרת הזמן.

בדומה לפונקציה ML.FORECAST, פסוקית STRUCT(5 AS horizon, 0.8 AS confidence_level) שמשמשת בפונקציה ML.EXPLAIN_FORECAST מציינת שהשאילתה חוזה 30 נקודות זמן עתידיות ומפיקה רווח בר-סמך עם רמת סמך של 80%.

הפונקציה ML.EXPLAIN_FORECAST מספקת נתונים היסטוריים ונתוני תחזית. כדי לראות רק את נתוני התחזית, מוסיפים את האפשרות time_series_type לשאילתה ומציינים את הערך forecast כאפשרות.

כדי להסביר את התוצאות של המודל:

1. במסוף Cloud de Confiance , עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בעורך השאילתות, מדביקים את השאילתה הבאה ולוחצים על Run:

   SELECT
     *
   FROM
     ML.EXPLAIN_FORECAST (
       model `bqml_tutorial.multi_time_series_arimax_model`,
       STRUCT (5 AS horizon, 0.8 AS confidence_level),
       (
         SELECT
           * EXCEPT (bottles_sold)
         FROM
           `bqml_tutorial.iowa_liquor_sales_with_weather`
         WHERE
           DATE >= DATE('2022-09-01')
       )
     );

   התוצאות אמורות להיראות כך:

   

   שורות הפלט מסודרות בסדר כרונולוגי לפי ערך העמודה time_series_timestamp

   מידע נוסף על עמודות הפלט זמין במאמר ML.EXPLAIN_FORECAST.

הערכת רמת הדיוק של התחזיות

כדי להעריך את דיוק התחזית של המודל, מריצים אותו על נתונים שהמודל לא אומן עליהם. כדי לעשות את זה, משתמשים בפונקציה ML.EVALUATE. הפונקציה ML.EVALUATE מבצעת הערכה של כל סדרת זמן בנפרד.

בשילתת GoogleSQL הבאה, המשפט השני SELECT מספק את הנתונים עם התכונות העתידיות, שמשמשות לחיזוי הערכים העתידיים כדי להשוות אותם לנתונים בפועל.

כדי להעריך את רמת הדיוק של המודל:

1. במסוף Cloud de Confiance , עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בעורך השאילתות, מדביקים את השאילתה הבאה ולוחצים על Run:

   SELECT
     *
   FROM
     ML.EVALUATE (
       model `bqml_tutorial.multi_time_series_arimax_model`,
       (
         SELECT
           *
         FROM
          `bqml_tutorial.iowa_liquor_sales_with_weather`
         WHERE
           DATE >= DATE('2022-09-01')
       )
     );

   התוצאות אמורות להיראות כך:

   

   מידע נוסף על עמודות הפלט זמין במאמר ML.EVALUATE.

שימוש במודל כדי לזהות אנומליות

מזהים חריגות בנתוני האימון באמצעות הפונקציה ML.DETECT_ANOMALIES.

בשילוב עם הפונקציה ML.DETECT_ANOMALIES, סעיף STRUCT(0.95 AS anomaly_prob_threshold) בשאילתה הבאה מאפשר לזהות נקודות נתונים אנומליות ברמת סמך של 95%.

כדי לזהות אנומליות בנתוני האימון:

1. במסוף Cloud de Confiance , עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בעורך השאילתות, מדביקים את השאילתה הבאה ולוחצים על Run:

   SELECT
     *
   FROM
     ML.DETECT_ANOMALIES (
       model `bqml_tutorial.multi_time_series_arimax_model`,
       STRUCT (0.95 AS anomaly_prob_threshold)
     );

   התוצאות אמורות להיראות כך:

   

   בעמודה anomaly_probability בתוצאות מופיעה הסבירות שערך נתון בעמודה bottles_sold הוא אנומליה.

   מידע נוסף על עמודות הפלט זמין במאמר ML.DETECT_ANOMALIES.

זיהוי חריגות בנתונים חדשים

כדי לזהות חריגות בנתונים החדשים, מספקים נתוני קלט לפונקציה ML.DETECT_ANOMALIES. הנתונים החדשים צריכים להיות בעלי חתימת נתונים זהה לזו של נתוני האימון.

כדי לזהות אנומליות בנתונים חדשים:

1. במסוף Cloud de Confiance , עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בעורך השאילתות, מדביקים את השאילתה הבאה ולוחצים על Run:

   SELECT
     *
   FROM
     ML.DETECT_ANOMALIES (
       model `bqml_tutorial.multi_time_series_arimax_model`,
       STRUCT (0.95 AS anomaly_prob_threshold),
       (
         SELECT
           *
         FROM
           `bqml_tutorial.iowa_liquor_sales_with_weather`
         WHERE
           DATE >= DATE('2022-09-01')
       )
     );

   התוצאות אמורות להיראות כך: