יצירת המלצות על סמך משוב מרומז באמצעות מודל של פירוק מטריצות

יצירת מערך נתונים

יוצרים מערך נתונים ב-BigQuery לאחסון מודל ה-ML.

{
  "datasetReference": {
     "datasetId": "bqml_tutorial"
  }
}

הכנת נתונים לדוגמה

להפוך את הנתונים מהטבלה GA360_test.ga_sessions_sample למבנה טוב יותר לאימון המודל, ואז לכתוב את הנתונים האלה לטבלה ב-BigQuery. השאילתה הבאה מחשבת את משך הסשן של כל משתמש עבור כל פריט תוכן, ואפשר להשתמש בתוצאה כמשוב מרומז כדי להסיק את העדפת המשתמש לגבי התוכן הזה.

כדי ליצור את טבלת נתוני האימון:

1. במסוף Cloud de Confiance , עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. יוצרים את טבלת נתוני האימון. בעורך השאילתות, מדביקים את השאילתה הבאה ולוחצים על Run (הרצה):

   CREATE OR REPLACE TABLE `bqml_tutorial.analytics_session_data`
   AS
   WITH
     visitor_page_content AS (
       SELECT
         fullVisitorID,
         (
           SELECT
             MAX(
               IF(
                 index = 10,
                 value,
                 NULL))
           FROM
             UNNEST(hits.customDimensions)
         ) AS latestContentId,
         (LEAD(hits.time, 1) OVER (PARTITION BY fullVisitorId ORDER BY hits.time ASC) - hits.time)
           AS session_duration
       FROM
         `cloud-training-demos.GA360_test.ga_sessions_sample`,
         UNNEST(hits) AS hits
       WHERE
         # only include hits on pages
         hits.type = 'PAGE'
       GROUP BY
         fullVisitorId,
         latestContentId,
         hits.time
     )
   # aggregate web stats
   SELECT
     fullVisitorID AS visitorId,
     latestContentId AS contentId,
     SUM(session_duration) AS session_duration
   FROM
     visitor_page_content
   WHERE
     latestContentId IS NOT NULL
   GROUP BY
     fullVisitorID,
     latestContentId
   HAVING
     session_duration > 0
   ORDER BY
     latestContentId;

3. הצגת קבוצת משנה של נתוני האימון. בעורך השאילתות, מדביקים את השאילתה הבאה ולוחצים על Run (הרצה):

   SELECT * FROM `bqml_tutorial.analytics_session_data` LIMIT 5;

   התוצאות אמורות להיראות כך:

   +---------------------+-----------+------------------+
   | visitorId           | contentId | session_duration |
   +---------------------+-----------+------------------+
   | 7337153711992174438 | 100074831 | 44652            |
   +---------------------+-----------+------------------+
   | 5190801220865459604 | 100170790 | 121420           |
   +---------------------+-----------+------------------+
   | 2293633612703952721 | 100510126 | 47744            |
   +---------------------+-----------+------------------+
   | 5874973374932455844 | 100510126 | 32109            |
   +---------------------+-----------+------------------+
   | 1173698801255170595 | 100676857 | 10512            |
   +---------------------+-----------+------------------+
   

יצירת המודל

יצירת מודל של פירוק מטריצות ואימון שלו על הנתונים בטבלה analytics_session_data. המודל מאומן לחזות את רמת הביטחון לכל זוג visitorId-contentId. דירוג רמת הביטחון נוצר על ידי מרכוז ושינוי קנה מידה לפי משך הסשן החציוני. רשומות שבהן משך הסשן גדול פי 3.33 מהחציון מסוננות כערכים חריגים.

ההצהרה הבאה CREATE MODEL משתמשת בעמודות האלה כדי ליצור המלצות:

• ‫visitorId – מזהה המבקר.
• ‫contentId— מזהה התוכן.
• ‫rating – הדירוג המרומז מ-0 עד 1 שמחושב לכל צמד של מבקר ותוכן, ממוצע ומוגדר בקנה מידה.

1. במסוף Cloud de Confiance , עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בעורך השאילתות, מדביקים את השאילתה הבאה ולוחצים על Run (הרצה):

   CREATE OR REPLACE MODEL `bqml_tutorial.mf_implicit`
     OPTIONS (
       MODEL_TYPE = 'matrix_factorization',
       FEEDBACK_TYPE = 'implicit',
       USER_COL = 'visitorId',
       ITEM_COL = 'contentId',
       RATING_COL = 'rating',
       L2_REG = 30,
       NUM_FACTORS = 15)
   AS
   SELECT
     visitorId,
     contentId,
     0.3 * (1 + (session_duration - 57937) / 57937) AS rating
   FROM `bqml_tutorial.analytics_session_data`
   WHERE 0.3 * (1 + (session_duration - 57937) / 57937) < 1;

   השאילתה תושלם תוך 10 דקות בערך, ואז המודל mf_implicitיופיע בחלונית Explorer. השאילתה משתמשת בהצהרת CREATE MODEL כדי ליצור מודל, ולכן לא מוצגות תוצאות של השאילתה.

קבלת נתונים סטטיסטיים של הדרכות

אפשר גם לראות את נתוני האימון של המודל בCloud de Confiance מסוף.

אלגוריתם של למידת מכונה יוצר מודל על ידי יצירת איטרציות רבות של המודל באמצעות פרמטרים שונים, ואז בוחר את גרסת המודל שממזערת את ההפסד. התהליך הזה נקרא מזעור סיכון אמפירי. הנתונים הסטטיסטיים של אימון המודל מאפשרים לכם לראות את ההפסד שמשויך לכל איטרציה של המודל.

כדי לראות את נתוני האימון של המודל:

1. במסוף Cloud de Confiance , עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בחלונית הימנית, לוחצים על explore כלי הניתוחים:

   

   אם החלונית הימנית לא מוצגת, לוחצים על last_page הרחבת החלונית הימנית כדי לפתוח אותה.

3. בחלונית Explorer, מרחיבים את הפרויקט ולוחצים על Datasets (מערכי נתונים).

4. לוחצים על מערך הנתונים bqml_tutorial. אפשר גם להשתמש בתכונת החיפוש או במסננים כדי למצוא את מערך הנתונים.

5. לוחצים על הכרטיסייה מודלים.

6. לוחצים על מודל mf_implicit ואז על הכרטיסייה אימון.

7. בקטע הצגה כ, לוחצים על טבלה. התוצאות אמורות להיראות כך:

   +-----------+--------------------+--------------------+
   | Iteration | Training Data Loss | Duration (seconds) |
   +-----------+--------------------+--------------------+
   |  5        | 0.0027             | 47.27              |
   +-----------+--------------------+--------------------+
   |  4        | 0.0028             | 39.60              |
   +-----------+--------------------+--------------------+
   |  3        | 0.0032             | 55.57              |
   +-----------+--------------------+--------------------+
   |  ...      | ...                | ...                |
   +-----------+--------------------+--------------------+
   

   העמודה Training Data Loss מייצגת את מדד ההפסד שמחושב אחרי אימון המודל. מכיוון שמדובר במודל של פירוק מטריצות, בעמודה הזו מוצג השגיאה הריבועית הממוצעת.

הערכת המודל

מעריכים את הביצועים של המודל באמצעות הפונקציה ML.EVALUATE. הפונקציה ML.EVALUATE מעריכה את סיווגי התוכן החזויים שהוחזרו על ידי המודל ביחס למדדי ההערכה שחושבו במהלך האימון.

כדי להעריך את המודל, פועלים לפי השלבים הבאים:

1. במסוף Cloud de Confiance , עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בעורך השאילתות, מדביקים את השאילתה הבאה ולוחצים על Run (הרצה):

   SELECT
     *
   FROM
     ML.EVALUATE(MODEL `bqml_tutorial.mf_implicit`);

   התוצאות אמורות להיראות כך:

   +------------------------+-----------------------+---------------------------------------+---------------------+
   | mean_average_precision |  mean_squared_error   | normalized_discounted_cumulative_gain |    average_rank     |
   +------------------------+-----------------------+---------------------------------------+---------------------+
   |     0.4434341257478137 | 0.0013381759837648962 |                    0.9433280547112802 | 0.24031636088594222 |
   +------------------------+-----------------------+---------------------------------------+---------------------+
   

   מידע נוסף על הפלט של הפונקציה ML.EVALUATE זמין במאמר בנושא פלט.

קבלת דירוגים חזויים עבור קבוצת משנה של צמדי מבקר-תוכן

משתמשים ב-ML.RECOMMEND כדי לקבל את הדירוג החזוי של כל פריט תוכן עבור חמישה מבקרים באתר.

כדי לקבל סיווגים חזויים, צריך לפעול לפי השלבים הבאים:

1. במסוף Cloud de Confiance , עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בעורך השאילתות, מדביקים את השאילתה הבאה ולוחצים על Run (הרצה):

   SELECT
     *
   FROM
     ML.RECOMMEND(
       MODEL `bqml_tutorial.mf_implicit`,
       (
         SELECT
           visitorId
         FROM
           `bqml_tutorial.analytics_session_data`
         LIMIT 5
       ));

   התוצאות אמורות להיראות כך:

   +-------------------------------+---------------------+-----------+
   | predicted_rating_confidence   | visitorId           | contentId |
   +-------------------------------+---------------------+-----------+
   | 0.0033608418060270262         | 7337153711992174438 | 277237933 |
   +-------------------------------+---------------------+-----------+
   | 0.003602395397293956          | 7337153711992174438 | 158246147 |
   +-------------------------------+---------------------+--  -------+
   | 0.0053197670652785356         | 7337153711992174438 | 299389988 |
   +-------------------------------+---------------------+-----------+
   | ...                           | ...                 | ...       |
   +-------------------------------+---------------------+-----------+
   

יצירת המלצות

משתמשים בסיווגים החזויים כדי ליצור את חמשת מזהי התוכן המומלצים המובילים לכל מזהה מבקר.

כדי ליצור המלצות:

1. במסוף Cloud de Confiance , עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. לכתוב את הסיווגים החזויים בטבלה. בעורך השאילתות, מדביקים את השאילתה הבאה ולוחצים על Run (הרצה):

   CREATE OR REPLACE TABLE `bqml_tutorial.recommend_content`
   AS
   SELECT
     *
   FROM
     ML.RECOMMEND(MODEL `bqml_tutorial.mf_implicit`);

3. בוחרים את חמש התוצאות המובילות לכל מבקר. בעורך השאילתות, מדביקים את השאילתה הבאה ולוחצים על Run (הרצה):

   SELECT
     visitorId,
     ARRAY_AGG(
       STRUCT(contentId, predicted_rating_confidence)
       ORDER BY predicted_rating_confidence DESC
       LIMIT 5) AS rec
   FROM
     `bqml_tutorial.recommend_content`
   GROUP BY
     visitorId;

   התוצאות אמורות להיראות כך:

   +---------------------+-----------------+---------------------------------+
   | visitorId           | rec:contentId   | rec:predicted_rating_confidence |
   +---------------------+-----------------+-------------------------  ------+
   | 867526255058981688  | 299804319       | 0.88170525357178664             |
   |                     | 299935287       | 0.54699439944935124             |
   |                     | 299410466       | 0.53424780863188659             |
   |                     | 299826767       | 0.46949603950374219             |
   |                     | 299809748       | 0.3379991197434149              |
   +---------------------+-----------------+---------------------------------+
   | 2434264018925667659 | 299824032       | 1.3903516407308065              |
   |                     | 299410466       | 0.9921995618196483              |
   |                     | 299903877       | 0.92333625294129218             |
   |                     | 299816215       | 0.91856701667757279             |
   |                     | 299852437       | 0.86973661454890561             |
   +---------------------+-----------------+---------------------------------+
   | ...                 | ...             | ...                             |
   +---------------------+-----------------+---------------------------------+