Améliorer les performances du modèle avec les réglages d'hyperparamètres

Créer un ensemble de données

Créez un ensemble de données BigQuery pour stocker votre modèle de ML.

{
  "datasetReference": {
     "datasetId": "bqml_tutorial"
  }
}

import google.cloud.bigquery

bqclient = google.cloud.bigquery.Client()
bqclient.create_dataset("bqml_tutorial", exists_ok=True)

Créer un tableau de données d'entraînement

Créez une table de données d'entraînement basée sur un sous-ensemble des données de la table tlc_yellow_trips_2018.

Pour créer le tableau, procédez comme suit :

1. Dans la console Trusted Cloud , accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans l'éditeur de requête, collez la requête suivante, puis cliquez sur Exécuter :

   CREATE OR REPLACE TABLE `bqml_tutorial.taxi_tip_input`
   AS
   SELECT * EXCEPT (tip_amount), tip_amount AS label
   FROM
     `bigquery-public-data.new_york_taxi_trips.tlc_yellow_trips_2018`
   WHERE
     tip_amount IS NOT NULL
   LIMIT 100000;

Créer un modèle de régression linéaire de référence

Créez un modèle de régression linéaire sans réglage des hyperparamètres et entraînez-le sur les données de la table taxi_tip_input.

Pour créer le modèle, procédez comme suit :

1. Dans la console Trusted Cloud , accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans l'éditeur de requête, collez la requête suivante, puis cliquez sur Exécuter :

   CREATE OR REPLACE MODEL `bqml_tutorial.baseline_taxi_tip_model`
     OPTIONS (
       MODEL_TYPE = 'LINEAR_REG'
     )
   AS
   SELECT
     *
   FROM
     `bqml_tutorial.taxi_tip_input`;

   L'exécution de la requête prend environ deux minutes.

Évaluer le modèle de référence

Évaluez les performances du modèle à l'aide de la fonction ML.EVALUATE. La fonction ML.EVALUATE évalue les classifications de contenu prédites renvoyées par le modèle par rapport aux métriques d'évaluation calculées lors de l'entraînement du modèle.

Pour évaluer le modèle, procédez comme suit :

1. Dans la console Trusted Cloud , accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans l'éditeur de requête, collez la requête suivante, puis cliquez sur Exécuter :

   SELECT *
   FROM
     ML.EVALUATE(MODEL `bqml_tutorial.baseline_taxi_tip_model`);

   Les résultats ressemblent à ce qui suit :

   +---------------------+--------------------+------------------------+-----------------------+---------------------+---------------------+
   | mean_absolute_error | mean_squared_error | mean_squared_log_error | median_absolute_error |      r2_score       | explained_variance  |
   +---------------------+--------------------+------------------------+-----------------------+---------------------+---------------------+
   |  2.5853895559690323 | 23760.416358496139 |   0.017392406523370374 | 0.0044248227819481123 | -1934.5450533482465 | -1934.3513857946277 |
   +---------------------+--------------------+------------------------+-----------------------+---------------------+---------------------+
   

La valeur r2_score du modèle de référence est négative, ce qui indique un mauvais ajustement aux données. Plus le score R² est proche de 1, meilleur est l'ajustement du modèle.

Créer un modèle de régression linéaire avec réglage des hyperparamètres

Créez un modèle de régression linéaire avec réglage des hyperparamètres et entraînez-le sur les données de la table taxi_tip_input.

Vous utilisez les options de réglage des hyperparamètres suivantes dans l'instruction CREATE MODEL :

• L'option NUM_TRIALS permet de définir le nombre d'essais sur 20.
• L'option MAX_PARALLEL_TRIALS permet d'exécuter deux essais dans chaque tâche d'entraînement, pour un total de dix tâches et vingt essais. Cela réduit le temps de formation nécessaire. Toutefois, les deux essais simultanés ne bénéficient pas de leurs résultats d'entraînement respectifs.
• L'option L1_REG permet de tester différentes valeurs de régularisation L1 dans les différents essais. La régularisation L1 supprime les caractéristiques non pertinentes du modèle, ce qui permet d'éviter le surapprentissage.

Les autres options de réglage des hyperparamètres compatibles avec le modèle utilisent leurs valeurs par défaut, comme suit :

• L1_REG : 0
• HPARAM_TUNING_ALGORITHM : 'VIZIER_DEFAULT'
• HPARAM_TUNING_OBJECTIVES : ['R2_SCORE']

Pour créer le modèle, procédez comme suit :

1. Dans la console Trusted Cloud , accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans l'éditeur de requête, collez la requête suivante, puis cliquez sur Exécuter :

   CREATE OR REPLACE MODEL `bqml_tutorial.hp_taxi_tip_model`
     OPTIONS (
       MODEL_TYPE = 'LINEAR_REG',
       NUM_TRIALS = 20,
       MAX_PARALLEL_TRIALS = 2,
       L1_REG = HPARAM_RANGE(0, 5))
   AS
   SELECT
     *
   FROM
     `bqml_tutorial.taxi_tip_input`;

   L'exécution de la requête prend environ 20 minutes.

Obtenir des informations sur les essais d'entraînement

Obtenez des informations sur tous les essais, y compris leurs valeurs d'hyperparamètres, leurs objectifs et leur état, à l'aide de la fonction ML.TRIAL_INFO. Cette fonction renvoie également des informations sur l'essai le plus performant, en fonction de ces informations.

Pour obtenir des informations sur l'essai :

1. Dans la console Trusted Cloud , accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans l'éditeur de requête, collez la requête suivante, puis cliquez sur Exécuter :

   SELECT *
   FROM
     ML.TRIAL_INFO(MODEL `bqml_tutorial.hp_taxi_tip_model`)
   ORDER BY is_optimal DESC;

   Les résultats ressemblent à ce qui suit :

   +----------+-------------------------------------+-----------------------------------+--------------------+--------------------+-----------+---------------+------------+
   | trial_id |           hyperparameters           | hparam_tuning_evaluation_metrics  |   training_loss    |     eval_loss      |  status   | error_message | is_optimal |
   +----------+-------------------------------------+-----------------------------------+--------------------+--------------------+-----------+---------------+------------+
   |        7 |      {"l1_reg":"4.999999999999985"} |  {"r2_score":"0.653653627638174"} | 4.4677841296238165 |  4.478469742512195 | SUCCEEDED | NULL          |       true |
   |        2 |  {"l1_reg":"2.402163664510254E-11"} | {"r2_score":"0.6532493667964732"} |  4.457692508421795 |  4.483697081650438 | SUCCEEDED | NULL          |      false |
   |        3 |  {"l1_reg":"1.2929452948742316E-7"} |  {"r2_score":"0.653249366811995"} |   4.45769250849513 |  4.483697081449748 | SUCCEEDED | NULL          |      false |
   |        4 |  {"l1_reg":"2.5787102060628228E-5"} | {"r2_score":"0.6532493698925899"} |  4.457692523040582 |  4.483697041615808 | SUCCEEDED | NULL          |      false |
   |      ... |                             ...     |                           ...     |              ...   |             ...    |       ... |          ...  |        ... |
   +----------+-------------------------------------+-----------------------------------+--------------------+--------------------+-----------+---------------+------------+
   

   La valeur de la colonne is_optimal indique que l'essai 7 est le modèle optimal renvoyé par le réglage.

Évaluer les essais du modèle réglé

Évaluez les performances des essais à l'aide de la fonction ML.EVALUATE. La fonction ML.EVALUATE compare les classifications de contenu prédites renvoyées par le modèle aux métriques d'évaluation calculées pendant l'entraînement pour tous les essais.

Pour évaluer les essais du modèle, procédez comme suit :

1. Dans la console Trusted Cloud , accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans l'éditeur de requête, collez la requête suivante, puis cliquez sur Exécuter :

   SELECT *
   FROM
     ML.EVALUATE(MODEL `bqml_tutorial.hp_taxi_tip_model`)
   ORDER BY r2_score DESC;

   Les résultats ressemblent à ce qui suit :

   +----------+---------------------+--------------------+------------------------+-----------------------+--------------------+--------------------+
   | trial_id | mean_absolute_error | mean_squared_error | mean_squared_log_error | median_absolute_error |      r2_score      | explained_variance |
   +----------+---------------------+--------------------+------------------------+-----------------------+--------------------+--------------------+
   |        7 |   1.151814398002232 |  4.109811493266523 |     0.4918733252641176 |    0.5736103414025084 | 0.6652110305659145 | 0.6652144696114834 |
   |       19 |  1.1518143358927102 |  4.109811921460791 |     0.4918672150119582 |    0.5736106106914161 | 0.6652109956848206 | 0.6652144346901685 |
   |        8 |   1.152747850702547 |  4.123625876152422 |     0.4897808307399327 |    0.5731702310239184 | 0.6640856984144734 |  0.664088410199906 |
   |        5 |   1.152895108945439 |  4.125775524878872 |    0.48939088205957937 |    0.5723300569616766 | 0.6639105860807425 | 0.6639132416838652 |
   |      ... |                ...  |                ... |                    ... |                   ... |                ... |                ... |
   +----------+---------------------+--------------------+------------------------+-----------------------+--------------------+--------------------+
   

   La valeur r2_score pour le modèle optimal, qui correspond à l'essai 7, est 0.66521103056591446, ce qui montre une amélioration significative par rapport au modèle de référence.

Vous pouvez évaluer un essai spécifique en spécifiant l'argument TRIAL_ID dans la fonction ML.EVALUATE.

Pour en savoir plus sur la différence entre les objectifs ML.TRIAL_INFO et les métriques d'évaluation ML.EVALUATE, consultez la section Fonctions de mise en service de modèles.

Utiliser le modèle réglé pour prédire les pourboires de trajets en taxi

Utilisez le modèle optimal renvoyé par le réglage pour prédire les pourboires pour différents trajets en taxi. Le modèle optimal est automatiquement utilisé par la fonction ML.PREDICT, sauf si vous sélectionnez un autre essai en spécifiant l'argument TRIAL_ID. Les prédictions sont renvoyées dans la colonne predicted_label.

Pour obtenir des prédictions, procédez comme suit :

1. Dans la console Trusted Cloud , accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans l'éditeur de requête, collez la requête suivante, puis cliquez sur Exécuter :

   SELECT *
   FROM
     ML.PREDICT(
       MODEL `bqml_tutorial.hp_taxi_tip_model`,
       (
         SELECT
           *
         FROM
           `bqml_tutorial.taxi_tip_input`
         LIMIT 5
       ));

   Les résultats ressemblent à ce qui suit :

   +----------+--------------------+-----------+---------------------+---------------------+-----------------+---------------+-----------+--------------------+--------------+-------------+-------+---------+--------------+---------------+--------------+--------------------+---------------------+----------------+-----------------+-------+
   | trial_id |  predicted_label   | vendor_id |   pickup_datetime   |  dropoff_datetime   | passenger_count | trip_distance | rate_code | store_and_fwd_flag | payment_type | fare_amount | extra | mta_tax | tolls_amount | imp_surcharge | total_amount | pickup_location_id | dropoff_location_id | data_file_year | data_file_month | label |
   +----------+--------------------+-----------+---------------------+---------------------+-----------------+---------------+-----------+--------------------+--------------+-------------+-------+---------+--------------+---------------+--------------+--------------------+---------------------+----------------+-----------------+-------+
   |        7 |  1.343367839584448 | 2         | 2018-01-15 18:55:15 | 2018-01-15 18:56:18 |               1 |             0 | 1         | N                  | 1            |           0 |     0 |       0 |            0 |             0 |            0 | 193                | 193                 |           2018 |               1 |     0 |
   |        7 | -1.176072791783461 | 1         | 2018-01-08 10:26:24 | 2018-01-08 10:26:37 |               1 |             0 | 5         | N                  | 3            |        0.01 |     0 |       0 |            0 |           0.3 |         0.31 | 158                | 158                 |           2018 |               1 |     0 |
   |        7 |  3.839580104168765 | 1         | 2018-01-22 10:58:02 | 2018-01-22 12:01:11 |               1 |          16.1 | 1         | N                  | 1            |        54.5 |     0 |     0.5 |            0 |           0.3 |         55.3 | 140                | 91                  |           2018 |               1 |     0 |
   |        7 |  4.677393985230036 | 1         | 2018-01-16 10:14:35 | 2018-01-16 11:07:28 |               1 |            18 | 1         | N                  | 2            |        54.5 |     0 |     0.5 |            0 |           0.3 |         55.3 | 138                | 67                  |           2018 |               1 |     0 |
   |        7 |  7.938988937253062 | 2         | 2018-01-16 07:05:15 | 2018-01-16 08:06:31 |               1 |          17.8 | 1         | N                  | 1            |        54.5 |     0 |     0.5 |            0 |           0.3 |        66.36 | 132                | 255                 |           2018 |               1 | 11.06 |
   +----------+--------------------+-----------+---------------------+---------------------+-----------------+---------------+-----------+--------------------+--------------+-------------+-------+---------+--------------+---------------+--------------+--------------------+---------------------+----------------+-----------------+-------+