Effectuer une ingénierie des caractéristiques avec la clause TRANSFORM

Créer un ensemble de données

Créez un ensemble de données BigQuery pour stocker votre modèle de ML.

{
  "datasetReference": {
     "datasetId": "bqml_tutorial"
  }
}

import google.cloud.bigquery

bqclient = google.cloud.bigquery.Client()
bqclient.create_dataset("bqml_tutorial", exists_ok=True)

Créer le modèle

Créez un modèle de régression linéaire pour prédire le poids d'un manchot et entraînez-le sur l'exemple de table penguins.

La clause OPTIONS(model_type='linear_reg', input_label_cols=['body_mass_g']) indique que vous créez un modèle de régression linéaire. Un modèle de régression linéaire génère une valeur continue à partir d'une combinaison linéaire de caractéristiques d'entrée. La colonne body_mass_g correspond à la colonne de l'étiquette d'entrée. Pour les modèles de régression linéaire, la colonne d'étiquette doit être renseignée avec des valeurs réelles (les valeurs de colonne doivent être des nombres réels).

La clause TRANSFORM de cette requête utilise les colonnes suivantes de l'instruction SELECT :

• body_mass_g : utilisé pour l'entraînement sans aucune modification.
• culmen_depth_mm : utilisé pour l'entraînement sans aucune modification.
• flipper_length_mm : utilisé pour l'entraînement sans aucune modification.
• bucketized_culmen_length : généré à partir de culmen_length_mm en segmentant culmen_length_mm sur la base de quantiles à l'aide de la fonction d'analyse ML.QUANTILE_BUCKETIZE().
• culmen_length_mm : valeur culmen_length_mm d'origine, convertie en valeur STRING et utilisée pour l'entraînement.
• species_sex : généré à partir de species et de sex via la fonction ML.FEATURE_CROSS.

Vous n'avez pas besoin d'utiliser toutes les colonnes de la table d'entraînement dans la clause TRANSFORM.

La clause WHERE – WHERE body_mass_g IS NOT NULL AND RAND() < 0.2 – exclut les lignes où le poids des manchots est NULL et utilise la fonction RAND pour extraire un échantillon de données aléatoire.

Pour créer le modèle, procédez comme suit :

1. Dans la console Trusted Cloud , accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans l'éditeur de requête, collez la requête suivante, puis cliquez sur Exécuter :

   CREATE OR REPLACE MODEL `bqml_tutorial.penguin_transform`
     TRANSFORM(
       body_mass_g,
       culmen_depth_mm,
       flipper_length_mm,
       ML.QUANTILE_BUCKETIZE(culmen_length_mm, 10) OVER () AS bucketized_culmen_length,
       CAST(culmen_length_mm AS string) AS culmen_length_mm,
       ML.FEATURE_CROSS(STRUCT(species, sex)) AS species_sex)
     OPTIONS (
       model_type = 'linear_reg',
       input_label_cols = ['body_mass_g'])
   AS
   SELECT
     *
   FROM
     `bigquery-public-data.ml_datasets.penguins`
   WHERE
     body_mass_g IS NOT NULL
     AND RAND() < 0.2;

   L'exécution de la requête prend environ 15 minutes, après quoi le modèle penguin_transform apparaît dans le volet Explorateur. Étant donné que la requête utilise une instruction CREATE MODEL pour créer un modèle, les résultats de la requête ne sont pas affichés.

Évaluer le modèle

Évaluez les performances du modèle à l'aide de la fonction ML.EVALUATE. La fonction ML.EVALUATE compare les poids de pingouins prédits renvoyés par le modèle aux poids réels des pingouins issus des données d'entraînement.

L'instruction SELECT et la clause FROM imbriquées de cette requête sont identiques à celles de la requête CREATE MODEL. Étant donné que vous avez utilisé la clause TRANSFORM lors de la création du modèle, vous n'avez pas besoin de spécifier à nouveau les colonnes et les transformations dans la fonction ML.EVALUATE. La fonction les récupère automatiquement à partir du modèle.

Pour évaluer le modèle, procédez comme suit :

1. Dans la console Trusted Cloud , accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans l'éditeur de requête, collez la requête suivante, puis cliquez sur Exécuter :

   SELECT
     *
   FROM
     ML.EVALUATE(
       MODEL `bqml_tutorial.penguin_transform`,
       (
         SELECT
           *
         FROM
           `bigquery-public-data.ml_datasets.penguins`
         WHERE
           body_mass_g IS NOT NULL
       ));

   Le résultat doit ressembler à ce qui suit :

   +---------------------+--------------------+------------------------+-----------------------+--------------------+--------------------+
   | mean_absolute_error | mean_squared_error | mean_squared_log_error | median_absolute_error |      r2_score      | explained_variance |
   +---------------------+--------------------+------------------------+-----------------------+--------------------+--------------------+
   |   64.21134350607677 | 13016.433317859564 |   7.140935762696211E-4 |     15.31788461553515 | 0.9813042531507734 | 0.9813186268757634 |
   +---------------------+--------------------+------------------------+-----------------------+--------------------+--------------------+
   

   Le score R² est une métrique importante dans les résultats de l'évaluation. Le score R² est une mesure statistique qui détermine si les prédictions de régression linéaire se rapprochent des données réelles. Une valeur 0 indique que le modèle n'apporte aucune explication sur la variabilité des données de réponse autour de la moyenne. Une valeur 1 indique que le modèle explique toute la variabilité des données de réponse autour de la moyenne.

   Pour en savoir plus sur le résultat de la fonction ML.EVALUATE, consultez Modèles de régression.

   Vous pouvez également appeler ML.EVALUATE sans fournir de données d'entrée. Les métriques d'évaluation calculées au cours de l'entraînement seront alors utilisées.

Utiliser le modèle pour prédire le poids d'un manchot

Utilisez le modèle avec la fonction ML.PREDICT pour prédire le poids des manchots mâles.

La fonction ML.PREDICT génère la valeur prédite dans la colonne predicted_label_column_name, qui est predicted_body_mass_g dans ce cas.

Lorsque vous utilisez la fonction ML.PREDICT, vous n'avez pas besoin de transmettre toutes les colonnes utilisées dans l'entraînement du modèle. Seules les colonnes que vous avez utilisées dans la clause TRANSFORM sont obligatoires. Comme ML.EVALUATE, la fonction ML.PREDICT récupère automatiquement les colonnes et les transformations TRANSFORM à partir du modèle.

Pour obtenir des prédictions à partir du modèle, procédez comme suit :

1. Dans la console Trusted Cloud , accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans l'éditeur de requête, collez la requête suivante, puis cliquez sur Exécuter :

   SELECT
     predicted_body_mass_g
   FROM
     ML.PREDICT(
       MODEL `bqml_tutorial.penguin_transform`,
       (
         SELECT
           *
         FROM
           `bigquery-public-data.ml_datasets.penguins`
         WHERE
           sex = 'MALE'
       ));

   Le résultat doit ressembler à ce qui suit :

   +-----------------------+
   | predicted_body_mass_g |
   +-----------------------+
   |    2810.2868541725757 |
   +-----------------------+
   |    3813.6574220842676 |
   +-----------------------+
   |     4098.844698262214 |
   +-----------------------+
   |     4256.587135004173 |
   +-----------------------+
   |     3008.393497302691 |
   +-----------------------+
   |     ...               |
   +-----------------------+