Planifier des pipelines

Ce document explique comment planifier des pipelines BigQuery, y compris comment planifier des pipelines et inspecter les exécutions de pipelines planifiées.

Les pipelines sont alimentés par Dataform. Chaque programmation de pipeline est exécutée à l'aide des identifiants de votre compte Google ou d'un compte de service personnalisé que vous sélectionnez lorsque vous configurez la programmation.

Les modifications que vous apportez à un pipeline sont automatiquement enregistrées, mais ne sont disponibles que pour vous et les utilisateurs auxquels le rôle Administrateur Dataform a été attribué dans le projet. Pour mettre à jour la programmation avec une nouvelle version du pipeline, vous devez déployer le pipeline. Le déploiement met à jour la programmation pour utiliser votre version actuelle du pipeline. Les programmations exécutent toujours la dernière version déployée.

Les programmations de pipelines contenant des notebooks utilisent une spécification d'exécution par défaut. Lors de l'exécution programmée d'un pipeline contenant des notebooks, BigQuery écrit la sortie du notebook dans le bucket Cloud Storage sélectionné lors de la création de la programmation.

Avant de commencer

Avant de commencer, créez un pipeline.

Activer la planification des pipelines

Pour planifier des pipelines, vous devez attribuer le rôle suivant au compte de service personnalisé que vous prévoyez d'utiliser pour les programmations de pipelines :

Utilisateur du compte de service (roles/iam.serviceAccountUser)

Suivez la procédure décrite dans Accorder un rôle unique à un compte de service pour ajouter votre compte de service en tant que compte principal à lui-même. En d'autres termes, ajoutez le compte de service en tant que compte principal au même compte de service. Attribuez ensuite le rôle Utilisateur du compte de service à ce compte principal.

Si votre pipeline contient des requêtes SQL, vous devez attribuer les rôles suivants au compte de service que vous prévoyez d'utiliser pour les programmations de pipelines :

Utilisateur de job BigQuery (roles/bigquery.jobUser)

Suivez la procédure décrite dans Attribuer un rôle unique à un projet pour attribuer le rôle Utilisateur de job BigQuery à votre compte de service sur les projets à partir desquels vos pipelines lisent les données.

Lecteur de données BigQuery (roles/bigquery.dataViewer)

Suivez la procédure décrite dans Attribuer un rôle unique à un projet pour attribuer le rôle Lecteur de données BigQuery à votre compte de service sur les projets à partir desquels vos pipelines lisent les données.

Éditeur de données BigQuery (roles/bigquery.dataEditor)

Suivez la procédure décrite dans Attribuer un rôle unique à un projet pour attribuer le rôle Éditeur de données BigQuery à votre compte de service sur les projets dans lesquels vos pipelines écrivent des données.

Si votre pipeline contient des notebooks, vous devez attribuer les rôles suivants au compte de service que vous prévoyez d'utiliser pour les programmations de pipelines :

Utilisateur de Notebook Executor (roles/aiplatform.notebookExecutorUser)

Suivez la procédure décrite dans Attribuer un rôle unique à un projet pour attribuer le rôle utilisateur Notebook Executor à votre compte de service sur le projet sélectionné.

Administrateur de l'espace de stockage (roles/storage.admin)

Suivez la procédure décrite à la section Ajouter un compte principal à une stratégie au niveau du bucket pour ajouter votre compte de service en tant que compte principal au bucket Cloud Storage que vous prévoyez d'utiliser pour stocker le résultat des notebooks exécutés dans les exécutions de pipeline programmées, et attribuer le rôle Administrateur de l'espace de stockage à ce compte principal.

Vous devez également attribuer les rôles suivants à l'agent de service Dataform par défaut :

Créateur de jetons du compte de service (roles/iam.serviceAccountTokenCreator)

Suivez la procédure décrite dans Accorder l'accès à la création de jetons à un compte de service pour ajouter l'agent de service Dataform par défaut en tant que compte principal à votre compte de service, et attribuer le rôle Créateur de jetons de compte de service à ce compte principal.

Utilisateur du compte de service (roles/iam.serviceAccountUser)

Suivez Accorder ou révoquer plusieurs rôles IAM à l'aide de la console pour accorder le rôle "Utilisateur du compte de service" à l'agent de service Dataform par défaut sur le compte de service personnalisé. Cloud de Confiance

Pour en savoir plus sur les comptes de service dans Dataform, consultez la section À propos des comptes de service dans Dataform.

Exigences relatives à VPC Service Controls

Si vous utilisez VPC Service Controls pour protéger vos pipelines, sachez que les exécutions planifiées sont optimisées par Dataform. Lorsque vous configurez VPC Service Controls pour les exécutions planifiées, assurez-vous que les exigences suivantes sont respectées :

• Vous devez définir le service de règles d'administration dataform.restrictGitRemotes.
• Dataform et BigQuery doivent être restreints par le même périmètre de service VPC Service Controls.
• Pour permettre aux utilisateurs de s'authentifier avec les identifiants de leur compte Google lorsqu'ils planifient ou déclenchent manuellement des exécutions, vous devez ajouter leurs identités utilisateur à vos règles d'entrée. Pour en savoir plus, consultez Mettre à jour les règles d'entrée et de sortie pour un périmètre de service et la Documentation de référence sur les règles d'entrée.

Pour obtenir des instructions de configuration détaillées et des informations sur les considérations de sécurité, consultez Configurer VPC Service Controls pour Dataform.

Rôles requis

Pour obtenir les autorisations nécessaires pour gérer les pipelines, demandez à votre administrateur de vous accorder les rôles IAM suivants :

• Supprimer des pipelines : Administrateur Dataform (roles/dataform.Admin) sur le pipeline
• Créer, modifier, exécuter et supprimer des planifications de pipeline :
  • Administrateur Dataform (roles/dataform.Admin) sur le pipeline
  • Utilisateur du compte de service (roles/iam.serviceAccountUser) sur le compte de service personnalisé
• Afficher et exécuter des pipelines : Lecteur Dataform (roles/dataform.Viewer) sur le projet
• Afficher les plannings de pipeline : Éditeur Dataform (roles/dataform.Editor) sur le projet

Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

Vous pouvez également obtenir les autorisations requises avec des rôles personnalisés ou d'autres rôles prédéfinis.

Pour renforcer la sécurité de la planification, consultez Implémenter des autorisations de planification avancées.

Pour en savoir plus sur IAM pour Dataform, consultez Contrôler les accès avec IAM.

Pour utiliser les modèles d'environnement d'exécution de notebook Colab lorsque vous planifiez des pipelines, vous devez disposer du rôle Utilisateur de l'environnement d'exécution de notebook (roles/aiplatform.notebookRuntimeUser).

Créer une programmation de pipeline

Pour créer une programmation de pipeline, procédez comme suit :

Autoriser votre compte Google

Pour authentifier la ressource avec vos identifiants de compte Google, vous devez accorder manuellement l'autorisation aux pipelines BigQuery pour obtenir le jeton d'accès à votre compte Google et accéder aux données sources en votre nom. Vous pouvez accorder une approbation manuelle à l'aide de l'interface de la boîte de dialogue OAuth. Si vous sélectionnez une option d'accès étendu, vous devez accorder l'accès à ces services (par exemple, Google Drive ou le catalogue de connaissances).

Vous n'avez besoin d'accorder l'autorisation aux pipelines BigQuery qu'une seule fois.

Pour révoquer l'autorisation que vous avez accordée, procédez comme suit :

1. Accédez à la page de votre compte Google.
2. Cliquez sur Pipelines BigQuery.
3. Cliquez sur Supprimer l'accès.

La modification du propriétaire du planning de pipeline en mettant à jour les identifiants nécessite également une approbation manuelle si le nouveau propriétaire du compte Google n'a jamais créé de planning auparavant.

Si votre pipeline contient un notebook, vous devez également accorder manuellement l'autorisation à Colab Enterprise d'obtenir le jeton d'accès à votre compte Google et d'accéder aux données sources en votre nom. Vous n'avez besoin d'accorder l'autorisation qu'une seule fois. Vous pouvez révoquer cette autorisation sur la page de votre compte Google.

Programmation basée sur des déclencheurs

Vous pouvez configurer des pipelines BigQuery pour qu'ils déclenchent automatiquement des exécutions en fonction des mises à jour apportées à des tables BigQuery spécifiques. Vous pouvez créer des plannings basés sur des déclencheurs pour automatiser les exécutions de pipelines en réponse aux modifications apportées à vos données BigQuery, plutôt que selon un planning fixe.

Lorsque le pipeline détecte des modifications apportées à la ou aux tables spécifiées, il déclenche une nouvelle exécution du workflow associé. Vous pouvez définir des conditions basées sur les mises à jour d'une seule table, de toutes les tables d'un ensemble ou de n'importe quelle table d'un ensemble.

Vous pouvez également ajuster les paramètres facultatifs de vos plannings basés sur des déclencheurs pour contrôler l'intervalle minimal entre les déclencheurs de pipeline. Par exemple, ajustez la valeur Durée d'exécution min. pour vous assurer que les plannings basés sur des déclencheurs ne sont pas activés plus souvent que prévu. Vous pouvez également ajuster la valeur Durée d'attente maximale pour vous assurer que le calendrier basé sur un déclencheur est forcé de s'activer une fois au cours de cette durée, même si aucune mise à jour de table n'a été détectée.

Limites

Les programmations basées sur des déclencheurs sont soumises aux limites suivantes :

• Les planifications basées sur des déclencheurs ne sont pas instantanées. Lorsque vous configurez une planification basée sur un déclencheur, le pipeline vérifie l'état de la table BigQuery environ toutes les trois minutes. Cette période est appelée "intervalle d'interrogation". Elle peut entraîner un délai entre la modification d'une table et l'activation du déclencheur.
• Chaque table surveillée génère des appels d'API vers BigQuery à chaque intervalle d'interrogation. La surveillance d'un très grand nombre de tables peut contribuer à la consommation du quota de l'API BigQuery.

Créer un déclencheur

Pour créer un déclencheur, procédez comme suit :

1. Dans la console Cloud de Confiance , accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans le volet de gauche, cliquez sur explore Explorateur :

   

   Si le volet de gauche ne s'affiche pas, cliquez sur last_page Développer le volet de gauche pour l'ouvrir.

3. Dans le volet Explorateur, développez votre projet, cliquez sur Pipelines, puis sélectionnez un pipeline.

4. Cliquez sur Déclencher.

5. Dans le champ Déclencheur, saisissez un nom pour le déclencheur.

6. Dans la section Authentification, autorisez le pipeline avec les identifiants de votre compte Google ou un compte de service.

   • Pour utiliser les identifiants utilisateur de votre compte Google (Aperçu), sélectionnez Exécuter avec mes identifiants utilisateur.
   • Pour utiliser un compte de service, sélectionnez Exécuter avec le compte de service sélectionné, puis sélectionnez un compte de service.

7. Si votre pipeline contient un notebook, dans la section Options du notebook, dans le champ Modèle d'environnement d'exécution, sélectionnez un modèle d'environnement d'exécution de notebook Colaboratory ou les spécifications d'environnement d'exécution par défaut. Pour savoir comment créer un modèle d'exécution de notebook Colab, consultez Créer un modèle d'exécution.

8. Si votre pipeline contient un notebook, dans la section Options du notebook, dans le champ Bucket Cloud Storage, cliquez sur Parcourir, puis sélectionnez ou créez un bucket Cloud Storage pour stocker le résultat des notebooks dans votre pipeline.

   Le compte de service sélectionné doit disposer du rôle IAM "Administrateur de stockage" sur le bucket sélectionné. Pour en savoir plus, consultez Activer la planification des pipelines.

9. Sous Type de configuration, sélectionnez Déclencheur (exécution basée sur les événements).

10. Dans le champ Rechercher des tables, ajoutez une ou plusieurs tables à surveiller pour le déclencheur.

11. Sous Condition de déclenchement, sélectionnez l'une des options suivantes :

    • Attendre que TOUTES les tables soient mises à jour : déclenchez le workflow uniquement lorsque toutes les tables listées ont été mises à jour depuis la dernière vérification.
    • Déclencher si UNE table est mise à jour : déclenchez ce workflow si l'une des tables listées est mise à jour depuis la dernière vérification.

12. (Facultatif) Pour Durée d'attente maximale, saisissez une durée pour forcer l'activation d'un déclencheur si aucune mise à jour de table n'est détectée pendant cette durée. Accepte les valeurs comprises entre 1 seconde et 7 jours. Si aucune valeur n'est spécifiée, le workflow ne s'exécute que si la table surveillée est mise à jour et que la durée d'exécution minimale est respectée.

13. (Facultatif) Pour Durée d'exécution min., sélectionnez une durée pour empêcher les déclencheurs de s'activer plus fréquemment que cette durée minimale. Accepte les valeurs comprises entre 3 minutes et 24 heures. Si aucune valeur n'est spécifiée, la valeur par défaut est de trois minutes.

14. Cliquez sur Créer la programmation. Si vous avez sélectionné Exécuter avec mes identifiants utilisateur comme méthode d'authentification, vous devez autoriser votre compte Google (Aperçu).

Résoudre les problèmes liés aux planifications basées sur des déclencheurs

Cette section décrit les problèmes courants liés aux plannings basés sur des déclencheurs et explique comment les résoudre.

Problème : Le déclencheur ne s'active pas

Solution : essayez l'une des étapes suivantes :

• Vérifiez que les identifiants utilisateur ou le compte de service disposent de toutes les autorisations requises.
• Vérifiez que la table BigQuery spécifiée est en cours de modification.
• Vérifiez que le déclencheur n'est pas affecté par l'intervalle d'interrogation.
• Vérifiez si la durée d'exécution minimale (valeur Durée d'exécution min.) empêche les exécutions plus fréquentes. Vous pouvez diminuer cette valeur pour augmenter la fréquence d'activation du déclencheur.
• Vérifiez si l'option de condition de déclenchement (TOUTES ou N'IMPORTE QUELLE) affecte l'activation du déclencheur.
• Examinez les journaux d'audit pour vérifier si des erreurs se sont produites lorsque Dataform a tenté d'appeler l'API BigQuery pour vérifier l'état de la table surveillée.

Problème : le déclencheur s'active trop souvent

Résolution : ajustez la durée d'exécution minimale ou la valeur Durée d'exécution min.. Vous pouvez augmenter cette valeur pour diminuer la fréquence d'activation du déclencheur.

Déployer un pipeline

Le déploiement d'un pipeline met à jour sa programmation avec la version actuelle du pipeline. Les programmations exécutent la dernière version déployée du pipeline.

Pour déployer un pipeline, procédez comme suit :

1. Dans la console Cloud de Confiance , accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans le volet de gauche, cliquez sur explore Explorateur :

   

3. Dans le volet Explorateur, développez votre projet, cliquez sur Pipelines, puis sélectionnez un pipeline.

4. Cliquez sur Déployer.

La programmation correspondante est mise à jour avec la version actuelle du pipeline. La dernière version déployée du pipeline s'exécute à l'heure programmée.

Désactiver une programmation

Pour suspendre les exécutions programmées d'un pipeline sélectionné sans supprimer la programmation, vous pouvez la désactiver.

Pour désactiver une programmation pour un pipeline sélectionné, procédez comme suit :

Activer une programmation

Pour reprendre les exécutions programmées d'une programmation de pipeline désactivée, procédez comme suit :

Exécuter manuellement un pipeline déployé

Lorsque vous exécutez manuellement un pipeline déployé dans une planification sélectionnée, BigQuery exécute le pipeline déployé une seule fois, indépendamment de la planification.

Pour exécuter manuellement un pipeline déployé, procédez comme suit :

1. Dans la console Cloud de Confiance , accédez à la page Planification.

   Accéder à la planification

2. Cliquez sur le nom de la planification de pipeline sélectionnée.

3. Sur la page Détails de la programmation, cliquez sur Exécuter.

Afficher toutes les programmations de pipeline

Pour afficher toutes les programmations de pipelines de votre projet Cloud de Confiance , procédez comme suit :

1. Dans la console Cloud de Confiance , accédez à la page Planification.

   Accéder à la planification

2. Facultatif : Pour afficher des colonnes supplémentaires avec des informations sur la planification du pipeline, cliquez sur view_column Options d'affichage des colonnes, puis sélectionnez les colonnes et cliquez sur OK.

Afficher les détails de la programmation d'un pipeline

Pour afficher les détails d'une programmation de pipeline sélectionnée, procédez comme suit :

Afficher les exécutions planifiées passées

Pour afficher les exécutions précédentes d'une programmation de pipeline sélectionnée, procédez comme suit :

Modifier une programmation de pipeline

Pour modifier la programmation d'un pipeline, procédez comme suit :

Supprimer une programmation de pipeline

Pour supprimer définitivement une programmation de pipeline, procédez comme suit :

1. Dans la console Cloud de Confiance , accédez à la page Planification.

   Accéder à la planification

2. Effectuez l'une des opérations suivantes :

   • Cliquez sur le nom de la planification de pipeline sélectionnée, puis sur Supprimer sur la page Détails de la planification.

   • Sur la ligne contenant la planification de pipeline sélectionnée, cliquez sur more_vert Afficher les actions dans la colonne Actions, puis sur Supprimer.

3. Dans la boîte de dialogue qui s'affiche, cliquez sur Supprimer.

Étapes suivantes

• En savoir plus sur les pipelines dans BigQuery
• Découvrez comment créer des pipelines.