Planifier des DAG Airflow

Ce document explique comment orchestrer efficacement vos pipelines de données en planifiant des graphes acycliques orientés (DAG) à partir de Managed Airflow 3 sur la page Planification de BigQuery dans la Cloud de Confiance console. Cette fonctionnalité vous aide à automatiser et à surveiller les flux de données qui alimentent vos analyses BigQuery. Vous pouvez déclencher manuellement des DAG et centraliser leur gestion, y compris l'affichage de l'historique d'exécution et des journaux.

À propos de la gestion des DAG Airflow dans BigQuery

La page Planification de BigQuery fournit des outils permettant de planifier les DAG Airflow qui s'exécutent dans vos environnements Managed Airflow 3.

Les DAG Airflow que vous planifiez dans BigQuery sont exécutés dans un ou plusieurs environnements Managed Airflow de votre projet. La page Planification de BigQuery combine des informations pour tous les DAG Airflow de votre projet.

Lors d'une exécution de DAG, Airflow planifie et exécute des tâches individuelles qui composent un DAG dans une séquence définie par le DAG. Sur la page Planification de BigQuery, vous pouvez afficher l'état des exécutions de DAG passées, explorer les journaux détaillés de toutes les exécutions de DAG et de toutes les tâches de ces exécutions de DAG, et afficher des informations sur les DAG.

Pour en savoir plus sur les concepts de base d'Airflow, tels que les DAG Airflow, les exécutions de DAG, les tâches ou les opérateurs, consultez la page Concepts de base de la documentation Airflow.

Pour en savoir plus sur les environnements Managed Airflow, consultez la page Présentation de Managed Airflow 3 dans la documentation Managed Airflow.

Avant de commencer

  1. activer l'API Cloud Composer ;

    Rôles requis pour activer les API

    Pour activer les API, vous avez besoin de l'autorisation serviceusage.services.enable. Si vous avez créé le projet, vous disposez probablement déjà de cette autorisation via le rôle Propriétaire (roles/owner). Sinon, vous pouvez obtenir cette autorisation via le rôle Administrateur d'utilisation du service (roles/serviceusage.serviceUsageAdmin). Découvrez comment attribuer des rôles.

    Activer l'API

  2. Assurez-vous que votre Cloud de Confiance projet comporte au moins un environnement Managed Airflow 3 avec au moins un fichier DAG déjà importé :

Autorisations requises

Pour obtenir les autorisations nécessaires pour planifier les DAG Airflow, demandez à votre administrateur de vous accorder les rôles IAM suivants sur le projet :

Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

Ces rôles prédéfinis contiennent les autorisations requises pour planifier les DAG Airflow. Pour connaître les autorisations exactes requises, développez la section Autorisations requises :

Autorisations requises

Les autorisations suivantes sont requises pour planifier les DAG Airflow :

  • Pour afficher les DAG Airflow et leurs détails : composers.dags.list, composer.environments.list
  • Pour déclencher et suspendre les DAG Airflow : composers.dags.list, composer.environments.list, composer.dags.execute

Vous pouvez également obtenir ces autorisations avec des rôles personnalisés ou d'autres rôles prédéfinis.

Pour en savoir plus sur IAM dans Managed Airflow 3, consultez Contrôle des accès avec IAM dans la documentation Managed Airflow.

Déclencher manuellement un DAG Airflow

Lorsque vous déclenchez manuellement un DAG Airflow, Airflow exécute le DAG une seule fois, indépendamment de la planification spécifiée pour le DAG.

Pour déclencher manuellement un DAG Airflow sélectionné, procédez comme suit :

  1. Dans la Cloud de Confiance console, accédez à la page Planification.

    Accéder à la page Planification

  2. Effectuez l'une des opérations suivantes :

    • Cliquez sur le nom du DAG sélectionné, puis sur la page Détails du DAG, cliquez sur Déclencher le DAG.

    • Sur la ligne contenant le DAG sélectionné, cliquez sur Afficher les actions dans la colonne Actions, puis cliquez sur Déclencher le DAG.

Afficher les journaux et les détails d'exécution des DAG Airflow

Pour afficher les détails d'un DAG Airflow sélectionné, procédez comme suit :

  1. Dans la Cloud de Confiance console, accédez à la page Planification.

    Accéder à la page Planification

  2. Cliquez sur le nom du DAG sélectionné.

  3. Sur la page Détails du DAG, sélectionnez l'onglet Détails.

  4. Pour afficher les exécutions de DAG passées, sélectionnez l'onglet Exécutions.

    1. Facultatif : Par défaut, l'onglet Exécutions affiche les exécutions de DAG des 10 derniers jours. Pour filtrer les exécutions de DAG par une autre période, dans le menu déroulant 10 jours, sélectionnez une période, puis cliquez sur OK.

    2. Facultatif : Pour afficher des colonnes supplémentaires avec les détails d'exécution du DAG dans la liste de toutes les exécutions de DAG, cliquez sur Options d'affichage des colonnes, puis sélectionnez les colonnes et cliquez sur OK.

    3. Pour afficher les détails et les journaux d'une exécution de DAG sélectionnée, sélectionnez une exécution de DAG.

  5. Pour afficher une visualisation du DAG avec les dépendances des tâches, sélectionnez l'onglet Diagramme.

    1. Pour afficher les détails d'une tâche, sélectionnez-la dans le diagramme.

  6. Pour afficher le code source du DAG, sélectionnez l'onglet Code.

  7. Facultatif : Pour actualiser les données affichées, cliquez sur Actualiser.

Afficher tous les DAG Airflow

Pour afficher les DAG Airflow de tous les environnements Managed Airflow 3 de votre Cloud de Confiance projet, procédez comme suit :

  1. Dans la Cloud de Confiance console, accédez à la page Planification.

    Accéder à la page Planification

  2. Facultatif : Pour afficher des colonnes supplémentaires avec les détails du DAG, cliquez sur Options d'affichage des colonnes, puis sélectionnez les colonnes et cliquez sur OK.

Suspendre un DAG Airflow

Pour suspendre un DAG Airflow sélectionné, procédez comme suit :

  1. Dans la Cloud de Confiance console, accédez à la page Planification.

    Accéder à la page Planification

  2. Effectuez l'une des opérations suivantes :

    • Cliquez sur le nom du DAG sélectionné, puis sur la page Détails du DAG, cliquez sur Suspendre le DAG.

    • Sur la ligne contenant le DAG sélectionné, cliquez sur Afficher les actions dans la colonne Actions, puis cliquez sur Suspendre le DAG.

Dépannage

Pour obtenir des instructions sur le dépannage des DAG Airflow, consultez Dépannage des DAG Airflow dans la documentation Managed Airflow.

Étape suivante