Planifier des DAG Airflow

Ce document explique comment planifier des graphes acycliques orientés (DAG) Airflow à partir de Managed Airflow 3 sur la page Planification de BigQuery, y compris comment déclencher des DAG manuellement et comment afficher l'historique et les journaux des exécutions de DAG passées.

À propos de la gestion des DAG Airflow dans BigQuery

La page Planification de BigQuery fournit des outils permettant de planifier des DAG Airflow qui s'exécutent dans vos environnements Managed Airflow 3.

Les DAG Airflow que vous planifiez dans BigQuery sont exécutés dans un ou plusieurs environnements Managed Airflow de votre projet. La page Planification de BigQuery combine des informations pour tous les DAG Airflow de votre projet.

Lors d'une exécution de DAG, Airflow planifie et exécute des tâches individuelles qui composent un DAG dans une séquence définie par le DAG. Sur la page Planification de BigQuery, vous pouvez afficher l'état des exécutions de DAG passées, explorer les journaux détaillés de toutes les exécutions de DAG et de toutes les tâches de ces exécutions de DAG, et afficher des informations sur les DAG.

Pour en savoir plus sur les concepts de base d'Airflow, tels que les DAG Airflow, les exécutions de DAG, les tâches ou les opérateurs, consultez la page Concepts de base de la documentation Airflow.

Pour en savoir plus sur les environnements Managed Airflow, consultez la page Présentation de Managed Airflow 3 dans la documentation Managed Airflow.

Avant de commencer

  1. activer l'API Cloud Composer ;

    Rôles requis pour activer les API

    Pour activer les API, vous avez besoin du rôle IAM Administrateur d'utilisation du service (roles/serviceusage.serviceUsageAdmin), qui contient l'autorisation serviceusage.services.enable. Découvrez comment attribuer des rôles.

    Activer l'API

  2. Assurez-vous que votre Cloud de Confiance projet comporte au moins un environnement Managed Airflow 3 avec au moins un fichier DAG déjà importé :

Autorisations requises

Pour obtenir les autorisations dont vous avez besoin pour planifier des DAG Airflow, demandez à votre administrateur de vous attribuer les rôles IAM suivants sur le projet :

Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

Ces rôles prédéfinis contiennent les autorisations requises pour planifier des DAG Airflow. Pour connaître les autorisations exactes requises, développez la section Autorisations requises :

Autorisations requises

Les autorisations suivantes sont requises pour planifier des DAG Airflow :

  • Pour afficher les DAG Airflow et leurs détails : composers.dags.list, composer.environments.list
  • Pour déclencher et mettre en pause des DAG Airflow : composers.dags.list, composer.environments.list, composer.dags.execute

Vous pouvez également obtenir ces autorisations avec des rôles personnalisés ou d'autres rôles prédéfinis.

Pour en savoir plus sur IAM dans Managed Airflow 3, consultez Contrôle des accès avec IAM dans la documentation Managed Airflow.

Déclencher manuellement un DAG Airflow

Lorsque vous déclenchez manuellement un DAG Airflow, Airflow exécute le DAG une seule fois, indépendamment de la planification spécifiée pour le DAG.

Pour déclencher manuellement un DAG Airflow sélectionné, procédez comme suit :

  1. Dans la Cloud de Confiance console, accédez à la page Planification.

    Accéder à la page Planification

  2. Effectuez l'une des opérations suivantes :

    • Cliquez sur le nom du DAG sélectionné, puis sur la page Détails du DAG, cliquez sur Déclencher le DAG.

    • Sur la ligne contenant le DAG sélectionné, cliquez sur Afficher les actions dans la colonne Actions, puis cliquez sur Déclencher le DAG.

Afficher les journaux et les détails d'exécution d'un DAG Airflow

Pour afficher les détails d'un DAG Airflow sélectionné, procédez comme suit :

  1. Dans la Cloud de Confiance console, accédez à la page Planification.

    Accéder à la page Planification

  2. Cliquez sur le nom du DAG sélectionné.

  3. Sur la page Détails du DAG, sélectionnez l'onglet Détails.

  4. Pour afficher les exécutions de DAG passées, sélectionnez l'onglet Exécutions.

    1. Facultatif : Par défaut, l'onglet Exécutions affiche les exécutions de DAG des 10 derniers jours. Pour filtrer les exécutions de DAG par une autre plage de dates, dans le menu déroulant 10 jours, sélectionnez une plage de dates, puis cliquez sur OK.

    2. Facultatif : Pour afficher des colonnes supplémentaires avec les détails d'exécution du DAG dans la liste de toutes les exécutions de DAG, cliquez sur Options d'affichage des colonnes, puis sélectionnez les colonnes et cliquez sur OK.

    3. Pour afficher les détails et les journaux d'une exécution de DAG sélectionnée, sélectionnez une exécution de DAG.

  5. Pour afficher une visualisation du DAG avec les dépendances des tâches, sélectionnez l'onglet Diagramme.

    1. Pour afficher les détails d'une tâche, sélectionnez-la dans le diagramme.

  6. Pour afficher le code source du DAG, sélectionnez l'onglet Code.

  7. Facultatif : Pour actualiser les données affichées, cliquez sur Actualiser.

Afficher tous les DAG Airflow

Pour afficher les DAG Airflow de tous les environnements Managed Airflow 3 de votre Cloud de Confiance projet, procédez comme suit :

  1. Dans la Cloud de Confiance console, accédez à la page Planification.

    Accéder à la page Planification

  2. Facultatif : Pour afficher des colonnes supplémentaires avec les détails du DAG, cliquez sur Options d'affichage des colonnes, puis sélectionnez les colonnes et cliquez sur OK.

Mettre en pause un DAG Airflow

Pour mettre en pause un DAG Airflow sélectionné, procédez comme suit :

  1. Dans la Cloud de Confiance console, accédez à la page Planification.

    Accéder à la page Planification

  2. Effectuez l'une des opérations suivantes :

    • Cliquez sur le nom du DAG sélectionné, puis sur la page Détails du DAG, cliquez sur Mettre en pause le DAG.

    • Sur la ligne contenant le DAG sélectionné, cliquez sur Afficher les actions dans la colonne Actions, puis cliquez sur Mettre en pause le DAG.

Dépannage

Pour obtenir des instructions sur le dépannage des DAG Airflow, consultez Dépannage des DAG Airflow dans la documentation Managed Airflow.

Étape suivante