Programa DAGs de Airflow

En este documento, se describe cómo programar grafos acíclicos dirigidos (DAG) de Airflow desde Managed Airflow 3 en la página Programación de BigQuery, lo que incluye cómo activar DAGs de forma manual y cómo ver el historial y los registros de ejecuciones anteriores de DAGs.

Acerca de la administración de DAG de Airflow en BigQuery

La página Programación en BigQuery proporciona herramientas para programar DAG de Airflow que se ejecutan en tus entornos de Airflow administrado 3.

Los DAG de Airflow que programas en BigQuery se ejecutan en uno o más entornos de Managed Airflow en tu proyecto. La página Programación de BigQuery combina información de todos los DAG de Airflow en tu proyecto.

Durante una ejecución de DAG, Airflow programa y ejecuta tareas individuales que componen un DAG en una secuencia definida por el DAG. En la página Programación de BigQuery, puedes ver los estados de las ejecuciones de DAG anteriores, explorar los registros detallados de todas las ejecuciones de DAG y todas las tareas de estas ejecuciones de DAG, y ver detalles sobre los DAG.

Para obtener más información sobre los conceptos básicos de Airflow, como los DAG de Airflow, las ejecuciones de DAG, las tareas o los operadores, consulta la página Conceptos básicos en la documentación de Airflow.

Para obtener más información sobre los entornos de Managed Airflow, consulta la página de descripción general de Managed Airflow 3 en la documentación de Managed Airflow.

Antes de comenzar

  1. Habilitar la API de Cloud Composer

    Roles necesarios para habilitar las APIs

    Para habilitar las APIs, necesitas el rol de IAM de administrador de Service Usage (roles/serviceusage.serviceUsageAdmin), que contiene el permiso serviceusage.services.enable. Obtén más información para otorgar roles.

    Habilitar la API

  2. Asegúrate de que tu proyecto tenga al menos un entorno de Managed Airflow 3 con al menos un archivo DAG ya subido: Cloud de Confiance

Permisos necesarios

Para obtener los permisos que necesitas para programar DAGs de Airflow, pídele a tu administrador que te otorgue los siguientes roles de IAM en el proyecto:

Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

Estos roles predefinidos contienen los permisos necesarios para programar DAGs de Airflow. Para ver los permisos exactos que son necesarios, expande la sección Permisos requeridos:

Permisos necesarios

Se requieren los siguientes permisos para programar DAGs de Airflow:

  • Para ver los DAG de Airflow y sus detalles, haz lo siguiente: composers.dags.list, composer.environments.list
  • Para activar y pausar los DAG de Airflow, haz lo siguiente: composers.dags.list, composer.environments.list, composer.dags.execute

También puedes obtener estos permisos con roles personalizados o con otros roles predefinidos.

Para obtener más información sobre IAM de Managed Airflow 3, consulta Control de acceso con IAM en la documentación de Managed Airflow.

Cómo activar un DAG de Airflow de forma manual

Cuando activas manualmente un DAG de Airflow, Airflow lo ejecuta una vez, independientemente de la programación especificada para el DAG.

Para activar manualmente un DAG de Airflow seleccionado, sigue estos pasos:

  1. En la consola de Cloud de Confiance , ve a la página Scheduling.

    Ir a la página Programación

  2. Elige una de las siguientes opciones:

    • Haz clic en el nombre del DAG seleccionado y, luego, en la página Detalles del DAG, haz clic en Activar DAG.

    • En la fila que contiene el DAG seleccionado, haz clic en Ver acciones en la columna Acciones y, luego, en Activar DAG.

Consulta los registros y los detalles de la ejecución del DAG de Airflow

Para ver los detalles de un DAG de Airflow seleccionado, sigue estos pasos:

  1. En la consola de Cloud de Confiance , ve a la página Scheduling.

    Ir a la página Programación

  2. Haz clic en el nombre del DAG seleccionado.

  3. En la página Detalles del DAG, selecciona la pestaña Detalles.

  4. Para ver las ejecuciones de DAG anteriores, selecciona la pestaña Ejecuciones.

    1. Opcional: De forma predeterminada, en la pestaña Ejecuciones, se muestran las ejecuciones del DAG de los últimos 10 días. Para filtrar las ejecuciones del DAG por un período diferente, en el menú desplegable 10 días, selecciona un período y, luego, haz clic en Aceptar.

    2. Opcional: Para mostrar columnas adicionales con detalles de la ejecución del DAG en la lista de todas las ejecuciones del DAG, haz clic en Opciones de visualización de columnas y, luego, selecciona las columnas y haz clic en Aceptar.

    3. Para ver los detalles y los registros de una ejecución de DAG seleccionada, selecciona una ejecución de DAG.

  5. Para ver una visualización del DAG con las dependencias de las tareas, selecciona la pestaña Diagram.

    1. Para ver los detalles de una tarea, selecciónala en el diagrama.

  6. Para ver el código fuente del DAG, selecciona la pestaña Código.

  7. Opcional: Para actualizar los datos que se muestran, haz clic en Actualizar.

Visualiza todos los DAGs de Airflow

Para ver los DAG de Airflow de todos los entornos de Managed Airflow 3 en tu proyecto deCloud de Confiance , sigue estos pasos:

  1. En la consola de Cloud de Confiance , ve a la página Scheduling.

    Ir a la página Programación

  2. Opcional: Para mostrar columnas adicionales con detalles del DAG, haz clic en Opciones de visualización de columnas, selecciona las columnas y, luego, haz clic en Aceptar.

Cómo pausar un DAG de Airflow

Para pausar un DAG de Airflow seleccionado, sigue estos pasos:

  1. En la consola de Cloud de Confiance , ve a la página Scheduling.

    Ir a la página Programación

  2. Elige una de las siguientes opciones:

    • Haz clic en el nombre del DAG seleccionado y, luego, en la página Detalles del DAG, haz clic en Pausar DAG.

    • En la fila que contiene el DAG seleccionado, haz clic en Ver acciones en la columna Acciones y, luego, en Detener DAG.

Soluciona problemas

Para obtener instrucciones para solucionar problemas de DAG de Airflow, consulta Soluciona problemas de DAG de Airflow en la documentación de Managed Airflow.

¿Qué sigue?