Ejecuta un DAG de Apache Airflow en Managed Airflow (3ª gen.)

Crea una cuenta de servicio para el entorno

Cuando creas un entorno, especificas una cuenta de servicio. Esta cuenta de servicio se denomina cuenta de servicio del entorno. Tu entorno usa esta cuenta de servicio para realizar la mayoría de las operaciones.

La cuenta de servicio de tu entorno no es una cuenta de usuario. Una cuenta de servicio es un tipo especial de cuenta que usa una aplicación o una instancia de máquina virtual (VM), no una persona.

Para crear una cuenta de servicio para tu entorno, sigue estos pasos:

1. Crea una cuenta de servicio nueva, como se describe en la documentación de Identity and Access Management.

2. Otórgale un rol, como se describe en la documentación de Identity and Access Management. El rol requerido es Trabajador de Composer (composer.worker).

Crear un entorno

1. En la consola de Cloud de Confiance , ve a la página Crear entorno.

   Ir a Crear entorno

2. En el campo Nombre, ingresa example-environment.

3. En la lista desplegable Ubicación, selecciona una región para el entorno de Managed Airflow. En esta guía, se usa la región us-central1.

4. Para otras opciones de configuración del entorno, usa los valores predeterminados proporcionados.

5. Haz clic en Crear y espera a que se cree el entorno.

6. Cuando termine, se mostrará una marca de verificación verde junto al nombre del entorno.

Crea un archivo de DAG

Un DAG de Airflow es una colección de tareas organizadas que deseas programar y ejecutar. Los DAG se definen en archivos estándares de Python.

En esta guía, se usa un DAG de Airflow de ejemplo definido en el archivo quickstart.py. El código de Python de este archivo hace lo siguiente:

1. Crea un DAG composer_sample_dag. Este DAG se ejecuta todos los días.
2. Ejecuta una tarea print_dag_run_conf. La tarea imprime la configuración de ejecución del DAG con el operador bash.

Guarda una copia del archivo quickstart.py en tu máquina local:

import datetime

from airflow import models
from airflow.operators import bash

# If you are running Airflow in more than one time zone
# see https://airflow.apache.org/docs/apache-airflow/stable/timezone.html
# for best practices
YESTERDAY = datetime.datetime.now() - datetime.timedelta(days=1)

default_args = {
    "owner": "Composer Example",
    "depends_on_past": False,
    "email": [""],
    "email_on_failure": False,
    "email_on_retry": False,
    "retries": 1,
    "retry_delay": datetime.timedelta(minutes=5),
    "start_date": YESTERDAY,
}

with models.DAG(
    "composer_quickstart",
    catchup=False,
    default_args=default_args,
    schedule_interval=datetime.timedelta(days=1),
) as dag:
    # Print the dag_run id from the Airflow logs
    print_dag_run_conf = bash.BashOperator(
        task_id="print_dag_run_conf", bash_command="echo {{ dag_run.id }}"
    )

Sube el archivo DAG al bucket de tu entorno

Cada entorno de Managed Airflow tiene un bucket de Cloud Storage asociado. Airflow en Managed Airflow solo programa los DAG que se encuentran en la carpeta /dags de este bucket.

Para programar tu DAG, sube quickstart.py desde tu máquina local a la carpeta /dags de tu entorno:

1. En la consola de Cloud de Confiance , ve a la página Entornos.

   Ir a Entornos

2. En la lista de entornos, haz clic en el nombre de tu entorno, example-environment. Se abrirá la página Detalles del entorno.

3. Haz clic en Abrir carpeta de DAG. Se abrirá la página Detalles del bucket.

4. Haz clic en Subir archivos y, luego, selecciona tu copia de quickstart.py.

5. Para subir el archivo, haz clic en Abrir.

Visualiza el DAG

Después de subir el archivo DAG, Airflow hace lo siguiente:

1. Analiza el archivo DAG que subiste. Es posible que el DAG tarde unos minutos en estar disponible para Airflow.
2. Agrega el DAG a la lista de DAG disponibles.
3. Ejecuta el DAG según el programa que proporcionaste en el archivo DAG.

Verifica que tu DAG se procese sin errores y esté disponible en Airflow. Para ello, visualízalo en la IU de DAG. La IU de DAG es la interfaz de Managed Airflow para ver la información de los DAG en la consola de Cloud de Confiance . Managed Airflow también proporciona acceso a la IU de Airflow, que es una interfaz web nativa de Airflow.

1. Espera unos cinco minutos para que Airflow tenga tiempo de procesar el archivo DAG que subiste antes y completar la primera ejecución de DAG (se explica más adelante).

2. En la consola de Cloud de Confiance , ve a la página Entornos.

   Ir a Entornos

3. En la lista de entornos, haz clic en el nombre de tu entorno, example-environment. Se abrirá la página Detalles del entorno.

4. Ve a la pestaña DAG.

5. Verifica que el DAG composer_quickstart esté presente en la lista de DAG.

   

Visualiza los detalles de la ejecución del DAG

Una sola ejecución de un DAG se denomina ejecución de DAG. Airflow ejecuta de inmediato una ejecución de DAG para el DAG de ejemplo, ya que la fecha de inicio en el archivo DAG se establece en el día anterior. De esta manera, Airflow se pone al día con la programación del DAG especificado.

El DAG de ejemplo contiene una tarea, print_dag_run_conf, que ejecuta el comando echo en la consola. Este comando genera metainformación sobre el DAG (identificador numérico de la ejecución del DAG).

1. En la pestaña DAGs, haz clic en composer_quickstart. Se abrirá la pestaña Ejecuciones del DAG.

2. En la lista de ejecuciones de DAG, haz clic en la primera entrada.

   

3. Se muestran los detalles de la ejecución del DAG, con información sobre las tareas individuales del DAG de ejemplo.

   

4. En la sección Registros de la ejecución de DAG, se enumeran los registros de todas las tareas de la ejecución de DAG. Puedes ver el resultado del comando echo en los registros.