Apache Airflow-DAG in Managed Airflow (Gen 3) ausführen

Dienstkonto für eine Umgebung erstellen

Wenn Sie eine Umgebung erstellen, geben Sie ein Dienstkonto an. Dieses Dienstkonto wird als Dienstkonto der Umgebung bezeichnet. Ihre Umgebung verwendet dieses Dienstkonto, um die meisten Vorgänge auszuführen.

Das Dienstkonto für Ihre Umgebung ist kein Nutzerkonto. Ein Dienstkonto ist ein spezieller Kontotyp, der nicht von einer Person, sondern von einer Anwendung oder einer VM-Instanz verwendet wird.

So erstellen Sie ein Dienstkonto für Ihre Umgebung:

1. Erstellen Sie ein neues Dienstkonto, wie in der Dokumentation zu Identity and Access Management beschrieben.

2. Weisen Sie ihm eine Rolle zu, wie in der Dokumentation zu Identity and Access Management beschrieben. Die erforderliche Rolle ist Composer-Worker (composer.worker).

Umgebung erstellen

1. Rufen Sie in der Cloud de Confiance Console die Seite Umgebung erstellen auf.

   Zur Seite „Umgebung erstellen“

2. Geben Sie im Feld Name example-environment ein.

3. Wählen Sie in der Drop-down-Liste Standort eine Region für die Managed Airflow-Umgebung aus. In dieser Anleitung wird die Region us-central1 verwendet.

4. Übernehmen Sie für die anderen Optionen der Umgebungskonfiguration die angegebenen Standardeinstellungen.

5. Klicken Sie auf Erstellen und warten Sie, bis die Umgebung erstellt wurde.

6. Wenn der Vorgang abgeschlossen ist, wird neben dem Umgebungsnamen ein grünes Häkchen angezeigt.

DAG-Datei erstellen

Ein Airflow-DAG ist eine Sammlung organisierter Aufgaben, die Sie planen und ausführen möchten. DAGs werden in Standard-Python-Dateien definiert.

In dieser Anleitung wird ein Airflow-Beispiel-DAG verwendet, der in der Datei quickstart.py definiert ist. Der Python-Code in dieser Datei führt Folgendes aus:

1. Erstellt einen DAG, composer_sample_dag. Dieser DAG wird täglich ausgeführt.
2. Die Aufgabe print_dag_run_conf wird ausgeführt. Sie gibt mithilfe des bash-Operators die Konfiguration der DAG-Ausführung aus.

Speichern Sie eine Kopie der Datei quickstart.py auf Ihrem lokalen Computer:

import datetime

from airflow import models
from airflow.operators import bash

# If you are running Airflow in more than one time zone
# see https://airflow.apache.org/docs/apache-airflow/stable/timezone.html
# for best practices
YESTERDAY = datetime.datetime.now() - datetime.timedelta(days=1)

default_args = {
    "owner": "Composer Example",
    "depends_on_past": False,
    "email": [""],
    "email_on_failure": False,
    "email_on_retry": False,
    "retries": 1,
    "retry_delay": datetime.timedelta(minutes=5),
    "start_date": YESTERDAY,
}

with models.DAG(
    "composer_quickstart",
    catchup=False,
    default_args=default_args,
    schedule_interval=datetime.timedelta(days=1),
) as dag:
    # Print the dag_run id from the Airflow logs
    print_dag_run_conf = bash.BashOperator(
        task_id="print_dag_run_conf", bash_command="echo {{ dag_run.id }}"
    )

DAG-Datei in den Bucket Ihrer Umgebung hochladen

Jede Managed Airflow-Umgebung ist mit einem Cloud Storage-Bucket verknüpft. Airflow in Managed Airflow plant nur DAGs, die sich im Ordner /dags in diesem Bucket befinden.

Wenn Sie den DAG planen möchten, laden Sie quickstart.py von Ihrem lokalen Computer in den Ordner /dags Ihrer Umgebung hoch:

1. Rufen Sie in der Cloud de Confiance Console die Seite Umgebungen auf.

   Zur Seite Umgebungen

2. Klicken Sie in der Liste der Umgebungen auf den Namen Ihrer Umgebung, example-environment. Die Seite Umgebungsdetails wird geöffnet.

3. Klicken Sie auf DAGs-Ordner öffnen. Die Seite Bucket-Details wird geöffnet.

4. Klicken Sie auf Dateien hochladen und wählen Sie Ihre Kopie von quickstart.py aus.

5. Klicken Sie zum Hochladen der Datei auf Öffnen.

DAG ansehen

Nachdem Sie die DAG-Datei hochgeladen haben, führt Airflow die folgenden Schritte aus:

1. Parst die von Ihnen hochgeladene DAG-Datei. Es kann einige Minuten dauern, bis der DAG für Airflow verfügbar ist.
2. Fügt den DAG der Liste der verfügbaren DAGs hinzu.
3. Führt den DAG gemäß dem Zeitplan aus, den Sie in der DAG-Datei angegeben haben.

Prüfen Sie, ob Ihr DAG fehlerfrei verarbeitet wird und in Airflow verfügbar ist, indem Sie ihn in der DAG-UI aufrufen. Die DAG-Benutzeroberfläche ist die Managed Airflow-Oberfläche zum Aufrufen von DAG-Informationen in der Cloud de Confiance Console. Managed Airflow bietet auch Zugriff auf die Airflow-UI, eine native Airflow-Weboberfläche.

1. Warten Sie etwa fünf Minuten, damit Airflow die zuvor hochgeladene DAG-Datei verarbeiten und die erste DAG-Ausführung abschließen kann (wird später erläutert).

2. Rufen Sie in der Cloud de Confiance Console die Seite Umgebungen auf.

   Zur Seite Umgebungen

3. Klicken Sie in der Liste der Umgebungen auf den Namen Ihrer Umgebung, example-environment. Die Seite Umgebungsdetails wird geöffnet.

4. Rufen Sie den Tab DAGs auf.

5. Prüfen Sie, ob der DAG composer_quickstart in der Liste der DAGs enthalten ist.

   

Details zur DAG-Ausführung ansehen

Eine einzelne Ausführung eines DAG wird als DAG-Ausführung bezeichnet. Airflow führt sofort eine DAG-Ausführung für den Beispiel-DAG aus, da das Startdatum in der DAG-Datei auf gestern festgelegt ist. So holt Airflow den Zeitplan des angegebenen DAG nach.

Der Beispiel-DAG enthält eine Aufgabe, print_dag_run_conf, die den Befehl echo in der Console ausführt. Dieser Befehl gibt Metainformationen zum DAG aus (numerische Kennung der DAG-Ausführung).

1. Klicken Sie auf dem Tab DAGs auf composer_quickstart. Der Tab Ausführungen für den DAG wird geöffnet.

2. Klicken Sie in der Liste der DAG-Ausführungen auf den ersten Eintrag.

   

3. Die Details zur DAG-Ausführung werden angezeigt, einschließlich der Informationen zu den einzelnen Aufgaben des Beispiel-DAGs.

   

4. Im Abschnitt Logs für DAG-Ausführung werden Logs für alle Aufgaben in der DAG-Ausführung aufgeführt. Die Ausgabe des Befehls echo wird in den Logs angezeigt.