Programar DAGs do Airflow

Neste documento, descrevemos como orquestrar seus pipelines de dados de maneira eficiente programando grafos acíclicos direcionados (DAGs) do Airflow Gerenciado 3 na página Programação do BigQuery no Cloud de Confiance console. Esse recurso ajuda a automatizar e monitorar os fluxos de dados que impulsionam suas análises do BigQuery. É possível acionar DAGs manualmente e centralizar o gerenciamento deles, incluindo a visualização do histórico de execução e dos registros.

Sobre o gerenciamento de DAGs do Airflow no BigQuery

A página Programação no BigQuery oferece ferramentas para programar DAGs do Airflow que são executados nos seus ambientes do Airflow Gerenciado 3.

Os DAGs do Airflow programados no BigQuery são executados em um ou mais ambientes do Airflow Gerenciado no seu projeto. A página Programação no BigQuery combina informações de todos os DAGs do Airflow no seu projeto.

Durante uma execução de DAG, o Airflow programa e executa tarefas individuais que compõem um DAG em uma sequência definida por ele. Na página Programação do BigQuery, é possível conferir os status das execuções anteriores de DAGs, acessar registros detalhados de todas as execuções de DAGs e tarefas relacionadas e ver detalhes sobre os DAGs.

Para saber mais sobre os conceitos básicos do Airflow, como DAGs, execuções de DAGs, tarefas ou operadores, consulte a página Conceitos básicos na documentação do Airflow.

Para saber mais sobre os ambientes do Airflow Gerenciado, consulte a página Visão geral do Airflow Gerenciado 3 na documentação do Airflow Gerenciado.

Antes de começar

  1. Ative a API Cloud Composer, se ela ainda não estiver ativada.

    Funções necessárias para ativar APIs

    Para ativar APIs, você precisa da permissão serviceusage.services.enable. Se você criou o projeto, provavelmente já tem essa permissão com o papel de Proprietário (roles/owner). Caso contrário, é possível receber essa permissão com o papel de Administrador do Service Usage (roles/serviceusage.serviceUsageAdmin). Saiba como conceder papéis.

    Ativar a API

  2. Verifique se o seu Cloud de Confiance projeto tem pelo menos um ambiente do Airflow Gerenciado 3 com pelo menos um arquivo DAG já enviado:

Permissões necessárias

Para receber as permissões necessárias para programar DAGs do Airflow, peça ao administrador para conceder a você os seguintes papéis do IAM no projeto:

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Esses papéis predefinidos contêm as permissões necessárias para programar DAGs do Airflow. Para acessar as permissões exatas necessárias, expanda a seção Permissões necessárias:

Permissões necessárias

As seguintes permissões são necessárias para programar DAGs do Airflow:

  • Para ver os DAGs do Airflow e os detalhes deles: composers.dags.list, composer.environments.list
  • Para acionar e pausar DAGs do Airflow: composers.dags.list, composer.environments.list, composer.dags.execute

Essas permissões também podem ser concedidas com funções personalizadas ou outros papéis predefinidos.

Para mais informações sobre o IAM do Airflow Gerenciado 3, consulte Controle de acesso com o IAM na documentação do Airflow Gerenciado.

Acionar manualmente um DAG do Airflow

Quando você aciona manualmente um DAG do Airflow, ele é executado uma vez, independente da programação especificada.

Para acionar manualmente um DAG do Airflow selecionado, siga estas etapas:

  1. No console Cloud de Confiance , acesse a página Programação.

    Acessar a página Programação

  2. Realize uma das seguintes ações:

    • Clique no nome do DAG selecionado e, na página Detalhes do DAG, clique em Acionar DAG.

    • Na linha que contém o DAG selecionado, clique em Ver ações na coluna Ações e em Acionar DAG.

Conferir registros e detalhes de execução de DAGs do Airflow

Para conferir os detalhes de um DAG do Airflow selecionado, siga estas etapas:

  1. No console Cloud de Confiance , acesse a página Programação.

    Acessar a página Programação

  2. Clique no nome do DAG selecionado.

  3. Na página Detalhes do DAG, selecione a guia Detalhes.

  4. Para conferir as execuções de DAG anteriores, selecione a guia Execuções.

    1. Opcional: a guia Execuções mostra as execuções de DAG dos últimos 10 dias por padrão. Para filtrar execuções de DAG por um período diferente, no menu suspenso 10 dias, selecione um período e clique em OK.

    2. Opcional: para mostrar outras colunas com detalhes de execução do DAG na lista de todas as execuções do DAG, clique em Opções de exibição de colunas, selecione as colunas e clique em OK.

    3. Para conferir detalhes e registros de uma execução de DAG selecionada, selecione uma execução.

  5. Para ver uma visualização do DAG com dependências de tarefas, selecione a guia Diagrama.

    1. Para ver os detalhes de uma tarefa, selecione uma no diagrama.

  6. Para conferir o código-fonte da DAG, selecione a guia Código.

  7. Opcional: para atualizar os dados mostrados, clique em Atualizar.

Conferir todos os DAGs do Airflow

Para conferir os DAGs do Airflow de todos os ambientes do Airflow Gerenciado 3 no seu projetoCloud de Confiance , siga estas etapas:

  1. No console Cloud de Confiance , acesse a página Programação.

    Acessar a página Programação

  2. Opcional: para mostrar outras colunas com detalhes do DAG, clique em Opções de exibição de colunas, selecione as colunas e clique em OK.

Pausar um DAG do Airflow

Para pausar um DAG do Airflow selecionado, siga estas etapas:

  1. No console Cloud de Confiance , acesse a página Programação.

    Acessar a página Programação

  2. Realize uma das seguintes ações:

    • Clique no nome do DAG selecionado e, na página Detalhes do DAG, clique em Pausar DAG.

    • Na linha que contém o DAG selecionado, clique em Ver ações na coluna Ações e em Pausar DAG.

Solução de problemas

Para instruções sobre como resolver problemas de DAGs do Airflow, consulte Como resolver problemas de DAGs do Airflow na documentação do Airflow Gerenciado.

A seguir