Programar DAGs do Airflow

Este documento descreve como orquestrar seus pipelines de dados com eficiência programando gráficos acíclicos direcionados (DAGs) do Airflow Gerenciado 3 na página Programação BigQuery Esse recurso ajuda a automatizar e monitorar os fluxos de dados que alimentam a análise do BigQuery. É possível acionar DAGs manualmente e centralizar o gerenciamento deles, incluindo a visualização do histórico de execução e dos registros.

Sobre o gerenciamento de DAGs do Airflow no BigQuery

A página Programação no BigQuery oferece ferramentas para programar DAGs do Airflow que são executados nos ambientes do Airflow Gerenciado 3.

Os DAGs do Airflow programados no BigQuery são executados em um ou mais ambientes do Airflow Gerenciado no seu projeto. A página Programação no BigQuery combina informações de todos os DAGs do Airflow no seu projeto.

Durante uma execução de DAG, o Airflow programa e executa tarefas individuais que compõem um DAG em uma sequência definida por ele. Na página Programação no BigQuery, é possível conferir os status das execuções de DAG anteriores, explorar registros detalhados de todas as execuções de DAG e todas as tarefas dessas execuções e conferir detalhes sobre os DAGs.

Para saber mais sobre os conceitos básicos do Airflow, como DAGs, execuções de DAG, tarefas ou operadores, consulte a página Conceitos básicos na documentação do Airflow.

Para saber mais sobre os ambientes do Airflow Gerenciado, consulte a página Visão geral do Airflow Gerenciado 3 na documentação do Airflow Gerenciado.

Antes de começar

  1. Ativar a API Cloud Composer.

    Funções necessárias para ativar APIs

    Para ativar as APIs, é necessário ter a permissão serviceusage.services.enable. Se você criou o projeto, provavelmente já tem essa permissão pela função Proprietário (roles/owner). Caso contrário, você pode receber essa permissão pela função Administrador de uso do serviço (roles/serviceusage.serviceUsageAdmin). Saiba como conceder funções.

    Ativar a API

  2. Verifique se o Cloud de Confiance projeto tem pelo menos um ambiente do Airflow Gerenciado 3, com pelo menos um arquivo DAG já enviado:

Permissões necessárias

Para receber as permissões necessárias para programar DAGs do Airflow, peça ao administrador para conceder a você os seguintes papéis do IAM no projeto:

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Esses papéis predefinidos contêm as permissões necessárias para programar DAGs do Airflow. Para acessar as permissões exatas que são necessárias, expanda a seção Permissões necessárias:

Permissões necessárias

As seguintes permissões são necessárias para programar DAGs do Airflow:

  • Para conferir DAGs do Airflow e os detalhes deles: composers.dags.list, composer.environments.list
  • Para acionar e pausar DAGs do Airflow: composers.dags.list, composer.environments.list, composer.dags.execute

Essas permissões também podem ser concedidas com papéis personalizados ou outros papéis predefinidos.

Para mais informações sobre o IAM do Airflow Gerenciado 3, consulte Controle de acesso com o IAM na documentação do Airflow Gerenciado.

Acionar um DAG do Airflow manualmente

Quando você aciona um DAG do Airflow manualmente, o Airflow executa o DAG uma vez, independente da programação especificada para ele.

Para acionar manualmente um DAG do Airflow selecionado, siga estas etapas:

  1. Noconsole, acesse a página Programação. Cloud de Confiance

    Acessar a página Programação

  2. Realize uma das seguintes ações:

    • Clique no nome do DAG selecionado e, na página Detalhes do DAG, clique em Acionar DAG.

    • Na linha que contém o DAG selecionado, clique em Ver ações na coluna Ações e em Acionar DAG.

Conferir registros e detalhes da execução de DAGs do Airflow

Para conferir os detalhes de um DAG do Airflow selecionado, siga estas etapas:

  1. Noconsole, acesse a página Programação. Cloud de Confiance

    Acessar a página Programação

  2. Clique no nome do DAG selecionado.

  3. Na página Detalhes do DAG, selecione a guia Detalhes.

  4. Para conferir as execuções de DAG anteriores, selecione a guia Execuções.

    1. Opcional: a guia Execuções mostra as execuções de DAG dos últimos 10 dias por padrão. Para filtrar as execuções de DAG por um período diferente, no menu suspenso 10 dias , selecione um período e clique em OK.

    2. Opcional: para mostrar outras colunas com detalhes da execução de DAG na lista de todas as execuções de DAG, clique em Opções de exibição de colunas, selecione as colunas e clique em OK.

    3. Para conferir detalhes e registros de uma execução de DAG selecionada, selecione uma execução de DAG.

  5. Para conferir uma visualização do DAG com dependências de tarefas, selecione a guia Diagrama.

    1. Para conferir os detalhes da tarefa, selecione uma tarefa no diagrama.

  6. Para conferir o código-fonte do DAG, selecione a guia Código.

  7. Opcional: para atualizar os dados exibidos, clique em Atualizar.

Conferir todos os DAGs do Airflow

Para conferir os DAGs do Airflow de todos os ambientes do Airflow Gerenciado 3 no seu Cloud de Confiance projeto, siga estas etapas:

  1. Noconsole, acesse a página Programação. Cloud de Confiance

    Acessar a página Programação

  2. Opcional: para mostrar outras colunas com detalhes do DAG, clique em Opções de exibição de colunas, selecione as colunas e clique em OK.

Pausar um DAG do Airflow

Para pausar um DAG do Airflow selecionado, siga estas etapas:

  1. Noconsole, acesse a página Programação. Cloud de Confiance

    Acessar a página Programação

  2. Realize uma das seguintes ações:

    • Clique no nome do DAG selecionado e, na página Detalhes do DAG, clique em Pausar DAG.

    • Na linha que contém o DAG selecionado, clique em Ver ações na coluna Ações e em Pausar DAG.

Solução de problemas

Para instruções sobre como solucionar problemas de DAGs do Airflow, consulte Solução de problemas de DAGs do Airflow na documentação do Airflow Gerenciado.

A seguir