Programar DAGs do Airflow

Este documento descreve como programar gráficos acíclicos direcionados (DAGs, na sigla em inglês) do Airflow no Airflow Gerenciado 3 na página Programação do BigQuery, incluindo como acionar DAGs manualmente e como visualizar o histórico e os registros de execuções anteriores.

Sobre o gerenciamento de DAGs do Airflow no BigQuery

A página Programação do BigQuery oferece ferramentas para programar DAGs do Airflow que são executados nos ambientes do Airflow Gerenciado 3.

Os DAGs do Airflow programados no BigQuery são executados em um ou mais ambientes do Airflow Gerenciado no seu projeto. A página Programação do BigQuery combina informações de todos os DAGs do Airflow no seu projeto.

Durante uma execução de DAG, o Airflow programa e executa tarefas individuais que compõem um DAG em uma sequência definida por ele. Na página Programação do BigQuery, é possível conferir os status de execuções anteriores, explorar registros detalhados de todas as execuções e tarefas e visualizar detalhes sobre os DAGs.

Para saber mais sobre os conceitos básicos do Airflow, como DAGs, execuções, tarefas ou operadores, consulte a página Conceitos básicos na documentação do Airflow.

Para saber mais sobre os ambientes do Airflow Gerenciado, consulte a página de visão geral do Airflow Gerenciado 3 na documentação do Airflow Gerenciado.

Antes de começar

  1. Ativar a API Composer.

    Funções necessárias para ativar APIs

    Para ativar as APIs, é necessário ter o papel do IAM de administrador de uso do serviço (roles/serviceusage.serviceUsageAdmin), que contém a permissão serviceusage.services.enable. Saiba como conceder papéis.

    Ativar a API

  2. Verifique se o Cloud de Confiance projeto tem pelo menos um ambiente do Airflow Gerenciado 3, com pelo menos um arquivo DAG já enviado:

Permissões necessárias

Para receber as permissões necessárias para programar DAGs do Airflow, peça ao administrador para conceder os seguintes papéis do IAM no projeto:

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Esses papéis predefinidos contêm as permissões necessárias para programar DAGs do Airflow. Para acessar as permissões exatas que são necessárias, expanda a seção Permissões necessárias:

Permissões necessárias

As permissões a seguir são necessárias para programar DAGs do Airflow:

  • Para visualizar DAGs do Airflow e os detalhes deles: composers.dags.list, composer.environments.list
  • Para acionar e pausar DAGs do Airflow: composers.dags.list, composer.environments.list, composer.dags.execute

Essas permissões também podem ser concedidas com funções personalizadas ou outros papéis predefinidos.

Para mais informações sobre o IAM do Airflow Gerenciado 3, consulte Controle de acesso com o IAM na documentação do Airflow Gerenciado.

Acionar um DAG do Airflow manualmente

Quando você aciona um DAG do Airflow manualmente, ele é executado uma vez, independentemente da programação especificada.

Para acionar manualmente um DAG do Airflow selecionado, siga estas etapas:

  1. Noconsole, acesse a página Programação. Cloud de Confiance

    Acessar a página Programação

  2. Realize uma das seguintes ações:

    • Clique no nome do DAG selecionado e, na página Detalhes do DAG, clique em Acionar DAG.

    • Na linha que contém o DAG selecionado, clique em Ver ações na coluna Ações e em Acionar DAG.

Conferir registros e detalhes da execução de DAGs do Airflow

Para conferir os detalhes de um DAG do Airflow selecionado, siga estas etapas:

  1. Noconsole, acesse a página Programação. Cloud de Confiance

    Acessar a página Programação

  2. Clique no nome do DAG selecionado.

  3. Na página Detalhes do DAG, selecione a guia Detalhes.

  4. Para conferir as execuções anteriores, selecione a guia Execuções.

    1. Opcional: a guia Execuções mostra as execuções de DAG dos últimos 10 dias por padrão. Para filtrar as execuções de DAG por um período diferente, no menu suspenso 10 dias , selecione um período e clique em OK.

    2. Opcional: para mostrar outras colunas com detalhes da execução de DAG na lista de todas as execuções, clique em Opções de exibição de colunas, selecione as colunas e clique em OK.

    3. Para conferir detalhes e registros de uma execução de DAG selecionada, selecione uma execução.

  5. Para conferir uma visualização do DAG com dependências de tarefas, selecione a guia Diagrama.

    1. Para conferir os detalhes da tarefa, selecione uma tarefa no diagrama.

  6. Para conferir o código-fonte do DAG, selecione a guia Código.

  7. Opcional: para atualizar os dados exibidos, clique em Atualizar.

Conferir todos os DAGs do Airflow

Para conferir os DAGs do Airflow de todos os ambientes do Airflow Gerenciado 3 no seu Cloud de Confiance projeto, siga estas etapas:

  1. Noconsole, acesse a página Programação. Cloud de Confiance

    Acessar a página Programação

  2. Opcional: para mostrar outras colunas com detalhes do DAG, clique em Opções de exibição de colunas, selecione as colunas e clique em OK.

Pausar um DAG do Airflow

Para pausar um DAG do Airflow selecionado, siga estas etapas:

  1. Noconsole, acesse a página Programação. Cloud de Confiance

    Acessar a página Programação

  2. Realize uma das seguintes ações:

    • Clique no nome do DAG selecionado e, na página Detalhes do DAG, clique em Pausar DAG.

    • Na linha que contém o DAG selecionado, clique em Ver ações na coluna Ações e em Pausar DAG.

Solução de problemas

Para instruções sobre como solucionar problemas de DAGs do Airflow, consulte Solução de problemas de DAGs do Airflow na documentação do Airflow Gerenciado.

A seguir