Solucionar problemas de tarefas e execuções de DAG do Airflow com o agente do Airflow Gerenciado

O agente do Airflow gerenciado pode ajudar você a entender, diagnosticar e resolver problemas com tarefas e execuções de DAG com falha do Airflow.

Antes de começar

• A API Conversational Analytics que executa o agente do Airflow gerenciado tem a própria política de residência de dados. Sua conversa pode ser processada em uma região diferente da localização do seu ambiente.

Investigar tarefas ou execuções de DAG com falha do Airflow

Para investigar uma tarefa ou execução de DAG com falha do Airflow:

1. No Cloud de Confiance console, acesse a página Ambientes.

   Acessar "Ambientes"

2. Selecione um ambiente para ver os detalhes.

3. Na página Detalhes do ambiente, acesse a guia DAGs.

4. Clique no nome de um DAG.

5. Na página Detalhes do DAG, acesse a guia Histórico de execução.

6. Localize uma execução de DAG com falha. É possível investigar uma execução de DAG inteira ou uma tarefa específica com falha:

   • Para investigar uma execução de DAG:

     1. Clique em auto_awesome Investigar ao lado do nome da execução de DAG com falha.

     2. Na caixa de diálogo Investigar falha na execução do DAG, clique em Investigar.

   • Para investigar uma tarefa do Airflow:

     1. Clique no nome da execução de DAG com falha para mostrar uma lista de tarefas.

     2. Na coluna Estado da tarefa do Airflow com falha, clique em auto_awesome Investigar.

     3. Na caixa de diálogo Investigar falha da tarefa, clique em Investigar.

7. O painel Perguntar ao agente é aberto, e o agente do Airflow gerenciado começa a investigar a falha na execução do DAG. Aguarde até que o agente termine a análise e revise o relatório de diagnóstico, que consiste em várias seções:

   • Problema descreve a causa raiz do problema.
   • Evidências apontam para artefatos específicos que apoiam as conclusões do agente.
   • Recomendação fornece etapas específicas para resolver o problema.

Exemplo de investigação

Este exemplo mostra um processo de análise de uma tarefa com falha.

1. No painel Monitoramento > Estatísticas do DAG, observe as execuções de DAG com falha:

   

2. Navegue até a guia DAGs. A coluna Execuções com falha (1h) mostra que o DAG create_large_txt_file_print_logs teve várias execuções com falha na última hora. Clique no nome do DAG.

   

3. Clique em uma das execuções de DAG com falha e, em seguida, clique em auto_awesome Investigar ao lado da entrada da tarefa do Airflow com falha.

   

4. Aguarde até que o agente conclua o relatório.

5. Analise o relatório de diagnóstico. Neste exemplo específico, a tarefa falhou sem gerar registros, mas o agente do Airflow gerenciado conseguiu encontrar a causa da falha nos registros do programador do Airflow, em que a tarefa foi encerrada como zumbi:

   ### **1. Problem**
   
   The task `create_huge_file` in DAG `dag_simulation` failed because the
   Airflow worker executing it ran out of memory (OOM). This caused the task
   container or process to be abruptly terminated, preventing it from sending
   heartbeats to the scheduler. As a result, the scheduler detected it as a
   zombie task and marked it as failed.
   
   ### **2. Evidence**
   
   *  **Scheduler Log (Zombie Detection)**:
      Detected a task instance without a heartbeat:
      filepath='dag-simulation.py'
      bundle_name='dags-folder' bundle_version=None msg="{'DAG Id':
      'dag_simulation', 'Task Id': 'create_huge_file', 'Run Id':
      'manual__2026-11-25T12:42:50.190250+00:00', 'Hostname':
      'airflow-worker-2lxm2', 'External Executor Id':
      'cfc98619-0de6-4699-96e6-7ba8a5a581aa'}"
   
   *  ...
   

6. Por fim, confira as recomendações propostas. O agente do Airflow gerenciado resume as evidências e fornece recomendações para corrigir o problema. Neste exemplo, a tarefa falhou porque um worker do Airflow não tinha recursos suficientes para processá-la. Isso é comprovado por evidências de que o pod do worker foi reiniciado várias vezes com um erro de falta de memória e a tarefa foi encerrada pelo programador como uma tarefa zumbi.

   ### **3. Recommendation**
   To resolve this issue, you must prevent the task from consuming unbound
   memory. Depending on your workflow:
   
   *  **Fix Code Logic (Highly Recommended)**: Avoid loading large datasets
      completely into worker memory. Implement chunk-based processing or
      streaming, or set up explicit safety limits. For example, if you need to
      limit memory allocation or process in bounded batches, do not keep
      references to old chunks in memory: ...
   
   *  **Scale Worker Memory**: If processing massive datasets in memory is
      unavoidable, consider upgrading the resource limits (RAM/CPU) of your
      Airflow worker pools or offloading the heavy processing step to external
      services.
   

A seguir

• Como resolver problemas de DAGs
• Como resolver problemas de agendamento
• Como resolver problemas de instalação do pacote PyPI