Faça a gestão de pipelines

Este documento descreve como gerir pipelines do BigQuery, incluindo como agendar e eliminar pipelines.

Este documento também descreve como ver e gerir metadados de pipelines no Dataplex Universal Catalog.

Os pipelines são baseados no Dataform.

Antes de começar

  1. Crie um pipeline do BigQuery.
  2. Para gerir metadados de pipelines no catálogo universal do Dataplex, certifique-se de que a API Dataplex está ativada no seu Trusted Cloud projeto.

Funções necessárias

Para receber as autorizações de que precisa para gerir pipelines, peça ao seu administrador que lhe conceda as seguintes funções de IAM:

Para mais informações sobre a atribuição de funções, consulte o artigo Faça a gestão do acesso a projetos, pastas e organizações.

Também pode conseguir as autorizações necessárias através de funções personalizadas ou outras funções predefinidas.

Para gerir metadados de pipelines no Dataplex Universal Catalog, certifique-se de que tem as funções do Dataplex Universal Catalog necessárias

Para mais informações sobre a IAM do Dataform, consulte o artigo Controle o acesso com a IAM.

Veja todos os pipelines

Para ver uma lista de todos os pipelines no seu projeto, faça o seguinte:

  1. Na Trusted Cloud consola, aceda à página BigQuery.

    Aceda ao BigQuery

  2. No painel Explorador, clique em expandir Pipelines.

Veja execuções manuais anteriores

Para ver execuções manuais anteriores de um pipeline selecionado, siga estes passos:

  1. Na Trusted Cloud consola, aceda à página BigQuery.

    Aceda ao BigQuery

  2. No painel Explorador, expanda o projeto e a pasta Pipelines e, de seguida, selecione um pipeline.

  3. Clique em Execuções.

  4. Opcional: para atualizar a lista de execuções anteriores, clique em Atualizar.

Configure alertas para execuções de pipelines com falhas

Cada pipeline tem um ID do repositório do Dataform correspondente. Cada execução do pipeline do BigQuery é registada no Cloud Logging através do ID do repositório do Dataform correspondente. Pode usar o Cloud Monitoring para observar tendências nos registos do Cloud Logging para execuções de pipelines do BigQuery e para receber notificações quando ocorrem as condições que descreve.

Para receber alertas quando a execução de um pipeline do BigQuery falha, pode criar uma política de alertas baseada em registos para o ID do repositório do Dataform correspondente. Para ver instruções, consulte o artigo Configure alertas para invocações de fluxo de trabalho falhadas.

Para encontrar o ID do repositório do Dataform da sua pipeline, faça o seguinte:

  1. Na Trusted Cloud consola, aceda à página BigQuery.

    Aceda ao BigQuery

  2. No painel Explorador, expanda o projeto e a pasta Pipelines e, de seguida, selecione um pipeline.

  3. Clique em Definições.

    O ID do repositório do Dataform da sua pipeline é apresentado na parte inferior do separador Definições.

Elimine um pipeline

Para eliminar permanentemente um pipeline, siga estes passos:

  1. Na Trusted Cloud consola, aceda à página BigQuery.

    Aceda ao BigQuery

  2. No painel Explorador, expanda o projeto e a pasta Pipelines. Encontre o pipeline que quer eliminar.

  3. Clique em Ver ações junto ao pipeline e, de seguida, clique em Eliminar.

  4. Clique em Eliminar.

Faça a gestão de metadados no catálogo universal do Dataplex

O catálogo universal do Dataplex permite-lhe armazenar e gerir metadados para pipelines. Os pipelines estão disponíveis no catálogo universal do Dataplex por predefinição, sem configuração adicional.

Pode usar o catálogo universal do Dataplex para gerir pipelines em todas as localizações de pipelines. A gestão de pipelines no catálogo universal do Dataplex está sujeita a quotas e limites do catálogo universal do Dataplex e preços do catálogo universal do Dataplex.

O catálogo universal do Dataplex obtém automaticamente os seguintes metadados dos pipelines:

  • Nome do recurso de dados
  • Recurso de dados principal
  • Localização do recurso de dados
  • Tipo de recurso de dados
  • Projeto Trusted Cloud correspondente

O catálogo universal do Dataplex regista pipelines como entradas com os seguintes valores de entrada:

Grupo de entradas do sistema
O grupo de entrada do sistema para pipelines é @dataform. Para ver os detalhes das entradas do pipeline no catálogo universal do Dataplex, tem de ver o grupo de entradas do sistema dataform. Para ver instruções sobre como ver uma lista de todas as entradas num grupo de entradas, consulte o artigo Ver detalhes de um grupo de entradas na documentação do catálogo universal do Dataplex.
Tipo de entrada do sistema
O tipo de entrada do sistema para pipelines é dataform-code-asset. Para ver os detalhes dos pipelines,tem de ver o dataform-code-asset tipo de entrada do sistema, filtrar os resultados com um filtro baseado em aspetos, e definir o campo type no aspeto dataform-code-asset como WORKFLOW. Em seguida, selecione uma entrada do pipeline selecionado. Para ver instruções sobre como ver os detalhes de um tipo de entrada selecionado, consulte o artigo Ver detalhes de um tipo de entrada na documentação do catálogo universal do Dataplex. Para ver instruções sobre como ver os detalhes de uma entrada selecionada, consulte o artigo Ver detalhes de uma entrada na documentação do catálogo universal do Dataplex.
Tipo de aspeto do sistema
O tipo de aspeto do sistema para pipelines é dataform-code-asset. Para fornecer contexto adicional aos pipelines no catálogo universal do Dataplex anotando as entradas do pipeline de dados com aspetos, veja o tipo de aspeto dataform-code-asset, filtre os resultados com um filtro baseado em aspetos e defina o campo type no aspeto dataform-code-asset como WORKFLOW. Para ver instruções sobre como anotar entradas com aspetos, consulte o artigo Gerir aspetos e enriquecer metadados na documentação do catálogo universal do Dataplex.
Tipo
O tipo de telas de dados é WORKFLOW. Este tipo permite-lhe filtrar pipelines no dataform-code-assettipo de entrada do sistema e no tipo de aspeto dataform-code-asset usando a consulta num filtro baseado em aspetos.aspect:dataplex-types.global.dataform-code-asset.type=WORKFLOW

Para obter instruções sobre como pesquisar recursos no catálogo universal do Dataplex, consulte o artigo Pesquise recursos de dados no catálogo universal do Dataplex na documentação do catálogo universal do Dataplex.

O que se segue?