Introdução aos pipelines do BigQuery

É possível usar os pipelines do BigQuery para automatizar e simplificar os processos de dados do BigQuery. Com os pipelines, você pode programar e executar recursos de código em sequência para melhorar a eficiência e reduzir o esforço manual.

Visão geral

Os pipelines são gerados pelo Dataform. Além de executar recursos de código, o Dataform atualiza automaticamente os metadados no Knowledge Catalog para tabelas criadas em um pipeline.

Um pipeline consiste em um ou mais dos seguintes recursos de código:

É possível usar pipelines para programar a execução de recursos de código. Por exemplo, você pode programar uma consulta SQL para ser executada diariamente e atualizar uma tabela com os dados de origem mais recentes, que podem ser usados em um painel.

Em um pipeline com vários recursos de código, você define a sequência de execução. Por exemplo, para treinar um modelo de machine learning, é possível criar um fluxo de trabalho em que uma consulta SQL prepara os dados e, em seguida, um notebook treina o modelo usando esses dados.

Quando você aciona uma execução de pipeline, o BigQuery executa as ações na ordem definida pelas dependências. Para cada ação, o BigQuery realiza as seguintes etapas:

  1. Executa o SQL compilado no BigQuery.
  2. Atualiza o status da ação no registro de execução.
  3. Após a conclusão de uma ação, o Dataform inicia automaticamente uma sincronização de metadados com o Knowledge Catalog (visualização). Esse processo de enriquecimento atualiza o Knowledge Catalog com os metadados semânticos definidos na configuração do SQLX. A sincronização ocorre de forma assíncrona e usa um mecanismo de repetição, garantindo que as atualizações de metadados não afetem a latência do pipeline nem causem falhas no fluxo de trabalho se a API Dataplex estiver temporariamente indisponível.

Recursos

É possível fazer o seguinte em um pipeline:

Limitações

Os pipelines estão sujeitos às seguintes limitações:

  • Os pipelines estão disponíveis apenas no Cloud de Confiance console.
  • Não é possível alterar a região de armazenamento de um pipeline depois que ele é criado.
  • É possível conceder acesso a um pipeline selecionado a usuários ou grupos, mas não é possível conceder acesso a tarefas individuais dentro do pipeline.
  • Se uma execução de pipeline programada não terminar antes do início da próxima execução programada, a próxima execução programada será ignorada e marcada com um erro.

Definir a região padrão para recursos de código

Todos os novos recursos de código no seu Cloud de Confiance projeto usam uma região padrão. Depois que o recurso é criado, não é possível mudar a região dele.

Para definir a região padrão para novos recursos de código, faça o seguinte:

  1. Acessar a página do BigQuery.

    Acessar o BigQuery

  2. No painel à esquerda, clique em Arquivos para abrir o navegador de arquivos:

    Clique em **Arquivos** para abrir o navegador de arquivos.

  3. Ao lado do nome do projeto, clique em Ver ações do painel de arquivos > Mudar região do código.

  4. Selecione a região de código que você quer usar como padrão.

  5. Clique em Salvar.

Para conferir uma lista de regiões compatíveis, consulte Locais do BigQuery Studio.

Todos os recursos de código são armazenados na região padrão para recursos de código. A atualização da região padrão muda a região de todos os recursos de código criados depois desse ponto.

Cotas e limites

Os pipelines do BigQuery estão sujeitos a cotas e limites do Dataform.

Preços

A execução de tarefas de pipeline do BigQuery gera custos de computação e armazenamento no BigQuery. Para mais informações, consulte preços do BigQuery.

Os pipelines que contêm notebooks geram custos de ambiente de execução do Colab Enterprise com base no tipo de máquina padrão. Para detalhes de preços, consulte Preços do Colab Enterprise.

Cada execução de pipeline do BigQuery é registrada usando Cloud Logging. O registro é ativado automaticamente para execuções de pipeline do BigQuery, o que pode gerar custos de faturamento do Cloud Logging. Para mais informações, consulte os preços do Cloud Logging.

A seguir