Introdução aos pipelines do BigQuery

Pode usar pipelines do BigQuery para automatizar e simplificar os seus processos de dados do BigQuery. Com os pipelines, pode agendar e executar recursos de código em sequência para melhorar a eficiência e reduzir o esforço manual.

Vista geral

Os pipelines são baseados no Dataform.

Um pipeline consiste num ou mais dos seguintes recursos de código:

Pode usar pipelines para agendar a execução de recursos de código. Por exemplo, pode agendar uma consulta SQL para ser executada diariamente e atualizar uma tabela com os dados de origem mais recentes, que podem, em seguida, alimentar um painel de controlo.

Numa pipeline com vários recursos de código, define a sequência de execução. Por exemplo, para preparar um modelo de aprendizagem automática, pode criar um fluxo de trabalho no qual uma consulta SQL prepara os dados e, em seguida, um bloco de notas subsequente prepara o modelo com esses dados.

Capacidades

Pode fazer o seguinte num pipeline:

Limitações

Os pipelines estão sujeitos às seguintes limitações:

  • Os pipelines só estão disponíveis na Trusted Cloud consola.
  • Não é possível alterar a região de armazenamento de um pipeline depois de o criar.
  • Pode conceder acesso a utilizadores ou grupos a um pipeline selecionado, mas não pode conceder-lhes acesso a tarefas individuais no pipeline.

Defina a região predefinida para recursos de código

Se estiver a criar um recurso de código pela primeira vez, deve definir a região predefinida para recursos de código. Não é possível alterar a região de um recurso de código depois de o criar.

Todos os recursos de código no BigQuery Studio usam a mesma região predefinida. Para definir a região predefinida para recursos de código, siga estes passos:

  1. Aceda à página do BigQuery.

    Aceda ao BigQuery

  2. No painel Explorador, encontre o projeto no qual ativou os recursos de código.

  3. Clique em Ver ações junto ao projeto e, de seguida, clique em Alterar a minha região de código predefinida.

  4. Para Região, selecione a região que quer usar para recursos de códigos.

  5. Clique em Selecionar.

Para ver uma lista das regiões suportadas, consulte o artigo Localizações do BigQuery Studio.

Regiões suportadas

Todos os recursos de código são armazenados na sua região predefinida para recursos de código. A atualização da região predefinida altera a região de todos os recursos de código criados a partir desse momento.

A tabela seguinte indica as regiões onde os pipelines estão disponíveis:

Descrição da região Nome da região Detalhes
África
Joanesburgo africa-south1
Americas
Columbus us-east5
Dallas us-south1 ícone de folha Baixo CO2
Iowa us-central1 ícone de folha Baixo CO2
Los Angeles us-west2
Las Vegas us-west4
Montréal northamerica-northeast1 ícone de folha Baixo CO2
Virgínia do Virgínia us-east4
Oregon us-west1 ícone de folha Baixo CO2
São Paulo southamerica-east1 ícone de folha Baixo CO2
Carolina do Sul us-east1
Ásia-Pacífico
Hong Kong asia-east2
Jacarta asia-southeast2
Mumbai asia-south1
Seul asia-northeast3
Singapura asia-southeast1
Sydney australia-southeast1
Taiwan asia-east1
Tóquio asia-northeast1
Europa
Bélgica europe-west1 ícone de folha Baixo CO2
Frankfurt europe-west3
Londres europe-west2 ícone de folha Baixo CO2
Madrid europe-southwest1 ícone de folha Baixo CO2
Países Baixos europe-west4 ícone de folha Baixo CO2
Turim europe-west12
Zurique europe-west6 ícone de folha Baixo CO2
Médio Oriente
Doha me-central1
Damã me-central2

Quotas e limites

Os pipelines do BigQuery estão sujeitos a quotas e limites do Dataform.

Preços

A execução de tarefas da pipeline do BigQuery incorre em custos de computação e armazenamento no BigQuery. Para mais informações, consulte os preços do BigQuery.

Os pipelines que contêm blocos de notas incorrem em custos de tempo de execução do Colab Enterprise com base no tipo de máquina predefinido. Para ver detalhes dos preços, consulte o artigo Preços do Colab Enterprise.

Cada execução do pipeline do BigQuery é registada através do Cloud Logging. O registo está ativado automaticamente para as execuções de pipelines do BigQuery, o que pode gerar custos de faturação do Cloud Logging. Para mais informações, consulte os preços do Cloud Logging.

O que se segue?