Introdução aos pipelines do BigQuery
Pode usar pipelines do BigQuery para automatizar e simplificar os seus processos de dados do BigQuery. Com os pipelines, pode agendar e executar recursos de código em sequência para melhorar a eficiência e reduzir o esforço manual.
Vista geral
Os pipelines são baseados no Dataform.
Um pipeline consiste num ou mais dos seguintes recursos de código:
Pode usar pipelines para agendar a execução de recursos de código. Por exemplo, pode agendar uma consulta SQL para ser executada diariamente e atualizar uma tabela com os dados de origem mais recentes, que podem, em seguida, alimentar um painel de controlo.
Numa pipeline com vários recursos de código, define a sequência de execução. Por exemplo, para preparar um modelo de aprendizagem automática, pode criar um fluxo de trabalho no qual uma consulta SQL prepara os dados e, em seguida, um bloco de notas subsequente prepara o modelo com esses dados.
Capacidades
Pode fazer o seguinte num pipeline:
- Crie novas ou importe existentes consultas SQL ou notebooks para um pipeline.
- Agende um pipeline para ser executado automaticamente a uma hora e frequência especificadas.
- Partilhe um pipeline com utilizadores ou grupos especificados por si.
- Partilhe um link para um pipeline.
Limitações
Os pipelines estão sujeitos às seguintes limitações:
- Os pipelines só estão disponíveis na Trusted Cloud consola.
- Não é possível alterar a região de armazenamento de um pipeline depois de o criar.
- Pode conceder acesso a utilizadores ou grupos a um pipeline selecionado, mas não pode conceder-lhes acesso a tarefas individuais no pipeline.
Defina a região predefinida para recursos de código
Se estiver a criar um recurso de código pela primeira vez, deve definir a região predefinida para recursos de código. Não é possível alterar a região de um recurso de código depois de o criar.
Todos os recursos de código no BigQuery Studio usam a mesma região predefinida. Para definir a região predefinida para recursos de código, siga estes passos:
Aceda à página do BigQuery.
No painel Explorador, encontre o projeto no qual ativou os recursos de código.
Clique em
Ver ações junto ao projeto e, de seguida, clique em Alterar a minha região de código predefinida.Para Região, selecione a região que quer usar para recursos de códigos.
Clique em Selecionar.
Para ver uma lista das regiões suportadas, consulte o artigo Localizações do BigQuery Studio.
Regiões suportadas
Todos os recursos de código são armazenados na sua região predefinida para recursos de código. A atualização da região predefinida altera a região de todos os recursos de código criados a partir desse momento.
A tabela seguinte indica as regiões onde os pipelines estão disponíveis:
Descrição da região | Nome da região | Detalhes | |
---|---|---|---|
África | |||
Joanesburgo | africa-south1 |
||
Americas | |||
Columbus | us-east5 |
||
Dallas | us-south1 |
|
|
Iowa | us-central1 |
|
|
Los Angeles | us-west2 |
||
Las Vegas | us-west4 |
||
Montréal | northamerica-northeast1 |
|
|
Virgínia do Virgínia | us-east4 |
||
Oregon | us-west1 |
|
|
São Paulo | southamerica-east1 |
|
|
Carolina do Sul | us-east1 |
||
Ásia-Pacífico | |||
Hong Kong | asia-east2 |
||
Jacarta | asia-southeast2 |
||
Mumbai | asia-south1 |
||
Seul | asia-northeast3 |
||
Singapura | asia-southeast1 |
||
Sydney | australia-southeast1 |
||
Taiwan | asia-east1 |
||
Tóquio | asia-northeast1 |
||
Europa | |||
Bélgica | europe-west1 |
|
|
Frankfurt | europe-west3 |
||
Londres | europe-west2 |
|
|
Madrid | europe-southwest1 |
|
|
Países Baixos | europe-west4 |
|
|
Turim | europe-west12 |
||
Zurique | europe-west6 |
|
|
Médio Oriente | |||
Doha | me-central1 |
||
Damã | me-central2 |
Quotas e limites
Os pipelines do BigQuery estão sujeitos a quotas e limites do Dataform.
Preços
A execução de tarefas da pipeline do BigQuery incorre em custos de computação e armazenamento no BigQuery. Para mais informações, consulte os preços do BigQuery.
Os pipelines que contêm blocos de notas incorrem em custos de tempo de execução do Colab Enterprise com base no tipo de máquina predefinido. Para ver detalhes dos preços, consulte o artigo Preços do Colab Enterprise.
Cada execução do pipeline do BigQuery é registada através do Cloud Logging. O registo está ativado automaticamente para as execuções de pipelines do BigQuery, o que pode gerar custos de faturação do Cloud Logging. Para mais informações, consulte os preços do Cloud Logging.
O que se segue?
- Saiba como criar pipelines.
- Saiba como gerir pipelines.
- Saiba como agendar pipelines.