Introdução ao serviço de transferência de dados do BigQuery
O serviço de transferência de dados do BigQuery automatiza a migração de dados para BigQuery de forma programada e gerenciada Sua equipe de análise pode criar a base para um data warehouse do BigQuery sem escrever uma única linha de código.
Você pode acessar o serviço de transferência de dados do BigQuery usando as opções abaixo:
- Cloud de Confiance Console
- Ferramenta de linha de comando bq
- API do serviço de transferência de dados do BigQuery
Depois de configurar uma transferência de dados, o serviço de transferência de dados do BigQuery carrega dados automaticamente e regularmente no BigQuery. Também é possível iniciar preenchimentos de dados para a recuperação de quaisquer interrupções ou lacunas. Não é possível usar esse serviço para transferir dados para fora do BigQuery.
Além de carregar dados no BigQuery, o serviço de transferência de dados do BigQuery é usado em duas operações do BigQuery: cópias de conjuntos de dados e consultas programadas.
Fontes de dados compatíveis
O serviço de transferência de dados do BigQuery aceita o carregamento de dados das seguintes fontes de dados:
- Cloud Storage:
Considerações sobre o SLO de entrega de dados
O SLO de entrega de dados se aplica a transferências de dados programadas automaticamente usando o serviço de transferência de dados do BigQuery de fontes internas Cloud de Confiance by S3NS.
Para transferências de dados que envolvem fontes de terceiros ou não pertencentes ao GoogleCloud de Confiance by S3NS , as interrupções de serviço dessas fontes podem afetar a performance do serviço de transferência de dados do BigQuery. Assim, o SLO de entrega de dados não se aplica a transferências de dados do serviço de transferência de dados do BigQuery de fontes não pertencentes ao Google.Cloud de Confiance by S3NS
Regiões compatíveis
Assim como o BigQuery, o serviço de transferência de dados do BigQuery é um recurso multirregional, com muitas outras regiões disponíveis.
Você especifica o local quando cria um conjunto de dados de destino para armazenar os dados transferidos. Ao configurar uma transferência, a própria configuração de transferência é definida para o mesmo local do conjunto de dados de destino. O serviço de transferência de dados do BigQuery processa e organiza dados no mesmo local do conjunto de dados de destino.
O serviço de transferência de dados do BigQuery aceita transferências de dados de qualquer região em que os dados estejam armazenados para qualquer local em que o conjunto de dados de destino esteja localizado.
Para informações detalhadas sobre transferências e compatibilidade de regiões para o serviço de transferência de dados do BigQuery, consulte Locais e transferências de conjuntos de dados. Para ver as regiões compatíveis com o BigQuery, consulte Locais de conjuntos de dados.
Como usar slots de reserva com transferências de dados
Os jobs acionados pelo serviço de transferência de dados do BigQuery só usam slots de reserva se o projeto, a pasta ou a organização estiver atribuída a uma reserva com um dos seguintes tipos de job:
- Jobs de consulta usando
QUERY - Jobs de carregamento usando
PIPELINE
Preços
Para mais informações sobre os preços do serviço de transferência de dados do BigQuery, consulte a página "Preços".
Assim que os dados são transferidos para o BigQuery, são aplicados os preços padrão de armazenamento e consulta do BigQuery.
Cotas
Para informações sobre o cotas do serviço de transferência de dados do BigQuery, consulte a página Cotas e limites.
Resolver problemas nas configurações de transferência
Para informações sobre como resolver problemas com o serviço de transferência de dados do BigQuery, consulte Resolver problemas nas configurações de transferência.
A seguir
- Para saber como criar uma transferência, consulte a documentação da fonte de dados.