Visão geral do BigQuery

O BigQuery é uma plataforma de dados totalmente gerenciada e pronta para IA que ajuda você a gerenciar e analisar seus dados com recursos integrados como aprendizado de máquina, pesquisa, análise geoespacial e Business Intelligence. A arquitetura sem servidor do BigQuery permite usar linguagens como SQL e Python para responder às maiores dúvidas da sua organização sem nenhum gerenciamento de infraestrutura.

O BigQuery oferece uma maneira uniforme de trabalhar com dados estruturados e não estruturados e oferece suporte a formatos de tabelas abertas, como Apache Iceberg, Delta e Hudi. O streaming do BigQuery oferece suporte à ingestão e análise contínua de dados, enquanto o mecanismo de análise distribuído e escalonável do BigQuery permite consultar terabytes em segundos e petabytes em minutos.

A arquitetura do BigQuery consiste em duas partes: uma camada de armazenamento que ingere, armazena e otimiza dados e uma camada de computação que fornece recursos de análise. Essas camadas de computação e armazenamento operam com eficiência de maneira independente umas das outras, graças à rede em escala de petabits do Google, que permite a comunicação necessária entre elas.

Os bancos de dados legados geralmente precisam compartilhar recursos entre operações de leitura e gravação e operações analíticas. Isso pode resultar em conflitos de recursos e tornar as consultas mais lentas enquanto os dados são gravados ou lidos a partir do armazenamento. Os pools de recursos compartilhados podem ficar ainda mais sobrecarregados quando são necessários recursos para tarefas de gerenciamento de banco de dados, como atribuição ou revogação de permissões. Com a separação das camadas de computação e armazenamento do BigQuery, cada uma delas pode alocar recursos dinamicamente sem afetar o desempenho ou a disponibilidade da outra.

Esse princípio de separação permite que o BigQuery inove mais rapidamente porque as melhorias de armazenamento e computação podem ser implantadas de forma independente, sem tempo de inatividade ou impacto negativo no desempenho do sistema. Também é essencial oferecer um data warehouse sem servidor totalmente gerenciado, em que a equipe de engenharia do BigQuery consiga lidar com atualizações e manutenção. Como resultado, você não precisará provisionar ou escalonar recursos manualmente e ficará livre para se concentrar na entrega de valor em vez de nas tarefas tradicionais de gerenciamento de um banco de dados.

As interfaces do BigQuery incluem a interface do console Cloud de Confiance e a ferramenta de linha de comando do BigQuery. Desenvolvedores e cientistas de dados podem usar bibliotecas de cliente com uma programação familiar, incluindo Python, Java, JavaScript e Go, além da API REST e da API RPC do BigQuery para transformar e gerenciar dados. Os drivers ODBC e JDBC fornecem interação com aplicativos atuais, incluindo ferramentas e utilitários de terceiros.

Quer você seja analista de dados, engenheiro de dados, administrador de data warehouse ou cientista de dados, o BigQuery irá ajudá-lo a carregar, processar e analisar dados para alimentar com informações decisões cruciais para o seu negócio.

Noções básicas sobre o BigQuery

Comece a explorar o BigQuery em minutos.

• Cloud de Confiance Guia de início rápido do console: conheça os recursos do BigQuery Studio.

Conhecer o BigQuery

A infraestrutura sem servidor do BigQuery permite que você se concentre nos dados em vez de gerenciar recursos. O BigQuery combina um armazenamento de dados baseado na nuvem e ferramentas analíticas avançadas.

armazenamento do BigQuery;

O BigQuery armazena dados usando um formato de armazenamento em colunas otimizado para consultas analíticas. O BigQuery apresenta dados em tabelas, linhas e colunas e fornece suporte completo à semântica de transações de banco de dados (ACID). O armazenamento do BigQuery é replicado automaticamente em vários locais para proporcionar alta disponibilidade.

• Conheça os padrões comuns para organizar recursos do BigQuery no armazenamento de dados e em data marts.
• Saiba mais sobre conjuntos de dados, o contêiner de nível superior do BigQuery com tabelas e visualizações.
• Carregue dados no BigQuery usando:
  • Faça streaming de dados com a API Storage Write (visualização).
  • Carregar dados em lote de arquivos locais ou do Cloud Storage usando formatos que incluem: Avro, Parquet, ORC, CSV, JSON.

Saiba mais em Visão geral do armazenamento do BigQuery.

Análise do BigQuery

Os usos de análises descritivas e prescritivas incluem Business Intelligence, análise ad-hoc, análise geoespacial e machine learning. É possível consultar dados armazenados no BigQuery ou executar consultas em dados onde eles residem usando tabelas externas ou consultas federadas, incluindo o Cloud Storage.

• Consultas SQL padrão ANSI (Suporte para SQL:2011) incluindo suporte para mesclagens, campos aninhados e repetidos, funções de análise e agregação, consultas de várias instruções e uma variedade de funções espaciais com análises geoespaciais, isto é, os Sistemas de informações geográficas.
• Crie visualizações para compartilhar sua análise.
• Suporte a ferramentas de Business Intelligence, incluindo ferramentas de terceiros que usam os drivers ODBC e JDBC da Simba para o BigQuery
• O BigQuery ML oferece machine learning e análise preditiva.
• O BigQuery Studio facilita a conclusão dos fluxos de trabalho de análise de dados e machine learning (ML) no BigQuery.
• Consulte dados fora do BigQuery com tabelas externas.

Saiba mais em Visão geral das análises do BigQuery.

Administração do BigQuery

O BigQuery oferece gerenciamento centralizado de dados e recursos de computação, enquanto o Identity and Access Management (IAM) ajuda a proteger esses recursos com o modelo de acesso usado em todo o Cloud de Confiance by S3NS.

• A introdução à segurança e à governança de dados ajuda a entender a governança de dados e quais controles são necessários para proteger os recursos do BigQuery.
• Jobs são ações que o BigQuery executa em seu nome para carregar, exportar, consultar ou copiar dados.
• As reservas permitem alternar entre preços sob demanda e baseados em capacidade.

Para mais informações, consulte Introdução ao BigQuery.

Recursos do BigQuery

Explore os recursos do BigQuery:

• As Notas da versão fornecem registros de alterações de recursos, mudanças e suspensões de uso.
• O Stack Overflow hospeda uma comunidade engajada de desenvolvedores e analistas que trabalham com o BigQuery.
• Google BigQuery: o guia definitivo: armazenamento de dados, análise e machine learning em escala, de Valliappa Lakshmanan e Jordan Tigani, explica como o BigQuery funciona e fornece um tutorial completo sobre como usar o serviço.

APIs, ferramentas e referências

Materiais de referência para desenvolvedores e analistas do BigQuery:

• A API BigQuery e as bibliotecas de cliente apresentam visões gerais dos recursos do BigQuery e o uso deles.
• A sintaxe de DMLpermite gerenciar e transformar os dados do BigQuery.
• A referência da ferramenta de linha de comando bq documenta a sintaxe, os comandos, as sinalizações e os argumentos da interface da CLI bq.
• A integração de ODBC / JDBC conecta o BigQuery às suas ferramentas e infraestrutura atuais.

Papéis e recursos do BigQuery

O BigQuery atende às necessidades dos profissionais de dados com relação aos seguintes papéis e responsabilidades.

A seguir

• Saiba mais sobre as diferenças entre o BigQuery no Cloud de Confiance e no Google Cloud.

• Para uma visão geral do armazenamento do BigQuery, consulte Visão geral do armazenamento do BigQuery.
• Para uma visão geral das consultas do BigQuery, consulte Visão geral do BigQuery Analytics.
• Para uma visão geral da administração do BigQuery, consulte Introdução à administração do BigQuery.
• Para uma visão geral da segurança do BigQuery, consulte Visão geral da segurança e governança de dados.