Vista geral do BigQuery

O BigQuery é uma plataforma de dados totalmente gerida e preparada para IA que ajuda a gerir e analisar os seus dados com funcionalidades integradas, como aprendizagem automática, pesquisa, análise geoespacial e Business Intelligence. A arquitetura sem servidor do BigQuery permite-lhe usar linguagens como SQL e Python para responder às perguntas mais importantes da sua organização sem precisar de qualquer gestão de infraestruturas.

O BigQuery oferece uma forma uniforme de trabalhar com dados estruturados e não estruturados, e suporta formatos de tabelas abertos, como o Apache Iceberg, o Delta e o Hudi. O streaming do BigQuery suporta a ingestão contínua de dados e a análise, enquanto o motor de análise distribuída e escalável do BigQuery permite consultar terabytes em segundos e petabytes em minutos.

A arquitetura do BigQuery consiste em duas partes: uma camada de armazenamento que carrega, armazena e otimiza dados, e uma camada de computação que oferece capacidades de estatísticas. Estas camadas de computação e armazenamento funcionam de forma eficiente independentemente umas das outras graças à rede de petabits da Google que permite a comunicação necessária entre elas.

Normalmente, as bases de dados antigas têm de partilhar recursos entre operações de leitura e escrita e operações analíticas. Isto pode resultar em conflitos de recursos e pode tornar as consultas mais lentas enquanto os dados são escritos ou lidos do armazenamento. Os conjuntos de recursos partilhados podem ficar ainda mais sobrecarregados quando são necessários recursos para tarefas de gestão de bases de dados, como atribuir ou revogar autorizações. A separação das camadas de computação e armazenamento do BigQuery permite que cada camada aloque recursos dinamicamente sem afetar o desempenho nem a disponibilidade da outra.

Este princípio de separação permite ao BigQuery inovar mais rapidamente porque as melhorias de armazenamento e computação podem ser implementadas de forma independente, sem tempo de inatividade nem impacto negativo no desempenho do sistema. Também é essencial para oferecer um armazém de dados sem servidor totalmente gerido no qual a equipa de engenharia do BigQuery trata das atualizações e da manutenção. O resultado é que não precisa de aprovisionar nem dimensionar manualmente os recursos, o que lhe permite concentrar-se na oferta de valor em vez das tarefas tradicionais de gestão de bases de dados.

As interfaces do BigQuery incluem a Cloud de Confiance interface da consola e a ferramenta de linha de comandos do BigQuery. Os programadores e os cientistas de dados podem usar bibliotecas cliente com programação familiar, incluindo Python, Java, JavaScript e Go, bem como a API REST e a API RPC do BigQuery para transformar e gerir dados. Os controladores ODBC e JDBC permitem a interação com aplicações existentes, incluindo ferramentas e utilitários de terceiros.

Enquanto analista de dados, engenheiro de dados, administrador de armazém de dados ou cientista de dados, o BigQuery ajuda a carregar, processar e analisar dados para fundamentar decisões empresariais críticas.

Comece a usar o BigQuery

Pode começar a explorar o BigQuery em minutos.

• Cloud de Confiance console início rápido: familiarize-se com o poder do BigQuery Studio.

Explore o BigQuery

A infraestrutura sem servidor do BigQuery permite-lhe focar-se nos seus dados em vez da gestão de recursos. O BigQuery combina um armazém de dados baseado na nuvem e ferramentas de análise avançadas.

Armazenamento do BigQuery

O BigQuery armazena dados através de um formato de armazenamento em colunas otimizado para consultas analíticas. O BigQuery apresenta os dados em tabelas, linhas e colunas, e oferece suporte total para a semântica de transações de bases de dados (ACID). O armazenamento do BigQuery é replicado automaticamente em várias localizações para oferecer uma elevada disponibilidade.

• Saiba mais sobre os padrões comuns para organizar os recursos do BigQuery no armazém de dados e nos data marts.
• Saiba mais sobre os conjuntos de dados, o contentor de nível superior do BigQuery de tabelas e vistas.
• Carregue dados para o BigQuery através de:
  • Transmita dados com a API Storage Write.
  • Carregue dados em lote a partir de ficheiros locais ou do Cloud Storage usando formatos que incluem: Avro, Parquet, ORC, CSV, JSON formatos.

Para mais informações, consulte o artigo Vista geral do armazenamento do BigQuery.

Análise do BigQuery

As utilizações da análise descritiva e prescritiva incluem Business Intelligence, análise ad hoc, análise geoespacial e aprendizagem automática. Pode consultar dados armazenados no BigQuery ou executar consultas em dados onde estão localizados através de tabelas externas ou consultas federadas, incluindo o Cloud Storage.

• Consultas SQL padrão ANSI (suporte de SQL:2011) incluindo suporte para junções, campos aninhados e repetidos, funções analíticas e de agregação, consultas com várias declarações e uma variedade de funções espaciais com estatísticas geoespaciais – Sistemas de Informação Geográfica.
• Crie vistas para partilhar a sua análise.
• Apoio técnico de ferramentas de Business Intelligence, incluindo ferramentas de terceiros que usam os controladores Simba ODBC e JDBC para o BigQuery
• O BigQuery ML oferece aprendizagem automática e estatísticas preditivas.
• O BigQuery Studio facilita a conclusão dos fluxos de trabalho de análise de dados e aprendizagem automática (AA) no BigQuery.
• Consultar dados fora do BigQuery com tabelas externas.

Para mais informações, consulte o artigo Vista geral da análise do BigQuery.

Administração do BigQuery

O BigQuery oferece uma gestão centralizada dos recursos de dados e computação, enquanto a gestão de identidades e acessos (IAM) ajuda a proteger esses recursos com o modelo de acesso usado em todo o sistema Cloud de Confiance by S3NS.

• Introdução à segurança e à administração de dados ajuda a compreender a administração de dados e os controlos de que pode precisar para proteger os recursos do BigQuery.
• As tarefas são ações que o BigQuery executa em seu nome para carregar, exportar, consultar ou copiar dados.
• As reservas permitem-lhe alternar entre preços a pedido e preços baseados na capacidade.

Para mais informações, consulte o artigo Introdução à administração do BigQuery.

Recursos do BigQuery

Explore os recursos do BigQuery:

• As notas de lançamento fornecem registos de alterações das funcionalidades, alterações e descontinuações.
• O Stack Overflow tem uma comunidade ativa de programadores e analistas que trabalham com o BigQuery.
• Google BigQuery: The Definitive Guide: Data Warehousing, Analytics, and Machine Learning at Scale de Valliappa Lakshmanan e Jordan Tigani, explica como o BigQuery funciona e fornece um passo a passo completo sobre como usar o serviço.

APIs, ferramentas e referências

Materiais de referência para programadores e analistas do BigQuery:

• A API BigQuery e as bibliotecas cliente apresentam vistas gerais das funcionalidades do BigQuery e da respetiva utilização.
• A sintaxe DML permite-lhe gerir e transformar os seus dados do BigQuery.
• A referência da ferramenta de linhas de comando bq documenta a sintaxe, os comandos, as flags e os argumentos da interface da CLI bq.
• Integração ODBC / JDBC associe o BigQuery às suas ferramentas e infraestrutura existentes.

Funções e recursos do BigQuery

O BigQuery satisfaz as necessidades dos profissionais de dados nas seguintes funções e responsabilidades.

O que se segue?

• Saiba mais sobre as diferenças do BigQuery no Cloud de Confiance em comparação com o Google Cloud.

• Para uma vista geral do armazenamento do BigQuery, consulte o artigo Vista geral do armazenamento do BigQuery.
• Para uma vista geral das consultas do BigQuery, consulte o artigo Vista geral da análise do BigQuery.
• Para uma vista geral da administração do BigQuery, consulte o artigo Introdução à administração do BigQuery.
• Para uma vista geral da segurança do BigQuery, consulte o artigo Vista geral da segurança e da governação de dados.