Visão geral do BigQuery

O BigQuery é uma plataforma de dados totalmente gerenciada e pronta para IA que ajuda você a gerenciar e analisar seus dados com recursos integrados como aprendizado de máquina, pesquisa, análise geoespacial e Business Intelligence. A arquitetura sem servidor do BigQuery permite usar linguagens como SQL e Python para responder às maiores dúvidas da sua organização sem nenhum gerenciamento de infraestrutura.

O BigQuery oferece uma maneira uniforme de trabalhar com dados estruturados e não estruturados e oferece suporte a formatos de tabelas abertas, como Apache Iceberg, Delta e Hudi. O streaming do BigQuery oferece suporte à ingestão e análise contínua de dados, enquanto o mecanismo de análise distribuído e escalonável do BigQuery permite consultar terabytes em segundos e petabytes em minutos.

O BigQuery oferece recursos de governança integrados que permitem descobrir e organizar dados, além de gerenciar metadados e qualidade de dados. Com recursos como pesquisa semântica e linhagem de dados, é possível encontrar e validar dados relevantes para análise. Você pode compartilhar dados e recursos de IA em toda a organização com os benefícios do controle de acesso. Esses recursos são alimentados pelo Dataplex Universal Catalog, uma solução de governança unificada e inteligente para recursos de dados e IA no Trusted Cloud.

A arquitetura do BigQuery consiste em duas partes: uma camada de armazenamento que ingere, armazena e otimiza dados e uma camada de computação que fornece recursos de análise. Essas camadas de computação e armazenamento operam com eficiência de maneira independente umas das outras, graças à rede em escala de petabits do Google, que permite a comunicação necessária entre elas.

Os bancos de dados legados geralmente precisam compartilhar recursos entre operações de leitura e gravação e operações analíticas. Isso pode resultar em conflitos de recursos e tornar as consultas mais lentas enquanto os dados são gravados ou lidos a partir do armazenamento. Os pools de recursos compartilhados podem ficar ainda mais sobrecarregados quando são necessários recursos para tarefas de gerenciamento de banco de dados, como atribuição ou revogação de permissões. Com a separação das camadas de computação e armazenamento do BigQuery, cada uma delas pode alocar recursos dinamicamente sem afetar o desempenho ou a disponibilidade da outra.

A arquitetura do BigQuery separa recursos com a rede de petabits.

Esse princípio de separação permite que o BigQuery inove mais rapidamente porque as melhorias de armazenamento e computação podem ser implantadas de forma independente, sem tempo de inatividade ou impacto negativo no desempenho do sistema. Também é essencial oferecer um data warehouse sem servidor totalmente gerenciado, em que a equipe de engenharia do BigQuery consiga lidar com atualizações e manutenção. Como resultado, você não precisará provisionar ou escalonar recursos manualmente e ficará livre para se concentrar na entrega de valor em vez de nas tarefas tradicionais de gerenciamento de um banco de dados.

As interfaces do BigQuery incluem a interface do console Trusted Cloud e a ferramenta de linha de comando do BigQuery. Desenvolvedores e cientistas de dados podem usar bibliotecas de cliente com uma programação familiar, incluindo Python, Java, JavaScript e Go, além da API REST e da API RPC do BigQuery para transformar e gerenciar dados. Os drivers ODBC e JDBC fornecem interação com aplicativos atuais, incluindo ferramentas e utilitários de terceiros.

Quer você seja analista de dados, engenheiro de dados, administrador de data warehouse ou cientista de dados, o BigQuery irá ajudá-lo a carregar, processar e analisar dados para alimentar com informações decisões cruciais para o seu negócio.

Noções básicas sobre o BigQuery

Comece a explorar o BigQuery em minutos. Aproveite o nível de uso gratuito do BigQuery ou o Sandbox sem custo para começar a carregar e consultar dados.

  1. Sandbox do BigQuery: comece a usar o sandbox do BigQuery, sem riscos e sem custo.
  2. Trusted Cloud Guia de início rápido do console: conheça os recursos do BigQuery Studio.
  3. Conjuntos de dados públicos: confira o desempenho do BigQuery com dados grandes e reais do Programa de conjuntos de dados públicos.

Conhecer o BigQuery

A infraestrutura sem servidor do BigQuery permite que você se concentre nos dados em vez de gerenciar recursos. O BigQuery combina um armazenamento de dados baseado na nuvem e ferramentas analíticas avançadas.

armazenamento do BigQuery;

O BigQuery armazena dados usando um formato de armazenamento em colunas otimizado para consultas analíticas. O BigQuery apresenta dados em tabelas, linhas e colunas e fornece suporte completo à semântica de transações de banco de dados (ACID). O armazenamento do BigQuery é replicado automaticamente em vários locais para proporcionar alta disponibilidade.

Saiba mais em Visão geral do armazenamento do BigQuery.

Análise do BigQuery

Os usos de análises descritivas e prescritivas incluem Business Intelligence, análise ad-hoc, análise geoespacial e machine learning. É possível consultar dados armazenados no BigQuery ou executar consultas em dados onde eles residem usando tabelas externas ou consultas federadas, incluindo o Google Cloud Storage, Bigtable, Spanner ou Planilhas Google armazenados no Google Drive.

  • Consultas SQL padrão ANSI (Suporte para SQL:2011) incluindo suporte para mesclagens, campos aninhados e repetidos, funções de análise e agregação, consultas de várias instruções e uma variedade de funções espaciais com análises geoespaciais, isto é, os Sistemas de informações geográficas.
  • Crie visualizações para compartilhar sua análise.
  • Compatibilidade com a ferramenta de Business Intelligence, incluindo Planilhas Google e ferramentas de terceiros, como Tableau e Power BI.
  • O BigQuery ML fornece machine learning e análise preditiva.
  • O BigQuery Studio oferece recursos como notebooks Python e o controle de versão para notebooks e consultas salvas. Esses recursos facilitam a conclusão da de fluxos de trabalho de análise de dados e machine learning (ML) no BigQuery.
  • Consulte dados fora do BigQuery com e tabelas externas.

Saiba mais em Visão geral das análises do BigQuery.

Administração do BigQuery

O BigQuery oferece gerenciamento centralizado de dados e recursos de computação, enquanto o Identity and Access Management (IAM) ajuda a proteger esses recursos com o modelo de acesso usado em todo o Trusted Cloud by S3NS.

  • A introdução à segurança e à governança de dados ajuda a entender a governança de dados e quais controles são necessários para proteger os recursos do BigQuery.
  • Jobs são ações que o BigQuery executa em seu nome para carregar, exportar, consultar ou copiar dados.
  • As reservas permitem alternar entre preços sob demanda e baseados em capacidade.

Para mais informações, consulte Introdução ao BigQuery.

Recursos do BigQuery

Explore os recursos do BigQuery:

APIs, ferramentas e referências

Materiais de referência para desenvolvedores e analistas do BigQuery:

A seguir