Interagir com dados do Lakehouse sem fronteiras no BigQuery
O Lakehouse sem fronteiras é um mecanismo de armazenamento que une o Cloud de Confiance by S3NS e serviços de código aberto para criar uma interface unificada para análises avançadas e IA. Ele fornece a base para criar um lakehouse aberto, gerenciado e de alto desempenho com gerenciamento de dados automatizado e governança integrada usando o Apache Iceberg.
Quando você cria uma tabela no Lakehouse, ela pode ser consultada automaticamente no BigQuery e fica visível na página do BigQuery no console do Cloud de Confiance . Os namespaces e esquemas do Lakehouse também são mapeados automaticamente para conjuntos de dados do BigQuery. Além disso, é possível criar e atualizar catálogos, namespaces e tabelas do Lakehouse diretamente no BigQuery Studio.
Diferenças entre os recursos do Lakehouse e outros recursos do BigQuery
Confira a seguir as principais diferenças entre o Lakehouse e os recursos padrão do BigQuery:
- Os conjuntos de dados do Lakehouse aparecem na página do BigQuery do console do Cloud de Confiance ao lado do ícone de água.
- Os recursos do Lakehouse têm metadados adicionais na respectiva seção Detalhes.
Criar uma tabela do Lakehouse no BigQuery Studio
Acessar a página do BigQuery.
No painel Explorer, clique em Adicionar dados.
Clique no card da fonte de dados do Google Cloud Storage.
Em Acessar dados externos no local, clique no card Arquivos de dados do GCS.
Em Origem do bucket do GCS ou caminho do arquivo, selecione o bucket do Cloud Storage.
Em Formato do arquivo, selecione Parquet.
Em Nome da tabela, insira um nome para a tabela.
Em Projeto, selecione o projeto.
Em ID do catálogo, selecione o catálogo do Lakehouse para o bucket ou crie um, se ainda não existir.
Em ID do namespace, selecione um namespace do Lakehouse ou crie um novo. Os IDs de namespace só podem conter letras, números e sublinhados.
(Opcional) Em Esquema, defina os nomes dos campos e os tipos de dados da nova tabela.
Clique em Criar tabela.
Sua tabela do Lakehouse agora está visível no BigQuery e pode ser consultada e modificada como uma tabela padrão do BigQuery.
Em vez de criar uma tabela com dados, é possível criar uma tabela vazia do Lakehouse da mesma forma que as tabelas padrão do BigQuery. A única diferença é selecionar um namespace do Lakehouse como o conjunto de dados de destino.
Migrar ou federar outros catálogos para o Lakehouse
Acessar a página do BigQuery.
No painel Explorer, clique em Adicionar dados.
Clique no card da fonte de dados do Google Cloud Storage.
Em Acessar dados externos no local, clique no card Catálogos externos ou legados.
Em Selecionar origem do catálogo, escolha a origem do catálogo.
- Se você selecionou Metastore do Hive, faça o seguinte:
- Em Região, selecione uma região para o novo catálogo do Lakehouse.
- Em Nome de exibição da migração, insira um novo nome para a migração.
- Clique em Continuar.
- Em Configuração do sistema de origem, insira o URL, a conta de serviço e um anexo de rede.
- Se você tiver selecionado uma origem de catálogo diferente, faça o seguinte:
- Em Nome do catálogo (no Lakehouse), insira um nome para o catálogo.
- Em Local dos dados, selecione uma região para o novo catálogo do Lakehouse.
- Clique em Continuar.
- Em Configuração do catálogo, insira os detalhes do catálogo remoto, o método de autenticação e o intervalo de atualização.
- Se você selecionou Metastore do Hive, faça o seguinte:
Clique em Criar.
Acessar dados entre nuvens
O recurso de acesso a dados entre nuvens do Lakehouse permite consultar dados armazenados em outros provedores de nuvem diretamente do BigQuery, sem migrar arquivos ou criar pipelines de ETL complexos. Para informações de configuração, consulte Consultar dados remotos.
Comparação de recursos de tabelas do Iceberg
Use a tabela a seguir para comparar os recursos entre as tabelas do Apache Iceberg gerenciadas pelo catálogo do ambiente de execução do Lakehouse e as tabelas do Apache Iceberg gerenciadas pelo BigQuery.
| Capacidade | Tabelas do Apache Iceberg gerenciadas pelo catálogo do ambiente de execução do Lakehouse | Tabelas do Apache Iceberg gerenciadas pelo BigQuery |
|---|---|---|
| Catálogo | Catálogo do ambiente de execução do Lakehouse (compatível com o catálogo REST do Iceberg) | BigQuery |
| Armazenamento | Cloud Storage | Cloud Storage |
| Acessível pelo endpoint do catálogo REST do Iceberg | Sim | Sim, usando a federação de catálogo do BigQuery |
| Interoperabilidade de leitura/gravação | ||
| Consultas de leitura do BigQuery (SELECT, BQML, funções de IA) | Com suporte | Com suporte |
| DML do BigQuery (INSERT, UPDATE, DELETE, MERGE) | Compatível (pré-lançamento) | Compatível (GA) |
| Leituras do mecanismo de OSS | Compatível (GA) | Compatível (GA) (usando a federação de catálogo do BigQuery) |
| Gravações do mecanismo de OSS | Compatível (GA) | Sem suporte |
| Gravações de streaming do mecanismo OSS (Kafka, Spark, Dataflow com coletor de E/S do Iceberg) | Compatível (GA) | Sem suporte |
| Recursos gerenciados e avançados | ||
| Gerenciamento de tabelas (compactação, coleta de lixo) | Compatível (pré-lançamento) | Compatível (GA) |
| Gravações de streaming do BigQuery (API Storage Write) | Sem suporte | Compatível (GA) |
| Streaming/assinatura do Pub/Sub, streaming do Dataflow com coletor de E/S do BigQuery | Sem suporte | Compatível (GA) |
| Captura de dados alterados (CDC) do BigQuery | Compatível (pré-lançamento) | Com suporte |
| Transações de várias instruções do BigQuery | Sem suporte | Compatível (pré-lançamento) |
| Recuperação de desastres gerenciada | Sem suporte | Sem suporte |
| Índice da Pesquisa | Sem suporte | Sem suporte |
| Índice vetorial (incluindo geração automática de embeddings) | Sem suporte | Sem suporte |
| Viagem no tempo | ||
| Viagem no tempo (usando mecanismos de OSS) | Flexível (configurado pelas propriedades da tabela) | Sem suporte |
| Viagem no tempo (usando o BigQuery) | Máximo de 7 dias | Máximo de 7 dias |
| Histórico de snapshots e reversão para o snapshot anterior | Com suporte | Sem suporte |
| Governança, segurança e compartilhamento | ||
| Visualizações autorizadas do BigQuery | Sem suporte | Sem suporte |
| Segurança no nível da coluna do BigQuery | Sem suporte | Compatível (GA) |
| Mascaramento de dados e tags de política do BigQuery | Sem suporte | Compatível (GA) |
| Segurança no nível da linha do BigQuery | Sem suporte | Compatível (GA) |
| Integração com o Analytics Hub | Sem suporte | Com suporte |
| Recursos do Knowledge Catalog | ||
| Catalogação, pesquisa e descoberta de metadados | Com suporte | Com suporte |
| Linhagem | Com suporte | Com suporte |
| Qualidade/criação de perfis de dados | Com suporte | Com suporte |
| Insights | Com suporte | Com suporte |
| Geração de descrições de colunas e tabelas com base em IA | Com suporte | Com suporte |
A seguir
- Saiba mais sobre o Lakehouse sem fronteiras.