Tabelas gerenciadas do Apache Iceberg

As tabelas gerenciadas do Apache Iceberg (antigas tabelas do BigLake para Apache Iceberg no BigQuery) são a base para criar lakehouses de formato aberto no Cloud de Confiance by S3NS. As tabelas gerenciadas do Iceberg oferecem a mesma experiência totalmente gerenciada que as tabelas padrão do BigQuery, mas armazenam dados em buckets de armazenamento do cliente. As tabelas gerenciadas do Iceberg são compatíveis com o formato de tabela aberto do Iceberg para melhorar a interoperabilidade com mecanismos de computação de código aberto e de terceiros em uma única cópia de dados.

As tabelas gerenciadas do Iceberg são compatíveis com os seguintes recursos:

• Mutações de tabela usando a linguagem de manipulação de dados (DML) do GoogleSQL.
• Streaming unificado de lote e de alta capacidade de processamento usando a API BigQuery Storage Write (gRPC) com conectores como Spark, Dataflow e outros mecanismos.
• Exportação de snapshot do Iceberg V2 e atualização automática em cada mutação de tabela para acesso direto a consultas com mecanismos de consulta de código aberto e de terceiros, como o Spark.
• Evolução do esquema, que permite adicionar, remover e renomear colunas de acordo com suas necessidades. Esse recurso também permite alterar o tipo de dados e o modo de uma coluna atual. Para mais informações, consulte Regras de conversão.
• Otimização automática de armazenamento, incluindo dimensionamento adaptativo de arquivos, clustering automático, coleta de lixo e otimização de metadados.
• Viagem no tempo para acesso a dados históricos no BigQuery.
• Segurança no nível da coluna e mascaramento de dados.
• Transações de várias instruções.
• Particionamento de tabela.
• Criação de tabelas em fluxos de trabalho do Dataform.
• Ambiente de execução avançado do BigQuery.
• Streaming com a API BigQuery Storage Write (gRPC).

Arquitetura

As tabelas gerenciadas do Iceberg trazem a conveniência do gerenciamento de recursos do BigQuery para tabelas que residem nos seus próprios buckets de nuvem. É possível usar o BigQuery e mecanismos de computação de código aberto nessas tabelas sem mover os dados para fora dos buckets que você controla. É preciso configurar um bucket do Cloud Storage antes de começar a usar as tabelas gerenciadas do Iceberg.

O uso de tabelas gerenciadas do Iceberg tem as seguintes implicações no seu bucket:

• O BigQuery cria novos arquivos de dados no bucket em resposta a solicitações de gravação e otimizações de armazenamento em segundo plano, como instruções DML e streaming.
• A compactação e o clustering automáticos são realizados nos arquivos de dados no bucket. Após a expiração da janela de viagem no tempo, os arquivos de dados são coletados como lixo. No entanto, se a tabela for excluída, os arquivos de dados associados não serão coletados como lixo. Para mais informações, consulte Otimização de armazenamento.

A criação de uma tabela gerenciada do Iceberg é semelhante à criação de tabelas do BigQuery. Como ele armazena dados em formatos abertos no Cloud Storage, é necessário fazer o seguinte:

• Especifique a conexão a recursos do Cloud com WITH CONNECTION para configurar as credenciais de conexão para o BigQuery acessar o Cloud Storage.
• Especifique o formato do arquivo do repositório de dados como PARQUET com a instrução file_format = PARQUET.
• Especifique o formato da tabela de metadados de código aberto como ICEBERG com a instrução table_format = ICEBERG.

Práticas recomendadas

Alterar ou adicionar arquivos diretamente ao bucket fora do BigQuery pode levar à perda de dados ou a erros irrecuperáveis. A tabela a seguir descreve os cenários possíveis:

Práticas recomendadas para configuração bucket do Cloud Storage

A configuração do bucket do Cloud Storage e a conexão dele com o BigQuery têm um impacto direto no desempenho, no custo, na integridade dos dados, na segurança e na governança das tabelas gerenciadas do Iceberg. Confira as práticas recomendadas para ajudar nessa configuração:

• Selecione um nome que indique claramente que o bucket é destinado apenas a tabelas gerenciadas do Iceberg.

• Escolha buckets do Cloud Storage de região única que estejam na mesma região do conjunto de dados do BigQuery. Essa coordenação melhora o desempenho e reduz os custos, evitando cobranças de transferência de dados.

• Por padrão, o Cloud Storage armazena dados na classe de armazenamento Standard Storage, que oferece desempenho suficiente. Para otimizar os custos de armazenamento de dados, ative a Classe automática para gerenciar automaticamente as transições de classe de armazenamento. A classe automática começa com a classe Standard Storage e move objetos que não são acessados para classes progressivamente mais frias para reduzir os custos de armazenamento. Quando o objeto é lido novamente, ele é movido de volta para a classe Standard.

• Ative o acesso uniforme no nível do bucket e a prevenção de acesso público.

• Verifique se os papéis necessários estão atribuídos aos usuários e às contas de serviço corretos.

• Para evitar a exclusão ou corrupção acidental de dados no bucket do Cloud Storage, restrinja as permissões de gravação e exclusão para a maioria dos usuários na sua organização. Para isso, defina uma política de permissão de bucket com condições que neguem solicitações PUT e DELETE para todos os usuários, exceto aqueles que você especificar.

• Aplique chaves de criptografia gerenciadas pelo Google ou gerenciadas pelo cliente para aumentar a proteção de dados sensíveis.

• Ative a geração de registros de auditoria para transparência operacional, solução de problemas e monitoramento do acesso aos dados.

• Mantenha a política de exclusão reversível padrão (retenção de 7 dias) para proteger contra exclusões acidentais. No entanto, se você descobrir que os dados foram excluídos, entre em contato com o suporte em vez de restaurar os objetos manualmente, já que os objetos adicionados ou modificados fora do BigQuery não são rastreados pelos metadados do BigQuery.

• O dimensionamento adaptável de arquivos, o clustering automático e a coleta de lixo são ativados automaticamente e ajudam a otimizar o desempenho e o custo dos arquivos.

• Evite os seguintes recursos do Cloud Storage, porque eles não são compatíveis com as tabelas gerenciadas do Iceberg:

  • Listas de controle de acesso (ACLs) de objetos
  • Chaves de criptografia fornecidas pelo cliente
  • Controle de versões de objetos
  • Bloqueio de objeto
  • Bloqueio de bucket
  • Como restaurar objetos excluídos de forma reversível com a API BigQuery ou a CLI bq

Para implementar essas práticas recomendadas, crie o bucket com o seguinte comando:

gcloud storage buckets create gs://BUCKET_NAME \
    --project=PROJECT_ID \
    --location=LOCATION \
    --enable-autoclass \
    --public-access-prevention \
    --uniform-bucket-level-access

Substitua:

• BUCKET_NAME: o nome do novo bucket.
• PROJECT_ID: ID do projeto
• LOCATION: o local do novo bucket.

Fluxos de trabalho de tabelas gerenciadas do Iceberg

As seções a seguir descrevem como criar, carregar, gerenciar e consultar tabelas gerenciadas do Iceberg.

Antes de começar

Antes de criar e usar tabelas gerenciadas do Iceberg, configure uma conexão de recurso do Cloud com um bucket de armazenamento. Sua conexão precisa de permissões de gravação no bucket de armazenamento, conforme especificado na seção Papéis necessários a seguir. Para mais informações sobre os papéis e as permissões necessários para conexões, consulte Gerenciar conexões.

Funções exigidas

Para receber as permissões necessárias para permitir que o BigQuery gerencie tabelas no seu projeto, peça ao administrador para conceder a você os seguintes papéis do IAM:

• Para criar tabelas gerenciadas do Iceberg:
  • Proprietário de dados do BigQuery (roles/bigquery.dataOwner) no seu projeto
  • Administrador de conexão do BigQuery (roles/bigquery.connectionAdmin) no projeto
• Para consultar tabelas gerenciadas do Iceberg:
  • Visualizador de dados do BigQuery (roles/bigquery.dataViewer) no seu projeto
  • Usuário do BigQuery (roles/bigquery.user) no seu projeto
• Conceda à conta de serviço de conexão os seguintes papéis para que ela possa ler e gravar dados no Cloud Storage:
  • Usuário de objetos do Storage (roles/storage.objectUser) no bucket
  • Leitor de bucket legado do Storage (roles/storage.legacyBucketReader) no bucket

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Esses papéis predefinidos contêm as permissões necessárias para permitir que o BigQuery gerencie tabelas no seu projeto. Para conferir as permissões exatas necessárias, expanda a seção Permissões necessárias:

Essas permissões também podem ser concedidas com funções personalizadas ou outros papéis predefinidos.

Criar tabelas gerenciadas do Iceberg

Para criar uma tabela gerenciada do Iceberg, selecione um dos seguintes métodos:

CREATE TABLE [PROJECT_ID.]DATASET_ID.TABLE_NAME (
COLUMN DATA_TYPE[, ...]
)
CLUSTER BY CLUSTER_COLUMN_LIST
WITH CONNECTION {CONNECTION_NAME | DEFAULT}
OPTIONS (
file_format = 'PARQUET',
table_format = 'ICEBERG',
storage_uri = 'STORAGE_URI');

bq --project_id=PROJECT_ID mk \
    --table \
    --file_format=PARQUET \
    --table_format=ICEBERG \
    --connection_id=CONNECTION_NAME \
    --storage_uri=STORAGE_URI \
    --schema=COLUMN_NAME:DATA_TYPE[, ...] \
    --clustering_fields=CLUSTER_COLUMN_LIST \
    DATASET_ID.MANAGED_TABLE_NAME

{
"tableReference": {
  "tableId": "TABLE_NAME"
},
"biglakeConfiguration": {
  "connectionId": "CONNECTION_NAME",
  "fileFormat": "PARQUET",
  "tableFormat": "ICEBERG",
  "storageUri": "STORAGE_URI"
},
"schema": {
  "fields": [
    {
      "name": "COLUMN_NAME",
      "type": "DATA_TYPE"
    }
    [, ...]
  ]
}
}

Importar dados para tabelas gerenciadas do Iceberg

As seções a seguir descrevem como importar dados de vários formatos de tabela para tabelas gerenciadas do Iceberg.

Carregar dados padrão de arquivos simples

As tabelas gerenciadas do Iceberg usam jobs de carregamento do BigQuery para carregar arquivos externos em tabelas gerenciadas do Iceberg. Se você já tiver uma tabela gerenciada do Iceberg, siga o guia da CLI bq load ou o guia do SQL LOAD para carregar dados externos. Depois de carregar os dados, novos arquivos Parquet são gravados na pasta STORAGE_URI/data.

Se as instruções anteriores forem usadas sem uma tabela gerenciada do Iceberg, uma tabela do BigQuery será criada.

Confira a seguir exemplos específicos de ferramentas de carregamentos em lote em tabelas gerenciadas do Iceberg:

LOAD DATA INTO MANAGED_TABLE_NAME
FROM FILES (
uris=['STORAGE_URI'],
format='FILE_FORMAT');

bq load \
  --source_format=FILE_FORMAT \
  MANAGED_TABLE \
  STORAGE_URI

Carga padrão de arquivos particionados do Apache Hive

É possível carregar arquivos particionados do Hive em tabelas gerenciadas do Iceberg usando jobs de carregamento padrão do BigQuery. Para mais informações, consulte Carregar dados particionados externamente.

Carregar dados de streaming do Pub/Sub

É possível carregar dados de streaming em tabelas gerenciadas do Iceberg usando uma assinatura do Pub/Sub no BigQuery.

Carregar dados de streaming usando consultas contínuas

É possível processar e gravar continuamente dados de streaming do BigQuery em tabelas gerenciadas do Iceberg usando uma consulta contínua do BigQuery com a instrução DML INSERT. Isso permite realizar ETL reverso em tempo real, aprimoramento de dados e filtragem no seu lakehouse de formato aberto.

Antes de executar a consulta contínua, verifique se a tabela gerenciada de destino do Iceberg existe e se o usuário ou a conta de serviço tem as permissões necessárias na tabela, na conexão de recurso do Cloud de Confiance by S3NS e no bucket do Cloud Storage.

Para instruções de configuração e exemplos de SQL, consulte Gravar dados em tabelas gerenciadas do BigQuery ou do Apache Iceberg.

Exportar dados de tabelas gerenciadas do Iceberg

As seções a seguir descrevem como exportar dados de tabelas gerenciadas do Iceberg para vários formatos de tabela.

Exportar dados para formatos simples

Para exportar uma tabela gerenciada do Iceberg para um formato simples, use a instrução EXPORT DATA e selecione um formato de destino. Para mais informações, consulte Como exportar dados.

Criar snapshots de metadados de tabelas gerenciadas do Iceberg

Para criar um snapshot de metadados de tabela gerenciada do Iceberg, siga estas etapas:

1. Exporte os metadados para o formato Iceberg V2 com a instrução SQL EXPORT TABLE METADATA.

2. Opcional: programe a atualização do snapshot de metadados do Iceberg. Para atualizar um snapshot de metadados do Iceberg com base em um intervalo de tempo definido, use uma consulta programada.

3. Opcional: ative a atualização automática de metadados para que o projeto atualize automaticamente o snapshot de metadados da tabela do Iceberg em cada mutação de tabela. Para ativar a atualização automática de metadados, entre em contato com bigquery-tables-for-apache-iceberg-help@google.com. Os custos do EXPORT METADATA são aplicados a cada operação de atualização.

O exemplo a seguir cria uma consulta programada chamada My Scheduled Snapshot Refresh Query usando a instrução DDL EXPORT TABLE METADATA FROM mydataset.test. A instrução DDL é executada a cada 24 horas.

bq query \
    --use_legacy_sql=false \
    --display_name='My Scheduled Snapshot Refresh Query' \
    --schedule='every 24 hours' \
    'EXPORT TABLE METADATA FROM mydataset.test'

Ver o snapshot de metadados da tabela gerenciada do Iceberg

Depois de atualizar o snapshot de metadados da tabela gerenciada do Iceberg, você pode encontrá-lo no URI do Cloud Storage em que a tabela gerenciada do Iceberg foi criada originalmente. A pasta /data contém os fragmentos de dados do arquivo Parquet, e a pasta /metadata contém o snapshot de metadados da tabela gerenciada do Iceberg.

SELECT
  table_name,
  REGEXP_EXTRACT(ddl, r"storage_uri\s*=\s*\"([^\"]+)\"") AS storage_uri
FROM
  `mydataset`.INFORMATION_SCHEMA.TABLES;

Observe que mydataset e table_name são marcadores de posição para o conjunto de dados e a tabela reais.

Ler tabelas gerenciadas do Iceberg com o Spark

O exemplo a seguir configura seu ambiente para usar o Spark SQL com o Spark e, em seguida, executa uma consulta para buscar dados de uma tabela gerenciada do Iceberg especificada.

spark-sql \
  --packages org.apache.iceberg:iceberg-spark-runtime-ICEBERG_VERSION_NUMBER \
  --conf spark.sql.catalog.CATALOG_NAME=org.apache.iceberg.spark.SparkCatalog \
  --conf spark.sql.catalog.CATALOG_NAME.type=hadoop \
  --conf spark.sql.catalog.CATALOG_NAME.warehouse='BUCKET_PATH' \

# Query the table
SELECT * FROM CATALOG_NAME.FOLDER_NAME;

Substitua:

• ICEBERG_VERSION_NUMBER: a versão atual do ambiente de execução. Faça o download da versão mais recente em Versões do Iceberg.
• CATALOG_NAME: o catálogo para referenciar sua tabela gerenciada do Iceberg.
• BUCKET_PATH: o caminho para o bucket que contém os arquivos da tabela. Por exemplo, gs://mybucket/.
• FOLDER_NAME: a pasta que contém os arquivos da tabela. Por exemplo, myfolder.

Modificar tabelas gerenciadas do Iceberg

Para modificar uma tabela gerenciada do Iceberg, siga as etapas mostradas em Como modificar esquemas de tabelas.

Usar transações com várias instruções

É possível usar transações de várias instruções com tabelas gerenciadas do Iceberg da mesma forma que você faz com tabelas padrão do BigQuery. As transações de várias instruções são usadas com frequência para realizar mutações em várias tabelas ao mesmo tempo ou em uma única tabela em vários estágios. As transações de várias instruções garantem propriedades ACID e são compatíveis com o isolamento de snapshot.

As limitações padrão de transações com várias instruções se aplicam.

Usar particionamento

É possível usar o particionamento de tabelas com tabelas gerenciadas do Iceberg de maneira semelhante à que você faz com tabelas padrão do BigQuery. Para particionar uma tabela, especifique uma coluna de partição, que é usada para segmentar a tabela. Os seguintes tipos de coluna são compatíveis com tabelas gerenciadas do Iceberg:

• DATE
• DATETIME
• TIMESTAMP

O particionamento de uma tabela em uma coluna DATE, DATETIME ou TIMESTAMP é conhecido como particionamento de colunas por unidade de tempo. Você escolhe se as partições têm granularidade por hora, diária, mensal ou anual.

As tabelas gerenciadas do Iceberg também são compatíveis com clustering e combinação de tabelas em cluster e tabelas particionadas.

Limitações de particionamento

• Todas as limitações tabela particionada do BigQuery se aplicam.
• Não há suporte para tipos de coluna de particionamento diferentes de DATE, DATETIME ou TIMESTAMP.
• A evolução de partição não é compatível.

Criar uma tabela gerenciada do Iceberg particionada

Para criar uma tabela gerenciada do Iceberg particionada, siga as instruções para criar uma tabela gerenciada do Iceberg padrão e inclua uma das seguintes opções, dependendo do seu ambiente:

• A cláusula PARTITION BY
• As flags --time_partitioning_field e --time_partitioning_type
• A propriedade timePartitioning

É possível definir e atualizar a validade da partição da mesma forma que você faria com as tabelas do BigQuery padrão. As partições expiradas são coletadas como lixo após a janela de viagem no tempo. Se você adicionar dados a uma partição expirada, eles vão expirar instantaneamente.

Modificar e consultar tabelas gerenciadas do Iceberg particionadas

As instruções e consultas da linguagem de manipulação de dados (DML) do BigQuery para tabelas gerenciadas do Iceberg particionadas são as mesmas que as das tabelas gerenciadas padrão do Iceberg. O BigQuery define automaticamente o escopo do job para as partições certas, de forma semelhante ao particionamento oculto do Iceberg. Além disso, todos os novos dados adicionados à tabela são particionados automaticamente.

Também é possível consultar tabelas gerenciadas do Iceberg particionadas com outros mecanismos da mesma forma que as tabelas gerenciadas do Iceberg padrão. Recomendamos ativar os snapshots de metadados para ter a melhor experiência.

Para maior segurança, as informações de particionamento das tabelas gerenciadas do Iceberg são separadas do caminho de dados e gerenciadas inteiramente pela camada de metadados.

Preços

Os preços das tabelas gerenciadas do Iceberg consistem em armazenamento, otimização de armazenamento, consultas e jobs.

Armazenamento

As tabelas gerenciadas do Iceberg armazenam todos os dados no Cloud Storage. Você vai receber cobranças por todos os dados armazenados, incluindo dados históricos de tabelas. Também podem ser aplicadas cobranças de tratamento e transferência de dados do Cloud Storage. Algumas taxas de operação do Cloud Storage podem ser dispensadas para operações processadas pelo BigQuery ou pela API BigQuery Storage. Não há taxas de armazenamento específicas do BigQuery. Para mais informações, consulte Preços do Cloud Storage.

Otimização de armazenamento

As tabelas gerenciadas do Iceberg realizam o gerenciamento automático de tabelas, incluindo compactação, clustering, coleta de lixo e geração/atualização de metadados do BigQuery para otimizar o desempenho das consultas e reduzir os custos de armazenamento. O uso de recursos de computação para gerenciamento de tabelas é cobrado em unidades de computação de dados (DCUs) ao longo do tempo, em incrementos por segundo. Para mais detalhes, consulte Preços de tabelas gerenciadas do Iceberg.

As operações de exportação de dados que ocorrem durante o streaming pela API Storage Write estão incluídas nos preços da API Storage Write e não são cobradas como manutenção em segundo plano. Para mais informações, consulte Preços de ingestão de dados.

Para conferir os registros e o uso de computação dessas operações em segundo plano, consulte a visualização INFORMATION_SCHEMA.JOBS. Para exemplos de consultas, consulte:

• Jobs de otimização de armazenamento
• EXPORT TABLE METADATA jobs

Consultas e jobs

Assim como nas tabelas do BigQuery, você vai receber cobranças por consultas e bytes lidos (por TiB) se estiver usando o preço on demand do BigQuery ou o consumo de slots (por hora de slot) se estiver usando o preço de computação de capacidade do BigQuery.

Os preços do BigQuery também se aplicam à API BigQuery Storage Read e à API Storage Write.

As operações de carregamento e exportação (como EXPORT METADATA) usam slots de pagamento por uso da edição Enterprise. Isso é diferente das tabelas do BigQuery, que não são cobradas por essas operações. Se as reservas PIPELINE com slots Enterprise ou Enterprise Plus estiverem disponíveis, as operações de carregamento e exportação usarão preferencialmente esses slots de reserva.

Limitações

As tabelas gerenciadas do Iceberg têm as seguintes limitações:

• As tabelas gerenciadas do Iceberg não são compatíveis com operações de renomeação ou instruções ALTER TABLE RENAME TO.
• As tabelas gerenciadas do Iceberg não são compatíveis com cópias de tabelas ou instruções CREATE TABLE COPY.
• As tabelas gerenciadas do Iceberg não são compatíveis com clones de tabela ou instruções CREATE TABLE CLONE.
• As tabelas gerenciadas do Iceberg não são compatíveis com snapshots de tabela ou instruções CREATE SNAPSHOT TABLE.
• As tabelas gerenciadas do Iceberg não são compatíveis com o seguinte esquema de tabela:
  • Esquema vazio
  • Esquema com tipos de dados BIGNUMERIC, INTERVAL, JSON, RANGE ou GEOGRAPHY.
  • Esquema com regras de compilação de campo.
  • Esquema com expressões de valor padrão.
• As tabelas gerenciadas do Iceberg não são compatíveis com os seguintes casos de evolução de esquema:
  • Coerções de tipo NUMERIC para FLOAT
  • Coerções de tipo INT para FLOAT
  • Adicionar novos campos aninhados a colunas RECORD usando instruções DDL SQL
• As tabelas gerenciadas do Iceberg mostram um tamanho de armazenamento de 0 byte quando consultadas pelo console ou pelas APIs.
• As tabelas gerenciadas do Iceberg não são compatíveis com visualizações materializadas.
• As tabelas gerenciadas do Iceberg não são compatíveis com visualizações autorizadas, mas o controle de acesso no nível da coluna é compatível.
• As tabelas gerenciadas do Iceberg não são compatíveis com a recuperação de desastres gerenciada.
• As tabelas gerenciadas do Iceberg não são compatíveis com a segurança no nível da linha.
• As tabelas gerenciadas do Iceberg não são compatíveis com janelas à prova de falhas.
• As tabelas gerenciadas do Iceberg não são compatíveis com jobs de extração.
• A visualização INFORMATION_SCHEMA.TABLE_STORAGE não inclui tabelas gerenciadas do Iceberg.
• As tabelas gerenciadas do Iceberg não são compatíveis como destinos de resultados de consulta. Em vez disso, use a instrução CREATE TABLE com o argumento AS query_statement para criar uma tabela como o destino do resultado da consulta.
• O CREATE OR REPLACE não permite substituir tabelas padrão por tabelas gerenciadas do Iceberg ou vice-versa.
• O carregamento em lote e as instruções LOAD DATA só permitem anexar dados a tabelas gerenciadas do Iceberg.
• O carregamento em lote e as instruções LOAD DATA não são compatíveis com atualizações de esquema.
• O TRUNCATE TABLE não oferece suporte a tabelas gerenciadas do Iceberg. Existem duas alternativas:
  • CREATE OR REPLACE TABLE, usando as mesmas opções de criação de tabela.
  • Tabela DELETE FROM WHERE verdadeira
• A função com valor de tabela (TVF) APPENDS não é compatível com tabelas gerenciadas do Iceberg.
• Os metadados do Iceberg podem não conter dados que foram transmitidos para o BigQuery pela API Storage Write nos últimos 90 minutos.
• O acesso paginado baseado em registros usando tabledata.list não é compatível com tabelas gerenciadas do Iceberg.
• Apenas uma instrução DML de mutação simultânea (UPDATE, DELETE e MERGE) é executada para cada tabela gerenciada do Iceberg. Outras instruções DML de mutação são colocadas na fila.