Crea tabelle esterne Apache Iceberg

Le tabelle esterne Apache Iceberg ti consentono di accedere alle tabelle Apache Iceberg in un formato di sola lettura con controllo dell'accesso più granulare, tra cui la sicurezza a livello di riga e di colonna e il mascheramento dei dati. Queste tabelle non sono più consigliate per la maggior parte dei casi d'uso. Consulta invece le alternative consigliate.

Alternative consigliate

A seconda di dove sono archiviati i dati, ti consigliamo le seguenti alternative per accedere alle tabelle Iceberg i cui metadati non sono gestiti daCloud de Confiance by S3NS:

• Dati di Cloud Storage o Amazon Simple Storage Service (Amazon S3) gestiti da cataloghi remoti come AWS Glue, Databricks Unity Catalog e Snowflake Horizon Catalog. Utilizza il catalogo di runtime Lakehouse con accesso ai dati cross-cloud. La funzionalità di accesso ai dati cross-cloud del catalogo di runtime Lakehouse ti consente di eseguire query sui dati in altri cloud provider direttamente da Cloud de Confiance by S3NS senza migrare i file o creare pipeline ETL complesse.
• Tabelle Azure Blob Storage o Apache Iceberg non gestite da un catalogo remoto supportato per il catalogo di runtime Lakehouse con accesso ai dati cross-cloud. Continua con le tabelle esterne Apache Iceberg che utilizzano file di metadati JSON Iceberg.

Supporto di formati e versioni di Iceberg

Iceberg è un formato di tabella open source che supporta tabelle di dati su scala petabyte. La specifica aperta di Iceberg ti consente di eseguire più motori di query su una singola copia dei dati archiviati in un datastore di oggetti. Le tabelle esterne Iceberg supportano Iceberg versione 2, incluso merge-on-read. Il supporto per Iceberg versione 3, inclusi i vettori di eliminazione binari, è in anteprima. Per fornire feedback o porre domande relative a questa funzionalità in anteprima, contatta biglake-help@google.com.

Prima di iniziare

Abilita le API BigQuery Connection e BigQuery Reservation, se non sono già abilitate.

Abilita le API

• Se utilizzi una stored procedure per Spark in BigQuery per creare tabelle esterne Iceberg, devi seguire questi passaggi:

  1. Crea una connessione Spark.
  2. Configura il controllo degli accessi per la connessione.

• Per archiviare i metadati e i file di dati della tabella esterna Iceberg in Cloud Storage, crea un bucket Cloud Storage. Devi connetterti al bucket Cloud Storage per accedere ai file di metadati. Per farlo, segui questi passaggi:

  1. Crea una connessione alle risorse Cloud.
  2. Configura l'accesso per la connessione.

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per creare una tabella esterna Iceberg, chiedi all'amministratore di concederti i seguenti ruoli IAM nel progetto:

• BigQuery Admin (roles/bigquery.admin)
• Storage Object Admin (roles/storage.objectAdmin)

Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Questi ruoli predefiniti contengono le autorizzazioni necessarie per creare una tabella esterna Iceberg. Per vedere quali sono esattamente le autorizzazioni richieste, espandi la sezione Autorizzazioni obbligatorie:

Potresti anche ottenere queste autorizzazioni con ruoli personalizzati o altri ruoli predefiniti.

Crea tabelle con un file di metadati

Puoi creare tabelle esterne Iceberg con un file di metadati JSON. Tuttavia, devi aggiornare manualmente l'URI del file di metadati JSON per mantenere aggiornata la tabella esterna Iceberg. Se l'URI non viene aggiornato, le query in BigQuery possono non riuscire o fornire risultati diversi rispetto ad altri motori di query che utilizzano direttamente un catalogo Iceberg.

I file dei metadati della tabella Iceberg vengono creati nel bucket Cloud Storage che specifichi quando crei una tabella Iceberg utilizzando Spark.

Seleziona una delle seguenti opzioni:

  CREATE EXTERNAL TABLE myexternal-table
  WITH CONNECTION `myproject.us.myconnection`
  OPTIONS (
         format = 'ICEBERG',
         uris = ["gs://mybucket/mydata/mytable/metadata/iceberg.metadata.json"]
   )

bq mk 

    --table 

    --external_table_definition=TABLE_FORMAT=URI@projects/CONNECTION_PROJECT_ID/locations/CONNECTION_REGION/connections/CONNECTION_ID 

    PROJECT_ID:DATASET.EXTERNAL_TABLE

Aggiornamento metadati tabella

Se utilizzi un file di metadati JSON per creare una tabella esterna Iceberg, aggiorna la definizione della tabella ai metadati della tabella più recenti. Per aggiornare lo schema o il file dei metadati, seleziona una delle seguenti opzioni:

PATCH https://bigquery.googleapis.com/bigquery/v2/projects/PROJECT_ID/datasets/DATASET/tables/TABLE?autodetect_schema=true

{
     "externalDataConfiguration": {
      "sourceFormat": "ICEBERG",
      "sourceUris": [
        "URI"
      ]
    },
    "schema": null
  }'

Configura le policy di controllo dell'accesso

Puoi controllare l'accesso alle tabelle esterne Iceberg tramite la sicurezza a livello di colonna, la sicurezza a livello di riga e il mascheramento dei dati.

In qualità di amministratore di BigQuery, puoi applicare controllo dell'accesso a livello di riga e di colonna, incluso il mascheramento dei dati nelle tabelle. Le policy di accesso alle tabelle vengono applicate anche quando utilizzi l'API BigQuery Storage come origine dati per la tabella in Managed Service for Apache Spark e Serverless Spark.

Esegui query sui dati storici

Puoi accedere agli snapshot delle tabelle esterne Iceberg conservati nei metadati Iceberg utilizzando la clausola FOR SYSTEM_TIME AS OF.

Le finestre di conservazione dei dati di viaggio nel tempo e di sicurezza non sono supportate per le tabelle esterne.

Mappatura dei dati

BigQuery converte i tipi di dati Iceberg in tipi di dati BigQuery come mostrato nella tabella seguente:

Limitazioni

Oltre alle limitazioni delle tabelle esterne, le tabelle esterne Iceberg presentano le seguenti limitazioni:

• Le query che utilizzano i Controlli di servizio VPC non sono supportate e generano un errore come NO_MATCHING_ACCESS_LEVEL.

• Le tabelle che utilizzano l'unione in lettura presentano le seguenti limitazioni:

  • Una query può elaborare fino a 100.000 voci totali del vettore di eliminazione nella tabella. Per le tabelle Iceberg versione 3 che utilizzano vettori di eliminazione binari, ogni file di dati associato a un vettore di eliminazione viene conteggiato come una voce di eliminazione ai fini di questo limite.
  • Ogni file di dati può essere associato a un massimo di 10.000 file di eliminazione.
  • A un file di dati non possono essere applicate più di 100.000 eliminazioni di uguaglianza.
  • Puoi aggirare queste limitazioni compattando spesso i file di eliminazione e i vettori di eliminazione, creando una vista sopra la tabella Iceberg che eviti le partizioni mutate di frequente o filtrando le query sulle colonne partizionate per ridurre il numero di file di dati e vettori di eliminazione scansionati.

• BigQuery supporta la riduzione del manifest utilizzando tutte le funzioni di trasformazione delle partizioni Iceberg. Per informazioni su come eliminare le partizioni, consulta Esegui query su tabelle partizionate. Le query che fanno riferimento a tabelle esterne Iceberg devono contenere valori letterali nei predicati rispetto alle colonne partizionate.

• Sono supportati solo i file di dati Apache Parquet.

• Nomi delle colonne flessibili:

  • Se una tabella esterna Iceberg è partizionata in base a una colonna contenente caratteri non alfanumerici, BigQuery potrebbe non essere in grado di estrarre i metadati della partizione dal manifest, il che può comportare una scansione completa della tabella.
  • Le tabelle Iceberg contenenti caratteri strutturali (come punti ., simboli di dollaro $, parentesi quadre [], parentesi tonde () o barre /) non possono essere interrogate direttamente da BigQuery. Se il tuo workflow richiede la registrazione di queste tabelle nel catalogo di runtime o nei servizi di catalogo di Lakehouse per l'utilizzo esclusivo con motori esterni (come Spark o Trino), contatta l'assistenza clienti Google Cloud per richiedere l'abilitazione a livello di progetto.

• Le seguenti funzionalità della versione 3 di Iceberg non sono supportate:

  • Nuovi tipi di dati: timestamp(tz) in nanosecondi, sconosciuto, variante, geometria, geografia
  • Valori predefiniti iniziali
  • Chiavi di crittografia della tabella

Costi di unione in lettura

La fatturazione on demand per i dati di unione in lettura è la somma delle scansioni dei seguenti dati:

• Tutti i byte logici letti nel file di dati (incluse le righe contrassegnate come eliminate dalle eliminazioni per posizione e per uguaglianza).
• Byte logici letti durante il caricamento dei file di eliminazione di uguaglianza, eliminazione di posizione e vettore di eliminazione per trovare le righe eliminate in un file di dati.

Richiedi filtro di partizionamento

Puoi richiedere l'utilizzo di filtri di predicato attivando l'opzione Richiedi filtro di partizionamento per la tabella Iceberg. Se attivi questa opzione, i tentativi di eseguire query sulla tabella senza specificare una clausola WHERE che corrisponda a ogni file manifest genereranno il seguente errore:

Cannot query over table project_id.dataset.table without a
filter that can be used for partition elimination.

Ogni file manifest richiede almeno un predicato adatto all'eliminazione delle partizioni.

Puoi attivare require_partition_filter nei seguenti modi durante la creazione di una tabella Iceberg :

  CREATE EXTERNAL TABLE TABLE
  WITH CONNECTION `PROJECT_ID.REGION.CONNECTION_ID`
  OPTIONS (
         format = 'ICEBERG',
         uris = [URI],
         require_partition_filter = true
   )

bq mk \
    --table \
    --external_table_definition=ICEBERG=URI@projects/CONNECTION_PROJECT_ID/locations/CONNECTION_REGION/connections/CONNECTION_ID \
    PROJECT_ID:DATASET.EXTERNAL_TABLE \
    --require_partition_filter

Puoi anche aggiornare la tabella Iceberg per attivare il filtro di partizione richiesto.

Se non attivi l'opzione Richiedi filtro di partizione quando crei la tabella partizionata, puoi aggiornare la tabella per aggiungere l'opzione.

bq update --require_partition_filter PROJECT_ID:DATASET.TABLE

Passaggi successivi

• Scopri di più sulla stored procedure per Spark.
• Scopri di più sulle policy di controllo dell'accesso.
• Scopri di più sull'esecuzione di query in BigQuery.
• Scopri di più sulle istruzioni e sui dialetti SQL supportati in BigQuery.