Carica i dati partizionati esternamente

BigQuery ti consente di caricare dati da Cloud Storage che utilizza un layout di partizionamento Apache Hive e di includere le chiavi di partizione come colonne nella tabella. Il partizionamento Hive indica che i dati esterni sono organizzati in più file, con una convenzione di denominazione che separa i file in partizioni diverse.

Per impostazione predefinita, i dati non vengono partizionati in BigQuery dopo il caricamento, a meno che non crei esplicitamente una tabella partizionata. Per saperne di più, consulta Layout dei dati supportati.

Carica i dati partizionati di Hive

Per caricare i dati partizionati di Hive, scegli una delle seguenti opzioni:

bq load --source_format=ORC --hive_partitioning_mode=AUTO \
--hive_partitioning_source_uri_prefix=gcs_uri_shared_prefix \
dataset.table gcs_uris

bq load --source_format=CSV --autodetect \
--hive_partitioning_mode=STRINGS \
--hive_partitioning_source_uri_prefix=gcs_uri_shared_prefix \
dataset.table gcs_uris

bq load --source_format=JSON --hive_partitioning_mode=CUSTOM \
--hive_partitioning_source_uri_prefix=gcs_uri_shared_prefix/partition_key_schema \
dataset.table gcs_uris file_schema

--hive_partitioning_source_uri_prefix=gcs_uri_shared_prefix/{key1:TYPE1}/{key2:TYPE2}/{key3:TYPE3}

Esegui caricamenti incrementali

Considera il seguente layout dei dati:

gs://my_bucket/my_table/dt=2019-10-31/val=1/file1
gs://my_bucket/my_table/dt=2018-10-31/val=2/file2
gs://my_bucket/my_table/dt=2017-10-31/val=3/file3
gs://my_bucket/my_table/dt=2016-10-31/val=4/file4

Per caricare solo i dati del 31/10/2019, segui questi passaggi:

• Imposta la Modalità di partizionamento Hive su AUTO, STRINGS o CUSTOM.
• Imposta il prefisso dell'URI di origine su gs://my_bucket/my_table/ per le modalità di partizionamento Hive AUTO o STRINGS. Per CUSTOM, fornisci gs://my_bucket/my_table/{dt:DATE}/{val:INTEGER}.
• Utilizza l'URI gs://my_bucket/my_table/dt=2019-10-31/*.
• I dati vengono caricati con le colonne dt e val incluse, con i valori 2019-10-31 e 1, rispettivamente.

Per caricare solo i dati di file specifici, segui questi passaggi:

• Imposta la Modalità di partizionamento Hive su AUTO, STRINGS o CUSTOM.
• Imposta il prefisso dell'URI di origine su gs://my_bucket/my_table/ per le modalità di partizionamento Hive AUTO o STRINGS. Per CUSTOM, fornisci gs://my_bucket/my_table/{dt:DATE}/{val:INTEGER}.
• Utilizza gli URI gs://my_bucket/my_table/dt=2017-10-31/val=3/file3,gs://my_bucket/my_table/dt=2016-10-31/val=4/file4.
• I dati vengono caricati da entrambi i file con le colonne dt e val compilate.

Schema di partizione

Le sezioni seguenti spiegano il layout predefinito partizionato di Hive e le modalità di rilevamento dello schema supportate da BigQuery.

Layout dei dati supportati

Le chiavi di partizione Hive vengono visualizzate come colonne normali quando esegui query sui dati di Cloud Storage. I dati devono seguire un layout partizionato Hive predefinito. Ad esempio, i seguenti file seguono il layout predefinito: le coppie chiave-valore sono configurate come directory con un segno di uguale (=) come separatore e le chiavi di partizione sono sempre nello stesso ordine:

gs://my_bucket/my_table/dt=2019-10-31/lang=en/my_filename
gs://my_bucket/my_table/dt=2018-10-31/lang=fr/my_filename

Il prefisso URI di origine comune in questo esempio è gs://my_bucket/my_table.

Layout dei dati non supportati

Se i nomi delle chiavi di partizione non sono codificati nel percorso della directory, il rilevamento dello schema di partizione non va a buon fine. Ad esempio, considera il seguente percorso, che non codifica i nomi delle chiavi di partizione:

gs://my_bucket/my_table/2019-10-31/en/my_filename

Anche i file in cui lo schema non è in un ordine coerente non vengono rilevati. Ad esempio, considera i seguenti due file con codifiche delle chiavi di partizione invertite:

gs://my_bucket/my_table/dt=2019-10-31/lang=en/my_filename
gs://my_bucket/my_table/lang=fr/dt=2018-10-31/my_filename

Modalità di rilevamento

BigQuery supporta tre modalità di rilevamento dello schema di partizione Hive:

• AUTO: i nomi e i tipi di chiavi vengono rilevati automaticamente. È possibile rilevare i seguenti tipi:

  • STRING
  • INTEGER

  • DATE

    Ad esempio, /date=2018-10-18/.

  • TIMESTAMP

    Ad esempio, /time=2018-10-18 16:00:00+00/.

• STRINGS: i nomi delle chiavi vengono convertiti automaticamente nel tipo STRING.

• CUSTOM: lo schema della chiave di partizione è codificato come specificato nel prefisso URI di origine.

Schema della chiave di partizione personalizzata

Per utilizzare uno schema CUSTOM, devi specificarlo nel campo del prefisso URI di origine. L'utilizzo di uno schema CUSTOM consente di specificare il tipo per ogni chiave di partizione. I valori devono essere analizzati correttamente come tipo specificato, altrimenti la query non va a buon fine.

Ad esempio, se imposti il flag source_uri_prefix su gs://my_bucket/my_table/{dt:DATE}/{val:STRING}, BigQuery tratta val come STRING, dt come DATE e utilizza gs://my_bucket/my_table come prefisso dell'URI di origine per i file corrispondenti.

Limitazioni

• Il supporto del partizionamento Hive si basa sul presupposto che esista un prefisso URI di origine comune per tutti gli URI che termina immediatamente prima della codifica della partizione, come segue: gs://BUCKET/PATH_TO_TABLE/.
• Si presume che la struttura di directory di una tabella partizionata Hive abbia le stesse chiavi di partizionamento nello stesso ordine, con un massimo di dieci chiavi di partizionamento per tabella.
• I dati devono seguire un layout di partizionamento Hive predefinito.
• Le chiavi di partizionamento Hive e le colonne nei file sottostanti non possono sovrapporsi.

• Il supporto è disponibile solo per GoogleSQL.

• Si applicano tutte le limitazioni per il caricamento da Cloud Storage.

Passaggi successivi

• Scopri di più sulle tabelle partizionate.
• Scopri come utilizzare SQL in BigQuery.