Gerir tabelas particionadas

Consola

Não pode atualizar a expiração da partição na Trusted Cloud consola.

SQL

Use a declaração ALTER TABLE SET OPTIONS. O exemplo seguinte atualiza a validade para 5 dias. Para remover a validade da partição de uma tabela, defina partition_expiration_days como NULL.

1. Na Trusted Cloud consola, aceda à página BigQuery.

   Aceda ao BigQuery

2. No editor de consultas, introduza a seguinte declaração:

   ALTER TABLE mydataset.mytable
     SET OPTIONS (
       -- Sets partition expiration to 5 days
       partition_expiration_days = 5);

3. Clique em play_circle Executar.

Para mais informações sobre como executar consultas, consulte o artigo Execute uma consulta interativa.

bq

Emita o comando bq update com a flag --time_partitioning_expiration. Se estiver a atualizar uma tabela particionada num projeto que não seja o seu projeto predefinido, adicione o ID do projeto ao nome do conjunto de dados no seguinte formato: project_id:dataset.

bq update \
--time_partitioning_expiration integer_in_seconds \
--time_partitioning_type unit_time \
project_id:dataset.table

Onde:

• integer é o tempo de vida predefinido (em segundos) das partições da tabela. Não existe um valor mínimo. O tempo de expiração é avaliado como a data da partição mais o valor inteiro. Se especificar 0, a expiração da partição é removida e a partição nunca expira. As partições sem data de validade têm de ser eliminadas manualmente.
• unit_time é DAY, HOUR, MONTH ou YEAR, com base no nível de detalhe da partição da tabela. Este valor tem de corresponder à granularidade que definiu quando criou a tabela.
• project_id é o ID do seu projeto.
• dataset é o nome do conjunto de dados que contém a tabela que está a atualizar.
• table é o nome da tabela que está a atualizar.

Exemplos:

Introduza o seguinte comando para atualizar o tempo de expiração das partições em mydataset.mytable para 5 dias (432 000 segundos). mydataset está no seu projeto predefinido.

bq update --time_partitioning_expiration 432000 mydataset.mytable

Introduza o seguinte comando para atualizar o tempo de expiração das partições em mydataset.mytable para 5 dias (432 000 segundos). mydataset está em myotherproject e não no seu projeto predefinido.

bq update \
--time_partitioning_expiration 432000 \
myotherproject:mydataset.mytable

API

Chame o método tables.patch e use a propriedade timePartitioning.expirationMs para atualizar a validade da partição em milissegundos. Uma vez que o método tables.update substitui o recurso de tabela completo, o método tables.patch é o preferido.

Consola

Não pode usar a Trusted Cloud consola para exigir filtros de partição depois de criar uma tabela particionada.

SQL

Use a declaração ALTER TABLE SET OPTIONS para atualizar o requisito do filtro de partição. O exemplo seguinte atualiza o requisito para true:

1. Na Trusted Cloud consola, aceda à página BigQuery.

   Aceda ao BigQuery

2. No editor de consultas, introduza a seguinte declaração:

   ALTER TABLE mydataset.mypartitionedtable
     SET OPTIONS (
       require_partition_filter = true);

3. Clique em play_circle Executar.

Para mais informações sobre como executar consultas, consulte o artigo Execute uma consulta interativa.

bq

Para atualizar uma tabela particionada de modo a exigir filtros de partição através da ferramenta de linhas de comando bq, introduza o comando bq update e forneça a flag --require_partition_filter.

Para atualizar uma tabela particionada num projeto que não seja o projeto predefinido, adicione o ID do projeto ao conjunto de dados no seguinte formato: project_id:dataset.

Por exemplo:

Para atualizar mypartitionedtable em mydataset no seu projeto predefinido, introduza:

bq update --require_partition_filter mydataset.mytable

Para atualizar mypartitionedtable em mydataset em myotherproject, introduza:

bq update --require_partition_filter myotherproject:mydataset.mytable

API

Chame o método tables.patch e defina a propriedade requirePartitionFilter como true para exigir filtros de partição. Uma vez que o método tables.update substitui todo o recurso de tabela, o método tables.patch é o preferido.

Java

import com.google.cloud.bigquery.BigQuery;
import com.google.cloud.bigquery.BigQueryException;
import com.google.cloud.bigquery.BigQueryOptions;
import com.google.cloud.bigquery.Table;

// Sample to update require partition filter on a table.
public class UpdateTableRequirePartitionFilter {

  public static void runUpdateTableRequirePartitionFilter() {
    // TODO(developer): Replace these variables before running the sample.
    String datasetName = "MY_DATASET_NAME";
    String tableName = "MY_TABLE_NAME";
    updateTableRequirePartitionFilter(datasetName, tableName);
  }

  public static void updateTableRequirePartitionFilter(String datasetName, String tableName) {
    try {
      // Initialize client that will be used to send requests. This client only needs to be created
      // once, and can be reused for multiple requests.
      BigQuery bigquery = BigQueryOptions.getDefaultInstance().getService();

      Table table = bigquery.getTable(datasetName, tableName);
      table.toBuilder().setRequirePartitionFilter(true).build().update();

      System.out.println("Table require partition filter updated successfully");
    } catch (BigQueryException e) {
      System.out.println("Table require partition filter was not updated \n" + e.toString());
    }
  }
}

Consola

A cópia de partições não é suportada pela consola Trusted Cloud .

bq

Para copiar uma partição, use o comando bq cp (copy) da ferramenta de linhas de comando bq com um decorador de partição ($date), como $20160201.

É possível usar flags opcionais para controlar a disposição de escrita da partição de destino:

• -a ou --append_table anexa os dados da partição de origem a uma tabela ou partição existente no conjunto de dados de destino.
• -f ou --force substitui uma tabela ou uma partição existente no conjunto de dados de destino e não lhe pede confirmação.
• -n ou --no_clobber devolve a seguinte mensagem de erro se a tabela ou a partição existir no conjunto de dados de destino: Table '<var>project_id:dataset.table</var> or <var>table$date</var>' already exists, skipping. Se -n não for especificado, o comportamento predefinido é pedir-lhe que escolha se quer substituir a tabela ou a partição de destino.
• --destination_kms_key é a chave do Cloud KMS gerida pelo cliente usada para encriptar a tabela ou a partição de destino.

O comando cp não suporta as flags --time_partitioning_field nem --time_partitioning_type. Não pode usar uma tarefa de cópia para converter uma tabela particionada por tempo de ingestão numa tabela particionada.

A funcionalidade --destination_kms_key não é demonstrada aqui. Consulte o artigo Proteger dados com chaves do Cloud KMS para mais informações.

Se o conjunto de dados de origem ou de destino estiver num projeto diferente do seu projeto predefinido, adicione o ID do projeto aos nomes dos conjuntos de dados no seguinte formato: project_id:dataset.

(Opcional) Forneça a flag --location e defina o valor para a sua localização.

bq --location=location cp \
-a -f -n \
project_id:dataset.source_table$source_partition \
project_id:dataset.destination_table$destination_partition

Onde:

• location é o nome da sua localização. A flag --location é opcional. Por exemplo, se estiver a usar o BigQuery na região de Tóquio, pode definir o valor da flag como asia-northeast1. Pode predefinir um valor para a localização através do ficheiro.bigqueryrc.
• project_id é o ID do seu projeto.
• dataset é o nome do conjunto de dados de origem ou de destino.
• source_table é a tabela que está a copiar.
• source_partition é o decorador de partições da partição de origem.
• destination_table é o nome da tabela no conjunto de dados de destino.
• destination_partition é o decorador de partições da partição de destino.

Exemplos:

Copiar uma partição para uma nova tabela

Introduza o seguinte comando para copiar a partição de 30 de janeiro de 2018 de mydataset.mytable para uma nova tabela: mydataset.mytable2. mydataset está no seu projeto predefinido.

bq cp -a 'mydataset.mytable$20180130' mydataset.mytable2

Copiar uma partição para uma tabela não particionada

Introduza o seguinte comando para copiar a partição de 30 de janeiro de 2018 de mydataset.mytable para uma tabela não particionada: mydataset2.mytable2. O atalho -a é usado para anexar os dados da partição à tabela de destino não particionada. Ambos os conjuntos de dados estão no seu projeto predefinido.

bq cp -a 'mydataset.mytable$20180130' mydataset2.mytable2

Introduza o seguinte comando para copiar a partição de 30 de janeiro de 2018 de mydataset.mytable para uma tabela não particionada: mydataset2.mytable2. O atalho -f é usado para substituir a tabela de destino não particionada sem aviso.

bq --location=US cp -f 'mydataset.mytable$20180130' mydataset2.mytable2

Copiar uma partição para outra tabela particionada

Introduza o seguinte comando para copiar a partição de 30 de janeiro de 2018 de mydataset.mytable para outra tabela particionada: mydataset2.mytable2. O atalho -a é usado para acrescentar os dados da partição à tabela de destino. Uma vez que não é especificado nenhum decorador de partição na tabela de destino, a chave de partição de origem é preservada e os dados são copiados para a partição de 30 de janeiro de 2018 na tabela de destino. Também pode especificar um decorador de partição na tabela de destino para copiar dados para uma partição específica. mydataset está no seu projeto predefinido. mydataset2 está em myotherproject e não no seu projeto predefinido.

bq --location=US cp \
-a \
'mydataset.mytable$20180130' \
myotherproject:mydataset2.mytable2

Introduza o seguinte comando para copiar a partição de 30 de janeiro de 2018 de mydataset.mytable para a partição de 30 de janeiro de 2018 de outra tabela particionada: mydataset2.mytable2. O atalho -f é usado para substituir a partição de 30 de janeiro de 2018 na tabela de destino sem pedir confirmação. Se não for usado nenhum decorador de partição, todos os dados na tabela de destino são substituídos. mydataset está no seu projeto predefinido. O recurso mydataset2 está em myotherproject e não no seu projeto predefinido.

bq cp \
-f \
'mydataset.mytable$20180130' \
'myotherproject:mydataset2.mytable2$20180130'

Introduza o seguinte comando para copiar a partição de 30 de janeiro de 2018 de mydataset.mytable para outra tabela particionada: mydataset2.mytable2. mydataset está no seu projeto predefinido. mydataset2 está em myotherproject e não no seu projeto predefinido. Se existirem dados na tabela de destino, o comportamento predefinido é pedir-lhe que os substitua.

bq cp \
'mydataset.mytable$20180130' \
myotherproject:mydataset2.mytable2

Para copiar várias partições, especifique-as como uma lista separada por vírgulas:

bq cp \
'mydataset.mytable$20180130,mydataset.mytable$20180131' \
myotherproject:mydataset.mytable2

API

Chame o método jobs.insert e configure uma tarefa copy. (Opcional) Especifique a sua região na propriedade location na secção jobReference do recurso de trabalho.

Especifique as seguintes propriedades na configuração da tarefa:

• Introduza o conjunto de dados de origem, a tabela e a partição na propriedade sourceTables.
• Introduza o conjunto de dados e a tabela de destino na propriedade destinationTable
• Use a propriedade writeDisposition para especificar se deve acrescentar ou substituir a tabela ou a partição de destino.

Para copiar várias partições, introduza as partições de origem (incluindo os nomes do conjunto de dados e da tabela) na propriedade sourceTables.

Consola

A eliminação de partições não é suportada pela consola do Trusted Cloud .

SQL

Se uma declaração qualificadoraDELETE abrange todas as linhas numa partição, o BigQuery remove a partição inteira. Esta remoção é feita sem analisar bytes nem consumir espaços. O exemplo seguinte de uma declaração DELETE abrange toda a partição de um filtro na pseudocoluna _PARTITIONDATE:

1. Na Trusted Cloud consola, aceda à página BigQuery.

   Aceda ao BigQuery

2. No editor de consultas, introduza a seguinte declaração:

   DELETE mydataset.mytable
   WHERE _PARTITIONDATE IN ('2076-10-07', '2076-03-06');

3. Clique em play_circle Executar.

Para mais informações sobre como executar consultas, consulte o artigo Execute uma consulta interativa.

bq

Use o comando bq rm com a flag --table (ou o atalho -t) e especifique o decorador de partição para eliminar uma partição específica.

bq rm --table project_id:dataset.table$partition

Onde:

• project_id é o ID do seu projeto. Se for omitido, é usado o seu projeto predefinido.
• dataset é o nome do conjunto de dados que contém a tabela.
• table é o nome da tabela.
• partition é o decorador de partições da partição que está a eliminar.

Os decoradores de partições têm o seguinte formato, consoante o tipo de partição:

• Partição por hora: yyyymmddhh. Exemplo: $2016030100.
• Partição diária: yyyymmdd. Exemplo: $20160301.
• Partição mensal: yyyymm. Exemplo: $201603.
• Partição anual: yyyy. Exemplo: $2016.
• Partição de intervalo de números inteiros: início do intervalo de partição. Exemplo: $20.

A ferramenta de linhas de comando bq pede-lhe para confirmar a ação. Para ignorar a confirmação, use a flag --force (ou o atalho -f).

Exemplos:

Elimine a partição de 1 de março de 2016 numa tabela particionada diariamente denominada mydataset.mytable no seu projeto predefinido:

bq rm --table 'mydataset.mytable$20160301'

Eliminar a partição de março de 2016 numa tabela particionada mensalmente:

bq rm --table 'mydataset.mytable$201603'

Elimine o intervalo de números inteiros que começa em 20 numa tabela particionada por intervalo de números inteiros denominada mydataset.mytable:

bq rm --table 'mydataset.mytable$20'

API

Chame o método tables.delete e especifique o decorador de tabela e partição através do parâmetro tableId.