パーティション分割テーブルの管理

コンソール

Trusted Cloud コンソールでパーティションの有効期限を更新することはできません。

SQL

ALTER TABLE SET OPTIONS ステートメントを使用します。次の例では、有効期限が 5 日間に更新されます。テーブルのパーティション有効期限を削除するには、partition_expiration_days を NULL に設定します。

1. Trusted Cloud コンソールで、[BigQuery] ページに移動します。

   [BigQuery] に移動

2. クエリエディタで次のステートメントを入力します。

   ALTER TABLE mydataset.mytable
     SET OPTIONS (
       -- Sets partition expiration to 5 days
       partition_expiration_days = 5);

3. [play_circle実行] をクリックします。

クエリの実行方法については、インタラクティブ クエリを実行するをご覧ください。

bq

--time_partitioning_expiration フラグを指定して bq update コマンドを発行します。更新するパーティション分割テーブルがデフォルト プロジェクト以外のプロジェクトにある場合は、project_id:dataset の形式でプロジェクト ID をデータセット名に追加します。

bq update \
--time_partitioning_expiration integer_in_seconds \
--time_partitioning_type unit_time \
project_id:dataset.table

ここで

• integer は、テーブルのパーティションのデフォルトの存続期間（秒）です。最小値はありません。パーティションの日付にこの整数値を足した値が有効期限になります。0 を指定すると、パーティションの有効期限は削除され、パーティションは無期限に有効になります。有効期限のないパーティションは手動で削除する必要があります。
• unit_time は、テーブルのパーティショニングの粒度に応じて、DAY、HOUR、MONTH、YEAR のいずれかになります。この値は、テーブルの作成時に設定した粒度と一致している必要があります。
• project_id はプロジェクト ID です。
• dataset は、更新しているテーブルを含むデータセットの名前です。
• table は更新するテーブルの名前です。

例:

次のコマンドを入力して、mydataset.mytable のパーティションの有効期限を 5 日間（432,000 秒）に更新します。mydataset はデフォルト プロジェクトにあります。

bq update --time_partitioning_expiration 432000 mydataset.mytable

次のコマンドを入力して、mydataset.mytable のパーティションの有効期限を 5 日間（432,000 秒）に更新します。mydataset はデフォルト プロジェクトではなく myotherproject にあります。

bq update \
--time_partitioning_expiration 432000 \
myotherproject:mydataset.mytable

API

tables.patch メソッドを呼び出し、timePartitioning.expirationMs プロパティを使用してパーティションの有効期限をミリ秒単位で更新します。tables.update メソッドはテーブル リソース全体を置き換えるため、tables.patch メソッドのほうが適切です。

コンソール

パーティション分割テーブルの作成後に、 Trusted Cloud コンソールを使用してパーティション フィルタを要求することはできません。

SQL

ALTER TABLE SET OPTIONS ステートメントを使用して、パーティション フィルタ要件を更新します。次の例では、要件を true に更新します。

1. Trusted Cloud コンソールで、[BigQuery] ページに移動します。

   [BigQuery] に移動

2. クエリエディタで次のステートメントを入力します。

   ALTER TABLE mydataset.mypartitionedtable
     SET OPTIONS (
       require_partition_filter = true);

3. [play_circle実行] をクリックします。

クエリの実行方法については、インタラクティブ クエリを実行するをご覧ください。

bq

bq コマンドライン ツールを使用してパーティション フィルタを要求するようにパーティション分割テーブルを更新するには、bq update コマンドを入力して、--require_partition_filter フラグを指定します。

デフォルト プロジェクト以外のプロジェクトにあるパーティション分割テーブルを更新するには、project_id:dataset の形式でプロジェクト ID をデータセットに追加します。

例:

デフォルト プロジェクトで mydataset の mypartitionedtable を更新するには、次のように入力します。

bq update --require_partition_filter mydataset.mytable

myotherproject で mydataset の mypartitionedtable を更新するには、次のように入力します。

bq update --require_partition_filter myotherproject:mydataset.mytable

API

tables.patch メソッドを呼び出して、requirePartitionFilter プロパティを true に設定すると、パーティション フィルタが要求されます。tables.update メソッドはテーブル リソース全体を置き換えるため、tables.patch メソッドの方が適切です。

Java

import com.google.cloud.bigquery.BigQuery;
import com.google.cloud.bigquery.BigQueryException;
import com.google.cloud.bigquery.BigQueryOptions;
import com.google.cloud.bigquery.Table;

// Sample to update require partition filter on a table.
public class UpdateTableRequirePartitionFilter {

  public static void runUpdateTableRequirePartitionFilter() {
    // TODO(developer): Replace these variables before running the sample.
    String datasetName = "MY_DATASET_NAME";
    String tableName = "MY_TABLE_NAME";
    updateTableRequirePartitionFilter(datasetName, tableName);
  }

  public static void updateTableRequirePartitionFilter(String datasetName, String tableName) {
    try {
      // Initialize client that will be used to send requests. This client only needs to be created
      // once, and can be reused for multiple requests.
      BigQuery bigquery = BigQueryOptions.getDefaultInstance().getService();

      Table table = bigquery.getTable(datasetName, tableName);
      table.toBuilder().setRequirePartitionFilter(true).build().update();

      System.out.println("Table require partition filter updated successfully");
    } catch (BigQueryException e) {
      System.out.println("Table require partition filter was not updated \n" + e.toString());
    }
  }
}

コンソール

Trusted Cloud コンソールでは、パーティションのコピーはサポートされていません。

bq

パーティションをコピーするには、bq コマンドライン ツールの bq cp（コピー）コマンドに $20160201 などのパーティション デコレータ（$date）を指定して使用します。

オプションのフラグを使用して、コピー先パーティションの書き込み処理を制御できます。

• -a または --append_table を指定すると、コピー元パーティションのデータがコピー先データセット内の既存のテーブルまたはパーティションに追加されます。
• -f または --force を指定すると、コピー先データセット内の既存のテーブルまたはパーティションが上書きされますが、確認を求めるプロンプトは表示されません。
• -n または --no_clobber を指定すると、コピー先データセット内にテーブルまたはパーティションが存在する場合、「Table '<var>project_id:dataset.table</var> or <var>table$date</var>' already exists, skipping.」というエラー メッセージが返されます。-n が指定されていない場合は、デフォルトの動作として、コピー先のテーブルやパーティションを置き換えるかどうかの選択を求めるプロンプトが表示されます。
• --destination_kms_key は顧客管理の Cloud KMS 鍵で、コピー先テーブルまたはパーティションを暗号化するために使用します。

cp コマンドは --time_partitioning_field フラグや --time_partitioning_type フラグをサポートしません。コピージョブを使用して取り込み時間パーティション分割テーブルをパーティション分割テーブルに変換することはできません。

--destination_kms_key はここでは説明しません。詳細については、Cloud KMS 鍵によるデータの保護をご覧ください。

コピー元またはコピー先のデータセットがデフォルト以外のプロジェクトにある場合は、project_id:dataset の形式でプロジェクト ID をデータセット名に追加します。

（省略可）--location フラグを指定して、その値をロケーションに設定します。

bq --location=location cp \
-a -f -n \
project_id:dataset.source_table$source_partition \
project_id:dataset.destination_table$destination_partition

ここで

• location はロケーションの名前です。--location フラグは省略可能です。たとえば、BigQuery を東京リージョンで使用している場合は、このフラグの値を asia-northeast1 に設定します。.bigqueryrc ファイルを使用してロケーションのデフォルト値を設定できます。
• project_id はプロジェクト ID です。
• dataset は、コピー元またはコピー先データセットの名前です。
• source_table は、コピーするテーブルです。
• source_partition は、コピー元パーティションのパーティション デコレータです。
• destination_table は、コピー先データセット内のテーブルの名前です。
• destination_partition は、コピー先パーティションのパーティション デコレータです。

例:

パーティションを新しいテーブルにコピーする

次のコマンドを入力して mydataset.mytable にある 2018 年 1 月 30 日のパーティションを別のテーブル（mydataset.mytable2）にコピーします。mydataset はデフォルト プロジェクトにあります。

bq cp -a 'mydataset.mytable$20180130' mydataset.mytable2

パーティションをパーティション分割されていないテーブルにコピーする

次のコマンドを入力して mydataset.mytable にある 2018 年 1 月 30 日のパーティションをパーティション分割されていないテーブル（mydataset2.mytable2）にコピーします。-a ショートカットが指定されているため、パーティションのデータはパーティション分割されていないコピー先テーブルに追加されます。データセットは両方ともデフォルト プロジェクトにあります。

bq cp -a 'mydataset.mytable$20180130' mydataset2.mytable2

次のコマンドを入力して mydataset.mytable にある 2018 年 1 月 30 日のパーティションをパーティション分割されていないテーブル（mydataset2.mytable2）にコピーします。-f ショートカットが指定されているため、パーティション分割されていないコピー先テーブルがプロンプトなしで上書きされます。

bq --location=US cp -f 'mydataset.mytable$20180130' mydataset2.mytable2

パーティションを別のパーティション分割テーブルにコピーする

次のコマンドを入力して mydataset.mytable にある 2018 年 1 月 30 日のパーティションを別のパーティション分割テーブル（mydataset2.mytable2）にコピーします。-a ショートカットが指定されているため、パーティションのデータはコピー先テーブルに追加されます。コピー先テーブルにはパーティション デコレータが指定されていないため、コピー元のパーティション キーが維持され、データはコピー先テーブルの 2018 年 1 月 30 日のパーティションにコピーされます。コピー先テーブルでパーティション デコレータを指定して特定のパーティションにデータをコピーすることもできます。mydataset はデフォルト プロジェクトにあります。mydataset2 はデフォルト プロジェクトではなく myotherproject にあります。

bq --location=US cp \
-a \
'mydataset.mytable$20180130' \
myotherproject:mydataset2.mytable2

次のコマンドを入力して mydataset.mytable にある 2018 年 1 月 30 日のパーティションを別のパーティション分割テーブルの 2018 年 1 月 30 日のパーティション（mydataset2.mytable2）にコピーします。-f ショートカットは、宛先テーブルの 2018 年 1 月 30 日のパーティションを、入力を求めることなく、上書きするために使用されます。パーティション デコレータを使用しない場合、コピー先テーブルのすべてのデータが上書きされます。mydataset はデフォルト プロジェクトにあります。mydataset2 はデフォルト プロジェクトではなく myotherproject にあります。

bq cp \
-f \
'mydataset.mytable$20180130' \
'myotherproject:mydataset2.mytable2$20180130'

次のコマンドを入力して mydataset.mytable にある 2018 年 1 月 30 日のパーティションを別のパーティション分割テーブル（mydataset2.mytable2）にコピーします。mydataset はデフォルト プロジェクトにあります。mydataset2 はデフォルト プロジェクトではなく myotherproject にあります。コピー先テーブルにデータがある場合は、デフォルトの動作として、上書きするかどうかを確認するプロンプトが表示されます。

bq cp \
'mydataset.mytable$20180130' \
myotherproject:mydataset2.mytable2

複数のパーティションをコピーする場合は、カンマ区切りのリストとして指定します。

bq cp \
'mydataset.mytable$20180130,mydataset.mytable$20180131' \
myotherproject:mydataset.mytable2

API

jobs.insert メソッドを呼び出して、copy ジョブを構成します。（省略可）ジョブリソースの jobReference セクションにある location プロパティでリージョンを指定します。

ジョブ構成で以下のプロパティを指定します。

• sourceTables プロパティに、コピー元のデータセット、テーブル、パーティションを入力します。
• destinationTable プロパティに、コピー先のデータセットとテーブルを入力します。
• writeDisposition プロパティを使用して、コピー先のテーブルまたはパーティションにデータを追加するか上書きするかを指定します。

複数のパーティションをコピーするには、sourceTables プロパティにコピー元パーティション（データセット名とテーブル名を含む）を入力します。

コンソール

Trusted Cloud コンソールでは、パーティションの削除はサポートされていません。

SQL

修飾子付きの DELETE ステートメントがパーティション内のすべての行をカバーする場合、BigQuery はパーティション全体を削除します。この削除は、バイトをスキャンすることもスロットを消費することもなく行われます。次の DELETE ステートメントの例では、_PARTITIONDATE 疑似列のフィルタのパーティション全体を対象としています。

1. Trusted Cloud コンソールで、[BigQuery] ページに移動します。

   [BigQuery] に移動

2. クエリエディタで次のステートメントを入力します。

   DELETE mydataset.mytable
   WHERE _PARTITIONDATE IN ('2076-10-07', '2076-03-06');

3. [play_circle実行] をクリックします。

クエリの実行方法については、インタラクティブ クエリを実行するをご覧ください。

bq

--table フラグ（または -t ショートカット）を指定して bq rm コマンドを使用し、パーティション デコレータを指定して、特定のパーティションを削除します。

bq rm --table project_id:dataset.table$partition

ここで

• project_id はプロジェクト ID です。省略した場合は、デフォルトのプロジェクトが使用されます。
• dataset は、テーブルを含むデータセットの名前です。
• table はテーブルの名前です。
• partition は、削除するパーティションのパーティション デコレータです。

パーティション デコレータには、パーティショニングのタイプに応じて次の形式があります。

• 時間単位パーティション: yyyymmddhh。例: $2016030100
• 日単位パーティション: yyyymmdd。例: $20160301
• 月単位パーティション: yyyymm。例: $201603
• 年単位パーティション: yyyy。例: $2016
• 整数範囲パーティション: パーティション範囲の始点。例: $20。

アクションの確認を求めるプロンプトが bq コマンドライン ツールに表示されます。確認をスキップするには、--force フラグ（または -f ショートカット）を使用します。

例:

デフォルト プロジェクトの mydataset.mytable という名前の日単位パーティション分割テーブルから、2016 年 3 月 1 日のパーティションを削除します。

bq rm --table 'mydataset.mytable$20160301'

月単位パーティション分割テーブルから、2016 年 3 月のパーティションを削除します。

bq rm --table 'mydataset.mytable$201603'

mydataset.mytable という名前の整数範囲パーティション分割テーブルから、20 で始まる整数範囲を削除します。

bq rm --table 'mydataset.mytable$20'

API

tables.delete メソッドを呼び出して、tableId パラメータを使用してテーブルおよびパーティション デコレータを指定します。