本頁面中的部分或全部資訊可能不適用於 Trusted Cloud by S3NS。

本頁面由 Cloud Translation API 翻譯而成。

從 Teradata 遷移結構定義和資料

將 BigQuery 資料移轉服務與特殊遷移代理程式搭配使用，您就能將 Teradata 內部部署資料倉儲執行個體中的資料複製到 BigQuery。本文將逐步說明如何使用 BigQuery 資料移轉服務，從 Teradata 遷移資料。

事前準備

In the Trusted Cloud console, on the project selector page, select or create a Trusted Cloud project.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector
Verify that billing is enabled for your Trusted Cloud project.
Enable the BigQuery, BigQuery Data Transfer Service, Cloud Storage, and Pub/Sub APIs.
Enable the APIs

Create a service account:
1. In the Trusted Cloud console, go to the Create service account page.
  Go to Create service account
2. Select your project.
3. In the Service account name field, enter a name. The Trusted Cloud console fills in the Service account ID field based on this name.
  
  In the Service account description field, enter a description. For example, Service account for quickstart.
4. Click Create and continue.
5. Grant the following roles to the service account: roles/bigquery.user, roles/storage.objectAdmin, roles/iam.serviceAccountTokenCreator.
  
  To grant a role, find the Select a role list, then select the role.
  
  To grant additional roles, click Add another role and add each additional role.
  
  Note: The Role field affects which resources the service account can access in your project. You can revoke these roles or grant additional roles later.
6. Click Continue.
7. Click Done to finish creating the service account.
  
  Do not close your browser window. You will use it in the next step.
Create a service account key:
1. In the Trusted Cloud console, click the email address for the service account that you created.
2. Click Keys.
3. Click Add key, and then click Create new key.
4. Click Create. A JSON key file is downloaded to your computer.
5. Click Close.

設定必要權限

請確認建立移轉作業的主體在包含移轉作業的專案中，具有下列角色：

記錄檢視者 (roles/logging.viewer)
Storage 管理員 (roles/storage.admin)，或具備下列權限的自訂角色：
- storage.objects.create
- storage.objects.get
- storage.objects.list
BigQuery 管理員 (roles/bigquery.admin)，或授予下列權限的自訂角色：
- bigquery.datasets.create
- bigquery.jobs.create
- bigquery.jobs.get
- bigquery.jobs.listAll
- bigquery.transfers.get
- bigquery.transfers.update

建立資料集

建立 BigQuery 資料集來儲存您的資料。您無須建立任何資料表。

建立 Cloud Storage 值區

建立 Cloud Storage bucket，在移轉工作期間暫存資料。

準備本機環境

完成本節中的工作，為轉移作業準備本機環境。

本機需求條件

遷移代理程式會使用 JDBC 連線和 API 與 Teradata 執行個體互動。 Trusted Cloud by S3NS 確認網路存取權未遭防火牆封鎖。
確認已安裝 Java 執行階段環境 8 以上版本。
請確認您選擇的擷取方法有足夠的儲存空間，詳情請參閱「擷取方法」。
如果您決定使用 Teradata Parallel Transporter (TPT) 擷取功能，請確認已安裝 tbuild 公用程式。如要進一步瞭解如何選擇擷取方法，請參閱「擷取方法」。

Teradata 連線詳細資料

請確認您擁有 Teradata 使用者的使用者名稱和密碼，且該使用者具有系統資料表和要遷移資料表的讀取權。

系統會透過提示擷取使用者名稱和密碼，且只會儲存在 RAM 中。您也可以選擇在後續步驟中，為使用者名稱或密碼建立憑證檔案。使用憑證檔案時，請採取適當步驟控管對本機檔案系統中儲存憑證檔案的資料夾存取權，因為憑證檔案未經過加密。
請務必知道要連線至 Teradata 執行個體的主機名稱和通訊埠編號。

系統不支援 LDAP 等驗證模式。

下載 JDBC 驅動程式

從 Teradata 下載 terajdbc4.jar JDBC 驅動程式檔案，並儲存到可連線至資料倉儲的電腦。

設定 `GOOGLE_APPLICATION_CREDENTIALS` 變數

將環境變數 GOOGLE_APPLICATION_CREDENTIALS 設定為您在「事前準備」一節中下載的服務帳戶金鑰。

更新 VPC Service Controls 輸出規則

在 VPC Service Controls 範圍的輸出規則中，新增 BigQuery 資料移轉服務代管專案 (專案編號：990232121269)。 Trusted Cloud by S3NS

在內部部署執行的代理程式與 BigQuery 資料移轉服務之間的通訊管道，是將 Pub/Sub 訊息發布至每個移轉主題。BigQuery 資料移轉服務需要將指令傳送給代理程式來擷取資料，而代理程式需要將訊息發布回 BigQuery 資料移轉服務，以更新狀態並傳回資料擷取回應。

建立自訂結構定義檔案

如要使用自訂結構定義檔，而非自動偵測結構定義，請手動建立結構定義檔，或在初始化代理程式時，讓遷移代理程式為您建立。

如果您手動建立結構定義檔，並打算使用 Trusted Cloud 控制台建立轉移作業，請將結構定義檔上傳至 Cloud Storage bucket，並確定該 bucket 位於要進行轉移作業的專案中。

下載遷移代理程式

將遷移代理程式下載到可連線至資料倉儲的機器。將遷移代理程式 JAR 檔案移至與 Teradata JDBC 驅動程式 JAR 檔案相同的目錄。

設定轉移作業

使用 BigQuery 資料移轉服務建立移轉作業。

如要自動建立自訂結構定義檔案，請使用遷移代理程式設定轉移作業。

您無法使用 bq 指令列工具建立隨選移轉作業，必須改用 Trusted Cloud 控制台或 BigQuery 資料移轉服務 API。

如果您要建立週期性移轉作業，強烈建議您指定結構定義檔案，這樣後續移轉作業的資料載入 BigQuery 時，才能正確進行資料分割。如果沒有結構定義檔案，BigQuery 資料移轉服務會從要移轉的來源資料推斷資料表結構定義，但所有有關分割、叢集、主鍵和變更追蹤的資訊都會遺失。此外，後續轉移作業會在初始轉移後，略過先前已轉移的資料表。如要進一步瞭解如何建立結構定義檔案，請參閱「自訂結構定義檔案」。

主控台

前往 Trusted Cloud 控制台的「BigQuery」頁面。

前往 BigQuery 頁面
按一下「資料移轉」。
按一下 [Create Transfer] (建立移轉作業)。
在「來源類型」部分，執行下列操作：
- 選擇「遷移：Teradata」。
- 在「Transfer config name」(轉移設定名稱) 部分，輸入移轉作業的顯示名稱，例如 My Migration。顯示名稱可以是任何容易辨識的值，方便您日後在必要時進行修改。
- 選用：在「Schedule options」(排程選項) 中，您可以保留預設值「Daily」(每日) (以建立時間為準)，或選擇其他時間，進行週期性增量轉移。如果只要移轉一次，請選擇「隨選」。
- 在「Destination settings」(目的地設定) 中，選擇適當的資料集。
接著在「Data source details」(資料來源詳細資料) 部分，輸入 Teradata 移轉作業的特定詳細資料。
- 在「Database type」(資料庫類型) 部分，選擇「Teradata」。
- 在「Cloud Storage bucket」，瀏覽用來暫存移轉資料的 Cloud Storage bucket 名稱。請勿輸入前置字串 gs://，只要輸入值區名稱即可。
- 在「Database name」(資料庫名稱) 中，輸入 Teradata 來源資料庫的名稱。
- 在「Table name patterns」(資料表名稱格式) 部分，輸入符合來源資料庫中資料表名稱的格式。您可以使用規則運算式指定模式。例如：
  - sales|expenses 會比對名為 sales 和 expenses 的資料表。
  - .* 會比對所有資料表。
  注意： 如要瞭解 Teradata 轉移作業的規則運算式語法，請參閱 re2 程式庫。
- 在「服務帳戶電子郵件」部分，輸入與遷移代理程式所用服務帳戶憑證相關聯的電子郵件地址。
- 選用：在「結構定義檔路徑」中，輸入自訂結構定義檔的路徑和檔案名稱。如要進一步瞭解如何建立自訂結構定義檔案，請參閱「自訂結構定義檔案」。您可以將這個欄位留空，讓 BigQuery 自動偵測來源資料表結構定義。
- 選用：在「翻譯輸出根目錄」中，輸入 BigQuery 翻譯引擎提供的結構定義對應檔案路徑和檔案名稱。如要進一步瞭解如何產生結構定義對應檔案，請參閱「使用翻譯引擎輸出內容進行結構定義」(預覽版)。您可以將這個欄位留空，讓 BigQuery 自動偵測來源資料表結構定義。
在「Service Account」(服務帳戶) 選單，選取與您的Trusted Cloud 專案相關聯的服務帳戶。您可以將服務帳戶與移轉作業建立關聯，這樣就不需要使用者憑證。如要進一步瞭解如何搭配使用服務帳戶與資料移轉作業，請參閱使用服務帳戶的相關說明。
- 如果使用聯合身分登入，您必須擁有服務帳戶才能建立移轉作業。如果是以 Google 帳戶登入，則不一定要透過服務帳戶建立移轉作業。
- 服務帳戶必須具備必要權限。
選用：在「Notification options」(通知選項) 專區，執行下列操作：
- 如要在移轉作業失敗時，讓移轉作業管理員收到電子郵件通知，請點選「電子郵件通知」切換按鈕。
- 點選「Pub/Sub notifications」(Pub/Sub 通知) 切換按鈕，即可設定移轉作業的 Pub/Sub 執行通知。在「Select a Pub/Sub topic」(選取 Pub/Sub 主題) 選取主題名稱，或是點選「Create a topic」(建立主題)。
按一下 [儲存]。
在「Transfer details」(移轉作業詳細資料) 頁面中，按一下「Configuration」(設定) 分頁標籤。
請記下這項轉移作業的資源名稱，因為您需要這個名稱才能執行遷移代理程式。

bq

使用 bq 工具建立 Cloud Storage 移轉作業時，系統會將移轉設定設為每 24 小時執行一次。如要進行隨選移轉，請使用 Trusted Cloud 控制台或 BigQuery 資料移轉服務 API。

您無法使用 bq 工具設定通知。

輸入 bq mk 指令並加上移轉建立作業旗標 --transfer_config。還需加上以下旗標：

--data_source
--display_name
--target_dataset
--params

bq mk \
--transfer_config \
--project_id=project ID \
--target_dataset=dataset \
--display_name=name \
--service_account_name=service_account \
--params='parameters' \
--data_source=data source

其中：

project ID 是您的專案 ID。如未提供 --project_id 指定特定專案，系統會使用預設專案。
dataset 是您要指定移轉設定的資料集 (--target_dataset)。
name 是移轉設定的顯示名稱 (--display_name)。移轉作業的顯示名稱可以是任意值，日後需要修改移轉作業時，能夠據此識別即可。
service_account 是用於驗證移轉作業的服務帳戶名稱。服務帳戶應由用於建立轉移作業的 project_id 所擁有，且應具備所有列出的必要權限。
parameters 含有已建立移轉設定的 JSON 格式參數 (--params)。例如：--params='{"param":"param_value"}'。
- 如要遷移 Teradata，請使用下列參數：
  - bucket 是 Cloud Storage bucket，在遷移期間會做為暫存區。
  - database_type 是 Teradata。
  - agent_service_account 是與您建立的服務帳戶相關聯的電子郵件地址。
  - database_name 是 Teradata 中的來源資料庫名稱。
  - table_name_patterns 是用來比對來源資料庫中資料表名稱的模式。您可以使用規則運算式指定模式。此模式必須遵循 Java 規則運算式語法。例如：
    - sales|expenses 會比對名為 sales 和 expenses 的資料表。
    - .* 會比對所有資料表。
data_source 是資料來源 (--data_source)：on_premises。

舉例來說，下列指令會使用 Cloud Storage 值區 mybucket 和目標資料集 mydataset，建立名為 My Transfer 的 Teradata 移轉作業。遷移作業會遷移 Teradata 資料倉儲 mydatabase 中的所有資料表，而選用的結構定義檔案為 myschemafile.json。

bq mk \
--transfer_config \
--project_id=123456789876 \
--target_dataset=MyDataset \
--display_name='My Migration' \
--params='{"bucket": "mybucket", "database_type": "Teradata",
"database_name":"mydatabase", "table_name_patterns": ".*",
"agent_service_account":"myemail@mydomain.com", "schema_file_path":
"gs://mybucket/myschemafile.json"}' \
--data_source=on_premises

執行指令後，您會收到如下的訊息：

[URL omitted] Please copy and paste the above URL into your web browser and follow the instructions to retrieve an authentication code.

請按照指示進行操作，並在指令列中貼上驗證碼。

API

請使用 projects.locations.transferConfigs.create 方法，並提供 TransferConfig 資源的執行個體。

Java

在試行這個範例之前，請先按照 BigQuery 快速入門導覽課程：使用用戶端程式庫中的 Java 設定說明進行操作。詳情請參閱 BigQuery Java API 參考說明文件。

如要向 BigQuery 進行驗證，請設定應用程式預設憑證。詳情請參閱「設定用戶端程式庫的驗證機制」。

執行程式碼範例前，請將 GOOGLE_CLOUD_UNIVERSE_DOMAIN 環境變數設為 s3nsapis.fr。

import com.google.api.gax.rpc.ApiException;
import com.google.cloud.bigquery.datatransfer.v1.CreateTransferConfigRequest;
import com.google.cloud.bigquery.datatransfer.v1.DataTransferServiceClient;
import com.google.cloud.bigquery.datatransfer.v1.ProjectName;
import com.google.cloud.bigquery.datatransfer.v1.TransferConfig;
import com.google.protobuf.Struct;
import com.google.protobuf.Value;
import java.io.IOException;
import java.util.HashMap;
import java.util.Map;

// Sample to create a teradata transfer config.
public class CreateTeradataTransfer {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    final String projectId = "MY_PROJECT_ID";
    String datasetId = "MY_DATASET_ID";
    String databaseType = "Teradata";
    String bucket = "cloud-sample-data";
    String databaseName = "MY_DATABASE_NAME";
    String tableNamePatterns = "*";
    String serviceAccount = "MY_SERVICE_ACCOUNT";
    String schemaFilePath = "/your-schema-path";
    Map<String, Value> params = new HashMap<>();
    params.put("database_type", Value.newBuilder().setStringValue(databaseType).build());
    params.put("bucket", Value.newBuilder().setStringValue(bucket).build());
    params.put("database_name", Value.newBuilder().setStringValue(databaseName).build());
    params.put("table_name_patterns", Value.newBuilder().setStringValue(tableNamePatterns).build());
    params.put("agent_service_account", Value.newBuilder().setStringValue(serviceAccount).build());
    params.put("schema_file_path", Value.newBuilder().setStringValue(schemaFilePath).build());
    TransferConfig transferConfig =
        TransferConfig.newBuilder()
            .setDestinationDatasetId(datasetId)
            .setDisplayName("Your Teradata Config Name")
            .setDataSourceId("on_premises")
            .setParams(Struct.newBuilder().putAllFields(params).build())
            .setSchedule("every 24 hours")
            .build();
    createTeradataTransfer(projectId, transferConfig);
  }

  public static void createTeradataTransfer(String projectId, TransferConfig transferConfig)
      throws IOException {
    try (DataTransferServiceClient client = DataTransferServiceClient.create()) {
      ProjectName parent = ProjectName.of(projectId);
      CreateTransferConfigRequest request =
          CreateTransferConfigRequest.newBuilder()
              .setParent(parent.toString())
              .setTransferConfig(transferConfig)
              .build();
      TransferConfig config = client.createTransferConfig(request);
      System.out.println("Cloud teradata transfer created successfully :" + config.getName());
    } catch (ApiException ex) {
      System.out.print("Cloud teradata transfer was not created." + ex.toString());
    }
  }
}

遷移代理程式

您也可以選擇直接透過遷移代理程式設定轉移作業。詳情請參閱初始化遷移代理程式。

初始化遷移代理程式

您必須初始化遷移代理程式，才能進行新的轉移作業。無論轉移作業是否為週期性，初始化作業都只需要執行一次。初始化只會設定遷移代理程式，不會啟動轉移作業。

如果您要使用遷移代理程式建立自訂結構定義檔案，請確認工作目錄下有可寫入的目錄，且該目錄的名稱與您要用於轉移的專案相同。遷移代理程式會在這裡建立結構定義檔案。舉例來說，如果您在 /home 中工作，並在專案 myProject 中設定轉移作業，請建立目錄 /home/myProject，並確保使用者可寫入該目錄。

開啟新工作階段。在指令列中發出初始化指令，格式如下：

java -cp \
OS-specific-separated-paths-to-jars (JDBC and agent) \
com.google.cloud.bigquery.dms.Agent \
--initialize

以下範例顯示 JDBC 驅動程式和遷移代理程式 JAR 檔案位於本機 migration 目錄時的初始化指令：

Unix、Linux、Mac OS

java -cp \
/usr/local/migration/terajdbc4.jar:/usr/local/migration/mirroring-agent.jar \
com.google.cloud.bigquery.dms.Agent \
--initialize

Windows

將所有檔案複製到 C:\migration 資料夾 (或調整指令中的路徑)，然後執行：

java -cp C:\migration\terajdbc4.jar;C:\migration\mirroring-agent.jar com.google.cloud.bigquery.dms.Agent --initialize

系統提示時，請設定下列選項：
1. 選擇是否要將 Teradata Parallel Transporter (TPT) 範本儲存到磁碟。如果您打算使用 TPT 擷取方法，可以修改儲存的範本，並加入適合 Teradata 執行個體的參數。
2. 輸入轉移工作可用於檔案擷取的本機目錄路徑。請確認您有「擷取方法」一節中建議的最低儲存空間。
3. 輸入資料庫主機名稱。
4. 輸入資料庫通訊埠。
5. 選擇是否要使用 Teradata Parallel Transporter (TPT) 做為擷取方法。
6. 選用：輸入資料庫憑證檔案的路徑。
7. 選擇是否要指定 BigQuery 資料移轉服務設定名稱。
  
  如果您要為已設定的轉移作業初始化遷移代理程式，請按照下列步驟操作：
  1. 輸入轉移作業的資源名稱。您可以在移轉作業的「移轉作業詳細資料」頁面中，找到「設定」分頁。
  2. 系統提示時，請輸入要建立的遷移代理程式設定檔路徑和檔案名稱。您可以在執行遷移代理程式時參照這個檔案，開始轉移作業。
  3. 略過其餘步驟。
  如果使用遷移代理程式設定轉移作業，請按 Enter 鍵跳至下一個提示。
8. 輸入 Trusted Cloud by S3NS 專案 ID。
9. 在 Teradata 中輸入來源資料庫的名稱。
10. 輸入格式，以比對來源資料庫中的資料表名稱。您可以使用規則運算式指定模式。例如：
  - sales|expenses 會比對名為 sales 和 expenses 的資料表。
  - .* 會比對所有資料表。
  注意： 如要瞭解 Teradata 轉移作業的規則運算式語法，請參閱 re2 程式庫。
11. 選用：輸入本機 JSON 結構定義檔的路徑。強烈建議您對週期性轉移作業使用這項功能。
  
  如果未使用結構定義檔，或希望遷移代理程式為您建立結構定義檔，請按 Enter 鍵跳至下一個提示。
12. 選擇是否要建立新的結構定義檔案。
  
  如要建立結構定義檔案，請按照下列步驟操作：
  1. 輸入「yes」。
  2. 輸入有權讀取系統資料表和要遷移資料表的 Teradata 使用者名稱。
  3. 輸入該使用者的密碼。
    
    遷移代理程式會建立結構定義檔案，並輸出其位置。
  4. 修改結構定義檔案，標示分割、叢集、主鍵和變更追蹤資料欄，並確認您要將這個結構定義用於轉移設定。如需相關提示，請參閱「自訂架構檔案」。
  5. 按 Enter 鍵可跳到下一個提示。
  如不想建立結構定義檔，請輸入 no。
13. 輸入目標 Cloud Storage bucket 的名稱，以便在載入 BigQuery 前暫存移轉資料。如果遷移代理程式建立了自訂結構定義檔案，該檔案也會上傳至這個值區。
14. 輸入 BigQuery 中目的地資料集的名稱。
15. 輸入移轉設定的顯示名稱。
16. 輸入要建立的遷移代理程式設定檔路徑和檔案名稱。
輸入所有要求的參數後，遷移代理程式會建立設定檔，並輸出至您指定的本機路徑。如要進一步瞭解設定檔，請參閱下一節。

遷移代理程式的設定檔

在初始化步驟中建立的設定檔與這個範例類似：


{
  "agent-id": "81f452cd-c931-426c-a0de-c62f726f6a6f",
  "transfer-configuration": {
    "project-id": "123456789876",
    "location": "us",
    "id": "61d7ab69-0000-2f6c-9b6c-14c14ef21038"
  },
  "source-type": "teradata",
  "console-log": false,
  "silent": false,
  "teradata-config": {
    "connection": {
      "host": "localhost"
    },
    "local-processing-space": "extracted",
    "database-credentials-file-path": "",
    "max-local-storage": "50GB",
    "gcs-upload-chunk-size": "32MB",
    "use-tpt": true,
    "transfer-views": false,
    "max-sessions": 0,
    "spool-mode": "NoSpool",
    "max-parallel-upload": 4,
    "max-parallel-extract-threads": 1,
    "session-charset": "UTF8",
    "max-unload-file-size": "2GB"
  }
}

遷移代理程式設定檔中的轉移工作選項

transfer-configuration：BigQuery 中這項移轉設定的相關資訊。
teradata-config：針對這項 Teradata 擷取作業的特定資訊：
- connection：主機名稱和通訊埠的相關資訊
- local-processing-space：代理程式會將表格資料擷取到這個資料夾，然後上傳至 Cloud Storage。
- database-credentials-file-path：(選填) 檔案路徑，內含自動連線至 Teradata 資料庫的憑證。檔案應包含兩行憑證。您可以使用使用者名稱/密碼，如下列範例所示：
```
username=abc
password=123
```
  您也可以改用 SecretManager 中的密鑰：
```
username=abc
secret_resource_id=projects/my-project/secrets/my-secret-name/versions/1
```
  使用憑證檔案時，請務必控管本機檔案系統中儲存憑證檔案的資料夾存取權，因為憑證檔案不會經過加密。如果未提供路徑，系統會在您啟動代理程式時，提示您輸入使用者名稱和密碼。
  系統不支援 LDAP 等驗證模式。
- max-local-storage：在指定暫存目錄中，用於擷取的本機儲存空間量上限。預設值為 50GB。支援的格式為：numberKB|MB|GB|TB。
  
  在所有擷取模式中，檔案上傳至 Cloud Storage 後，就會從本機暫存目錄刪除。
  
  注意：使用 Teradata Parallel Transporter (TPT) 時，`max-local-storage` 限制會產生額外影響。如果資料表有多個分區小於 `max-local-storage` 值，資料表擷取作業就會拆分成多個 TPT 工作，每個工作都不會超過 `max-local-storage` 值。如果資料表未經過分區，或任何分區大於 `max-local-storage`，系統就會繼續擷取資料，但擷取作業實際需要的空間會超過限制。
- use-tpt：指示遷移代理程式使用 Teradata Parallel Transporter (TPT) 做為擷取方法。
  
  遷移代理程式會為每個資料表產生 TPT 指令碼，啟動 tbuild 程序並等待完成。tbuild程序完成後，代理程式會列出並上傳擷取的檔案至 Cloud Storage，然後刪除 TPT 指令碼。詳情請參閱「擷取方法」。
  
  警告：代理程式會產生 TPT 指令碼，並儲存至本機擷取資料夾中的檔案。指令碼包含 Teradata 使用者名稱和密碼。請採取適當步驟來限制對本機擷取資料夾中檔案的存取權，因為使用者名稱和密碼不會經過加密。
- transfer-views：指示遷移代理程式也從檢視區塊轉移資料。只有在遷移期間需要自訂資料時，才使用這項功能。在其他情況下，請將檢視區塊遷移至 BigQuery 檢視區塊。如要使用這個選項，必須符合下列條件：
  - 這個選項僅適用於 Teradata 16.10 以上版本。
  - 檢視區塊應定義整數資料欄「partition」，指向基礎資料表中指定資料列的分區 ID。
- max-sessions：指定匯出作業 (FastExport 或 TPT) 使用的工作階段數量上限。如果設為 0，Teradata 資料庫會決定每個匯出工作的最大工作階段數。
- gcs-upload-chunk-size：大型檔案會分塊上傳至 Cloud Storage。這個參數和 max-parallel-upload 可用來控管同時上傳至 Cloud Storage 的資料量。舉例來說，如果 gcs-upload-chunk-size 為 64 MB，而 max-parallel-upload 為 10 MB，則理論上遷移代理程式可同時上傳 640 MB (64 MB * 10) 的資料。如果區塊上傳失敗，就必須重試上傳整個區塊。分塊大小必須很小。
- max-parallel-upload：這個值會決定遷移代理程式用來將檔案上傳至 Cloud Storage 的執行緒數量上限。如未指定，則預設為 Java 虛擬機器可用的處理器數量。一般而言，請根據執行代理程式的機器中的核心數量選擇值。因此，如果您的核心數為 n，最佳執行緒數應為 n。如果核心是超執行緒，則最佳數量應為 (2 * n)。調整 max-parallel-upload 時，也必須考量其他設定，例如網路頻寬。調整這個參數可提升上傳至 Cloud Storage 的效能。
- spool-mode：在大多數情況下，建議使用 NoSpool 模式。代理程式設定中的預設值為 NoSpool。如果不使用 NoSpool 的缺點適用於您的情況，您可以變更這個參數。
- max-unload-file-size：決定解壓縮檔案的大小上限。TPT 擷取作業不會強制執行這項參數。
- max-parallel-extract-threads：這項設定僅適用於 FastExport 模式。這項屬性會決定從 Teradata 擷取資料時使用的平行執行緒數量。調整這項參數可提升擷取作業的效能。
- tpt-template-path：使用這項設定提供自訂 TPT 擷取指令碼做為輸入內容。您可以使用這個參數，對遷移資料套用轉換。
- schema-mapping-rule-path：(選用) 包含結構定義對應的設定檔路徑，可覆寫預設對應規則。部分對應類型僅適用於 Teradata Parallel Transporter (TPT) 模式。
  
  範例：從 Teradata 類型 TIMESTAMP 對應至 BigQuery 類型 DATETIME：
```
{
"rules": [
  {
    "database": {
        "name": "database.*",
        "tables": [
           {
             "name": "table.*"
           }
        ]
    },
    "match": {
      "type": "COLUMN_TYPE",
      "value": "TIMESTAMP"
    },
    "action": {
      "type": "MAPPING",
      "value": "DATETIME"
    }
  }
]
}
```
  屬性：
  - database：(選用) name 是要納入的資料庫規則運算式。預設會加入所有資料庫。
  - tables：(選用) 包含資料表陣列。name 是要納入的資料表規則運算式。預設會加入所有資料表。
  - match：(必要)
    - type 支援的值：COLUMN_TYPE。
    - value 支援的值：TIMESTAMP、DATETIME。
  - action：(必要)
    - type 支援的值：MAPPING。
    - value 支援的值：TIMESTAMP、DATETIME。
- compress-output：(選用) 決定是否要在儲存至 Cloud Storage 前壓縮資料。這項設定僅適用於 tpt 模式。根據預設，這個值為 false。

執行遷移代理程式

初始化遷移代理程式並建立設定檔後，請按照下列步驟執行代理程式並啟動遷移作業：

指定 JDBC 驅動程式、遷移代理程式和在上一個初始化步驟中建立的設定檔路徑，然後執行代理程式。

遷移代理程式必須在整個轉移期間持續執行。如果您從遠端執行代理程式 (例如使用 SSH)，請確保即使遠端連線關閉，代理程式仍保持啟用狀態。您可以使用 `tmux` 或類似的公用程式完成這項操作。
```
java -cp \
OS-specific-separated-paths-to-jars (JDBC and agent) \
com.google.cloud.bigquery.dms.Agent \
--configuration-file=path to configuration file
```
Unix、Linux、Mac OS
```
java -cp \
/usr/local/migration/Teradata/JDBC/terajdbc4.jar:mirroring-agent.jar \
com.google.cloud.bigquery.dms.Agent \
--configuration-file=config.json
```
Windows
將所有檔案複製到 C:\migration 資料夾 (或調整指令中的路徑)，然後執行：
```
java -cp C:\migration\terajdbc4.jar;C:\migration\mirroring-agent.jar com.google.cloud.bigquery.dms.Agent --configuration-file=config.json
```
準備好繼續遷移時，請按下 Enter，如果初始化期間提供的類別路徑有效，代理程式就會繼續執行。
系統提示時，請輸入資料庫連線的使用者名稱和密碼。如果使用者名稱和密碼有效，系統就會開始遷移資料。

選用：在啟動遷移作業的指令中，您也可以使用將憑證檔案傳遞至代理程式的標記，不必每次都輸入使用者名稱和密碼。詳情請參閱代理程式設定檔中的選用參數 database-credentials-file-path。使用憑證檔案時，請採取適當步驟控管本機檔案系統中儲存憑證檔案的資料夾存取權，因為憑證檔案不會經過加密。
請保持這個工作階段開啟，直到遷移完成。如果您建立的是週期性遷移作業，請讓這個工作階段保持開啟狀態。如果這個工作階段中斷，目前和日後的轉移作業都會失敗。
定期監控代理程式是否正在執行。如果轉移作業正在進行，但 24 小時內沒有任何服務專員回覆，轉移作業就會失敗。
如果遷移代理程式在轉移作業進行中或排定時間時停止運作， Trusted Cloud 控制台會顯示錯誤狀態，並提示您重新啟動代理程式。如要再次啟動遷移代理程式，請從本節開頭執行遷移代理程式，並使用執行遷移代理程式的指令。您不需要重複執行初始化指令。移轉作業會從未完成資料表的位置繼續。

警告：從 Teradata 擷取的資料未經加密。請採取適當步驟，限制對本機電腦解壓縮資料夾中擷取檔案的存取權，並確保 Cloud Storage 值區不對外開放。進一步瞭解如何使用 IAM 角色控管 Cloud Storage 值區的存取權。

追蹤遷移進度

您可以在 Trusted Cloud 控制台中查看遷移狀態。您也可以設定 Pub/Sub 或電子郵件通知。請參閱 BigQuery 資料移轉服務通知。

BigQuery 資料移轉服務會按照您建立移轉設定時指定的排程，排定及啟動移轉作業。請務必在轉移作業進行期間執行遷移代理程式。如果代理程式端在 24 小時內沒有更新，轉移作業就會失敗。

Trusted Cloud 控制台中的遷移狀態範例：

遷移狀態

升級遷移代理程式

如有新版遷移代理程式，請務必手動更新。如要接收 BigQuery 資料移轉服務的通知，請訂閱版本說明。

後續步驟

試試從 Teradata 測試遷移至 BigQuery。
進一步瞭解 BigQuery 資料移轉服務。
使用批次 SQL 轉譯功能遷移 SQL 程式碼。

從 Teradata 遷移結構定義和資料

事前準備

設定必要權限

建立資料集

建立 Cloud Storage 值區

準備本機環境

本機需求條件

Teradata 連線詳細資料

下載 JDBC 驅動程式

設定 GOOGLE_APPLICATION_CREDENTIALS 變數

更新 VPC Service Controls 輸出規則

建立自訂結構定義檔案

下載遷移代理程式

設定轉移作業

主控台

bq

API

Java

遷移代理程式

初始化遷移代理程式

Unix、Linux、Mac OS

Windows

遷移代理程式的設定檔

遷移代理程式設定檔中的轉移工作選項

執行遷移代理程式

Unix、Linux、Mac OS

Windows

追蹤遷移進度

升級遷移代理程式

後續步驟

設定 `GOOGLE_APPLICATION_CREDENTIALS` 變數