使用遷移歷程規劃遷移作業

規劃 BigQuery 資料倉儲遷移作業時，您可以使用遷移歷程服務，以視覺化方式呈現來源資料庫中的資料流和連線。

建立遷移歷程時，歷程服務會提供圖表，以視覺化方式呈現資料在來源系統中的移動方式，以及來源系統中各資料表或檢視表的連結方式，如下圖所示：

遷移歷程服務支援下列 SQL 方言：

• Amazon Redshift SQL
• Snowflake SQL
• Teradata SQL
• GoogleSQL (BigQuery)

限制

歷程服務會處理來源資料庫中最早的 5 GB 記錄。

支援的地區

遷移歷程服務僅適用於特定位置。詳情請參閱「BigQuery SQL 翻譯器和歷程服務位置」。

所需權限

如要取得使用遷移歷程服務所需的權限，請要求管理員授予您專案的 MigrationWorkflow 編輯者 (roles/bigquerymigration.editor) IAM 角色。如要進一步瞭解如何授予角色，請參閱「管理專案、資料夾和組織的存取權」。

這個預先定義的角色具備使用遷移歷程服務所需的權限。如要查看確切的必要權限，請展開「Required permissions」(必要權限) 部分：

您或許還可透過自訂角色或其他預先定義的角色取得這些權限。

如要進一步瞭解 BigQuery 的 IAM 角色和權限，請參閱「BigQuery IAM 角色和權限」。

追蹤遷移歷程

如要追蹤遷移歷程，請先執行 dwh-migration-dumper 工具，產生來源輸入 SQL 記錄檔，並上傳至 Cloud Storage。將輸入檔案上傳至 Cloud Storage 後，您可以使用 Cloud de Confiance 控制台或 BigQuery Migration API 追蹤遷移歷程。

執行 dwh-migration-dumper 工具

選取下列選項之一：

追蹤記錄歷程

將含有中繼資料和查詢記錄的 ZIP 檔案上傳至 Cloud Storage 後，即可追蹤歷程。選取下列其中一個選項：

  curl -d "{
    \"tasks\": {
      \"TASK_NAME\": {
        \"type\": \"Experimental_Lineage\",
        \"translation_details\": {
          \"target_base_uri\": \"BUCKET_PATH\",
          \"source_target_mapping\": {
            \"source_spec\": {
              \"base_uri\": \"BUCKET_PATH\"
            }
          },
          \"target_types\": \"LINEAGE\"
        }
      }
    }
  }
  " \
    -H "Content-Type:application/json" \
    -H "Authorization: Bearer TOKEN" -X POST https://bigquerymigration.googleapis.com/v2/projects/PROJECT_ID/locations/LOCATION/workflows

  {
    "name": "projects/PROJECT_ID/locations/LOCATION/workflows/WORKFLOW_ID",
    "tasks": {
      "task_name": { /*...*/ }
    },
    "state": "RUNNING"
  }

  curl \
  -H "Content-Type:application/json" \
  -H "Authorization:Bearer " -X GET https://bigquerymigration.googleapis.com/v2/projects/PROJECT_ID/locations/LOCATION/workflows/WORKFLOW_ID

開啟遷移歷程

追蹤遷移歷程後，您可以透過下列任一選項開啟遷移歷程：

  curl \
  -H "Content-Type:application/json" \
  -H "Authorization:Bearer " -X GET https://bigquerymigration.googleapis.com/v2/projects/PROJECT_ID/locations/LOCATION/workflows/WORKFLOW_ID

使用遷移歷程

以下各節說明如何使用遷移歷程，處理來源資料和資料庫。

瞭解遷移歷程詞彙

遷移歷程中會使用下列字詞：

以下各節將說明遷移歷程中的不同頁面。

檢查到達網頁

歷程到達網頁會顯示歷程工作的 ID、依名稱搜尋歷程物件的搜尋欄位，以及醒目顯示可能感興趣的歷程物件建議清單。這個頁面也會顯示整個遷移歷程中的資料表、管道和使用者總數。

如要前往特定資料表、檢視表或資料欄，請在搜尋欄位中搜尋物件，或點選到達網頁上的建議物件。

查看節點頁面

如要查看遷移歷程中的節點，請按一下下列其中一個分頁標籤。

「資料流程」分頁

「Data Flow」(資料流程) 分頁會以視覺化方式呈現歷程圖的一部分。首次在歷程服務中查看資料表或資料欄時，系統會預設顯示這個頁面。圖表會以視覺化方式呈現資料在來源系統中的移動方式。圖中的節點代表資料表或檢視表，節點之間的邊緣則代表資料從左側節點流向右側節點。

「Data Flow」(資料流程) 圖表中的每個資料表都會顯示不完整的名稱。如要查看資料表的完整名稱 (包含資料庫和結構定義前置字元)，請將指標懸停在節點上，系統就會顯示工具提示。每個資料表都會指出其結構定義，如節點上的垂直線所示。歷程中的所有結構定義都會依字母順序排序，並指派顏色，因此相同結構定義中的資料表會有相同顏色的長條，而名稱相似的結構定義中的資料表會有相似顏色的長條。

每個節點都會顯示圖示，代表節點的屬性：

• monitor：檢視表，而非資料表。
• cached：一律完整重新整理 (截斷後重寫) 的資料表。按一下圖示，即可查看這個表格旁的指令碼。
• cached：不一定會完全重新整理 (截斷後重寫) 的資料表。按一下圖示，即可查看這個表格旁的指令碼。
• timer：短暫存在的資料表。將游標懸停在圖示上，即可查看資料表的留存時間。
• snowflake：上次寫入時間超過七天前的資料表，表示資料表含有靜態或不常寫入的資料。

如要查看「Data Flow」(資料流程) 圖表中的物件，請按照下列步驟操作：

• 如要查看資料表欄位清單，請按一下資料表。這個檢視畫面包含每個資料欄的名稱和資料類型，這些資訊是根據提供的中繼資料轉儲內容決定，或從查詢記錄中的 SQL 推論而來。
• 如要查看資料欄的資料欄層級歷程圖，請點選該資料欄。在資料欄層級歷程圖中，邊緣代表影響目標資料欄的資料流。

• 如要查看邊緣的詳細資料，請按一下圖表中的邊緣。這個檢視畫面包含導致邊緣的 SQL 指令碼連結。

  當 SQL 陳述式參照來源節點，同時計算要插入目標節點的資料時，系統會從來源節點到目標節點產生邊緣。通常這涉及將資料從來源轉移至目標，但如果來源節點用於影響目標的 WHERE 或 GROUP BY 子句，「資料流程」分頁也會顯示邊緣。如要篩選出資料移轉，請切換工具列中的「Show non-data edges」(顯示非資料邊緣) 按鈕。

「連線」分頁

歷程節點的「Connections」(連線) 分頁會顯示歷程圖中鄰近節點的清單。根據預設，系統會依據與目前節點的最短路徑距離，排序已連結的節點，也就是說，從目前節點到達所需邊緣較少的節點會優先列出。您可以使用「Sort」(排序) 選項變更排序方式。

根據預設，連線清單會包含目前節點的上游 (生產者) 和下游 (消費者) 節點。您可以使用「Type」(類型) 控制項變更這項篩選器。在「Distance」(距離) 欄中，目前節點上游的節點會顯示向上箭頭，並指出從目前節點到該節點的最短向後路徑距離；同樣地，目前節點下游的節點會顯示向下箭頭，並指出從目前節點到該節點的最短傳出路徑距離。如果節點是循環的一部分，則可以同時是目前節點的上游和下游。

如要下載包含所有顯示節點的檔案，請按一下「download CSV」(下載 CSV)

使用者分頁

節點的「Users」(使用者) 分頁會顯示執行指令碼的使用者，這些指令碼會讀取或寫入節點，或其上游或下游的節點。根據預設，執行最多獨立動作的使用者會列在最前面。您可以使用「Sort」(排序) 選項變更排序方式。

如要下載包含所有顯示使用者的檔案，請按一下「download CSV」。

「管道」分頁

節點的「Pipelines」(管道) 分頁會顯示執行指令碼的管道，這些指令碼會讀取或寫入該節點，或其上游或下游的節點。根據預設，執行最多獨立動作的管道會優先列出。您可以使用「Sort」(排序) 選項變更排序方式。

如要下載包含所有顯示管道的檔案，請按一下「download」(下載) CSV。

「Code」分頁

節點的「Code」(程式碼) 分頁會顯示輸入檔案中，所有從該節點讀取資料或寫入資料的 SQL 指令碼。SQL 文字中提及節點的部分會醒目顯示。按一下腳本即可展開全文。您可以變更篩選器設定，篩選顯示的指令碼清單。

如要下載包含所有顯示指令碼的檔案，請按一下「下載 CSV」。

查看邊緣頁面

如要查看歷程圖中的節點邊緣，請點選下列其中一個分頁標籤。

「詳細資料」分頁

邊緣的「Details」分頁會顯示述詞和類別，說明引發邊緣的指令碼執行的作業。

述詞以三個部分組成，並以連字號分隔。第一部分是 r (表示邊緣的來源是關係) 或 a (表示邊緣的來源是屬性)。第二部分是下列其中一個縮寫，表示來源節點影響目標節點資料的方式：

• has：來源關係包含目標屬性。
• dat：來源會將資料複製或轉移至目標。
• res：來源會篩選或限制子句中目標的基數，例如 WHERE、HAVING 或 JOIN ON。
• grp：來源用於會影響目標的 GROUP BY 子句。

第三部分也是 r 或 a，表示邊緣的目標是關係或屬性。

邊緣類別包括：

• dat 述詞：
  • AGGREGATE：來源用於寫入目標的匯總運算。
  • EXACT_COPY：來源資料已完整複製到目標。
  • FUNCTION：來源用於計算目標。
  • IDENTITY_COPY：未計算目標。目標是來源的字面副本，不含任何轉換。
  • PARTITION_PROMOTION：將來源的分區升級為目標後，目標會包含來源的資料。
  • WEAK_COPY：來源資料至少有部分已複製到目標。
• res 述詞：
  • FILTER：來源用於寫入目標的比較。
  • KEY：來源資料在寫入目標的彙整比較中，做為鍵使用。
• grp 述詞：
  • GROUP：來源資料在 GROUP BY 子句中做為索引鍵，會影響目標。

「Code」分頁

邊緣的「Code」(程式碼) 分頁會顯示引發該邊緣的 SQL 指令碼。在 SQL 文字中提及邊緣的來源和目標節點時，系統會醒目顯示這些節點。

後續步驟

• 執行遷移評估，評估將資料倉儲遷移至 BigQuery 的可行性和潛在效益。
• 使用 SQL 翻譯服務，例如互動式 SQL 翻譯器、Translation API 和批次 SQL 翻譯器，自動將 SQL 查詢轉換為 GoogleSQL，包括 Gemini 強化 SQL 自訂功能。