監控健康狀態、資源使用率和工作

BigQuery 管理員可以透過作業健康狀態和資源用量圖表，監控機構的健康狀態、時段用量和工作效能。BigQuery 提供可設定的圖表，協助您完成下列事項：

• 監控 BigQuery 的作業健康狀態。 BigQuery 即時作業健康狀態監控功能是集中式監控系統，可讓您在多個位置觀察整個機構的 BigQuery 使用情況。

• 查看 BigQuery 資源用量。 使用歷來資料執行根本原因分析、規劃容量，以及診斷成效變化。

事前準備

• 如要查看運作健康狀態，您必須使用可透過管理專案存取的預留項目。查看資源利用率圖表時，不需要執行這項操作。

必要的角色

如要取得必要權限，查看營運健康狀態和資源用量圖表中的所有資料，請要求管理員在機構中授予下列 IAM 角色：

• BigQuery 資源檢視器 (roles/bigquery.resourceViewer)
• BigQuery 中繼資料檢視器 (roles/bigquery.metadataViewer)

如要進一步瞭解如何授予角色，請參閱「管理專案、資料夾和機構的存取權」。

這些預先定義的角色具備查看營運健康狀態和資源用量圖表中所有資料的必要權限。如要查看確切的必要權限，請展開「必要權限」部分：

所需權限

如要查看營運健康狀態和資源用量圖表中的所有資料，您必須具備下列權限：

• 如要查看機構的運作健康狀態和資源用量圖表中的所有資料，請按照下列步驟操作：
  • bigquery.jobs.listExecutionMetadata or bigquery.jobs.listAll 機構
  • bigquery.reservationAssignments.list ，用於建立預留項目的管理專案
  • bigquery.capacityCommitments.list ，用於建立預留項目的管理專案
• 如要以隨選使用者身分查看機構的資源用量圖表中的所有資料，請按照下列步驟操作： bigquery.jobs.listExecutionMetadata or bigquery.jobs.listAll 在機構上
• 如要查看 BigQuery 資料表儲存空間的作業健康狀態摘要資料，請按照下列步驟操作： bigquery.tables.get or bigquery.tables.list 在機構上
• 如要在預留項目層級查看作業健康狀態和資源使用率圖表，請按照下列步驟操作：
  • bigquery.reservations.list ，用於建立預留項目的管理專案
  • bigquery.reservationAssignments.list ，用於建立預留項目的管理專案
• 如要在專案層級查看資源利用率圖表： bigquery.jobs.listAll 專案

您或許還可透過自訂角色或其他預先定義的角色取得這些權限。

監控整個機構的作業健康狀態

營運健康狀態資訊主頁會顯示貴機構和預訂項目在所有預訂地點的主要指標。您可以使用這個資訊主頁監控下列指標：

• 運算單元用量
• 重組量
• 並行工作數量
• 錯誤
• 工作時間長度
• 處理的位元組數
• 總儲存空間

查看作業健康狀態圖表

如要查看貴機構的營運健康狀態資訊，請按照下列步驟操作：

1. 前往 Trusted Cloud 控制台的 BigQuery「監控」頁面。

   前往「Monitoring」頁面

2. 選取您用來購買運算單元及建立預留項目的管理專案。

3. 在「監控」頁面中，前往「營運健康狀態」分頁，即可查看所有地點和預訂的機構重要指標摘要。

4. 選用：如要查看即時指標 (每五分鐘以最新資料執行查詢)，請按一下「即時資料」切換按鈕。根據預設，這項設定為關閉，資料最多會延遲約一小時。

5. 如要篩選指標，請設定下列欄位：

   • 在「選取位置」清單中，選取要監控的區域。
   • 在「選取預留項目」清單中，選取預留項目。
   • 在「選取專案」清單中，選取專案。
   • 在「時間範圍」清單中選取時間範圍。

6. 選用：如要透過資源使用率圖表或作業探索器查看運作健康狀態的詳細資料，請按一下「探索更多」。

BigQuery 會查詢下列INFORMATION_SCHEMA檢視區塊，以收集指標：

• INFORMATION_SCHEMA.JOBS
• INFORMATION_SCHEMA.JOBS_TIMELINE
• INFORMATION_SCHEMA.RESERVATIONS
• INFORMATION_SCHEMA.TABLE_STORAGE

瀏覽次數

「營運健康狀態」分頁會顯示下列摘要和詳細檢視畫面。

摘要檢視

摘要檢視畫面會顯示貴機構子系統 (包括預訂和區域) 在過去 30 分鐘內的健康狀態。

如要查看摘要檢視畫面，請按照下列步驟操作：

• 在「Operational health」(運作健康狀態) 分頁中，選取「Select location」(選取位置) 清單中的「All locations」(所有位置)。

詳細檢視畫面

詳細檢視畫面會顯示不同指標的詳細時間軸圖表，並依位置或預留項目層級呈現。

如要查看詳細資料，請按照下列步驟操作：

• 在「Operational health」(運作健康狀態) 分頁的「Select location」(選取位置) 清單中，選取區域或版本。

您可以使用下列選用篩選器，修正詳細檢視畫面中顯示的資料：

• 在「選取預留項目」清單中，選取預留項目名稱。
• 在「選取專案」清單中，選取專案。

圖表

BigQuery 提供下列表格和圖表選項，可讓您詳細瞭解作業健康狀態指標。

摘要表格

摘要表格會顯示下列指標：

• 運算單元用量。平均運算單元使用率。運算單元總容量等於基準容量和自動調度資源的最大容量。
• 重組用量。所有預留項目平均重組用量比率的上限。
• 並行。同時執行的工作數量上限。
• 處理的位元組數。已完成工作處理的位元組總數。
• 工作時間長度。已完成工作的平均執行時間，計算方式是從工作建立到結束之間的時間長度。
• 總儲存空間。上次更新時的使用中邏輯位元組總數。

檢視畫面會顯示兩個摘要表格：「地點摘要」和「預訂摘要」。表格中的每一列代表一個地點或預訂的用量。

表格會顯示上次更新前 30 分鐘的指標。如果啟用「即時資料」，查詢到的資料每五分鐘就會重新整理一次。如果停用「即時資料」，資料最多一小時更新一次。

如果指標大於預先定義的門檻，且重複作業的效能洞察數量增加，表格儲存格就會以顏色標示：

• 如果指標值在上次更新前 30 分鐘內，大於上週同一天用量的 P99 值，表格儲存格就會標示深藍色背景。
• 如果過去 30 分鐘的指標值介於上週同一天用量的 P95 至 P99 值之間，表格儲存格會以淺藍色背景標示。

所有門檻都是預先定義，無法自訂。如要查看門檻，請按一下「資訊」 。

篩選資料

您可以根據下列值篩選圖表中的資料：

• 位置。系統會顯示機構在過去 30 天內有活動的區域。摘要檢視畫面會顯示表格，匯總所有有效區域的用量。
• 預訂。這個欄位僅適用於詳細檢視畫面。管理專案擁有的所有預留項目都可使用。你只能選擇一項預訂。
• 專案。這個欄位僅適用於詳細檢視畫面。系統會列出機構中所有有流量的專案。只能選取一個專案。
• 時間範圍。這個欄位僅適用於詳細檢視畫面。這會影響詳細檢視畫面中的指標時間軸圖表和錯誤環形圖表。系統會根據所選時間範圍，自動調整「指標時間軸圖表」中的資料比例。

熱門執行中查詢圖表

這張圖表會依遞減順序顯示前十項工作，以及這些工作中的有效資源。在下拉式選單中，你可以根據時段使用情形或工作時間選取排序選項。長條圖會顯示工作 ID 和相關資源用量編號。選取「Explore more」(探索更多) 或頂端「Active queries」(執行中的查詢) 圖表中的工作 ID，即可在工作探索器中查看更多詳細資料。如要進一步瞭解 BigQuery 作業的執行詳細資料，並診斷效能問題，請參閱「取得查詢效能洞察」一文。

錯誤圓環圖

這張圖表顯示所選時間範圍內，導致失敗的主要原因所占比例。摘要檢視畫面預設會顯示過去 30 分鐘的資料。在詳細檢視畫面中，時間範圍選擇器會控管涵蓋範圍。 您可以依類型、擁有者專案或預留項目將錯誤分組。圓環圖會顯示失敗的工作數量。

指標時間軸圖表

圖表會顯示最多 30 天內支援指標的總覽。預設時間範圍為一小時。選取的時間範圍變更時，圖表中每個資料點的精細程度會自動調整。

這些圖表會顯示區域或預訂的匯總值。系統不支援顯示多個區域或多個預訂的資料。

指標時間軸圖表支援下列指標：

• 運算單元用量。所選時間範圍內的平均運算單元用量。並分別顯示所有工作和失敗工作的整體運算單元用量。
• 工作並行。所選時間範圍內同時執行的工作數量上限。並以堆疊長條圖的形式，分別顯示執行中和待處理的工作數量。
• 掃描的位元組數。在所選時間範圍內，已完成工作處理的位元組總數。
• 隨機播放。所選時間範圍內，所有預留項目平均重組用量比率的上限。
• 工作時間長度。在所選時間範圍內完成的工作平均執行時間，計算方式為從工作建立時間到工作結束時間。
• 依類型區分的錯誤。錯誤環形圖會顯示所選時間範圍內，各種失敗原因所占的比例。

除了指標趨勢，圖表還會顯示上週同一天用量的 P95 和 P99 指標值參考線。「工作並行」圖表會顯示待處理和執行中工作總和的門檻。這些參照值會做為摘要表格中的顏色編碼門檻。

如要進一步瞭解圖表，請按一下「探索更多」。系統會將您重新導向至「資源使用率」分頁。

深入分析表格

這個表格會彙整所選時間範圍內，工作執行期間收集到的配額錯誤、存取遭拒錯誤和成效洞察資料。深入分析資料會匯總至預訂層級。每列都會提供洞察類型、位置、預訂、洞察詳細資料和範例工作 ID 的相關資訊。按一下工作 ID，即可在工作探索器中查看更多工作詳細資料。在摘要檢視畫面中，預設的觀察時間範圍涵蓋過去 30 分鐘。在詳細檢視畫面中，時間範圍選取器會控管顯示觀察資料的特定時間範圍。

監控單一專案的作業健康狀態

如果您無法存取整個機構，或專案沒有任何預訂項目，系統會預設顯示專案運作健康狀態資訊主頁。專案分析師可透過這個檢視畫面監控專案的系統健康狀態，就像組織層級的作業健康狀態資訊主頁一樣，但圖表和篩選器只會顯示專案層級的資料。

查看 BigQuery 資源用量

BigQuery 資源圖表可協助您追蹤過去的資源用量，以便規劃日後需求及排解效能問題。

圖表會查詢下列INFORMATION_SCHEMA檢視畫面，藉此收集指標：

• INFORMATION_SCHEMA.JOBS
• INFORMATION_SCHEMA.JOBS_TIMELINE
• INFORMATION_SCHEMA.RESERVATION_CHANGES

資料可即時更新，最多可回溯 30 天。

查看資源用量時，您可以設定下列項目：

• 事件時間軸圖表最多可顯示 30 天的資料概覽。預設值為 6 小時。

• 主要圖表會顯示您所選指標 (例如運算單元用量或處理的位元組數) 的變化趨勢，適用於貴機構或管理專案。圖表的圖例會提供所顯示資料的更多詳細資訊。

• 您可以在「圖表設定」窗格中，選取指標的預先定義檢視畫面，或是自訂檢視畫面要顯示的指標。

資源用量圖表包含下列元素：

• 在「資源用量」分頁中，將指標懸停在圖表頂端的狀態方塊上，即可顯示指標的詳細資訊。

• 狀態晶片也會顯示下列資訊：

  • 如果指標仍在載入中，系統會顯示載入圖示。
  • 如果指標使用過時資料，系統會顯示時鐘圖示。
  • 如果指標無法載入，可能是因為網頁層級篩選器不受支援，這時指標會以刪除線標示。
  • 如果指標無法載入，狀態晶片會醒目顯示。

查看及設定資源利用率圖表

如要查看及設定資源利用率圖表，請按照下列步驟操作：

1. 前往 Trusted Cloud 控制台的 BigQuery「監控」頁面。

   前往「Monitoring」頁面

2. 選取專案。如果您是管理員，負責監控預留資源用量，請選擇用於購買運算單元及建立預留項目的管理專案。以資料分析師身分監控工作資源用量時，請選擇對應的專案。

3. 在「監控」頁面中，前往「資源利用率」分頁，即可查看依位置劃分的資源使用量摘要。

4. 為這個檢視畫面中的指標選擇時間範圍，例如「1 day」(1 天)。如要查看即時指標 (查詢會根據最新資料執行)，請按一下「即時資料」切換鈕。這項設定預設為關閉，以提升效能，資料最多一小時更新一次。

5. 在「圖表設定」窗格中，設定下列欄位：

   • 在「指標檢視」欄位中，選取其中一個檢視畫面。
   • 在「指標」欄位中，選取要查看的指標。您可以新增或編輯指標。
   • 在「分組依據」欄位中，選取資料分組方式。
   • 在「篩選器」欄位中，選取資料篩選方式。

6. 如要儲存圖表設定變更，請按一下「套用」。

指標檢視畫面

BigQuery 提供預先設定的資源用量指標檢視畫面。下列各節說明您可以在這些檢視畫面中設定的指標。

預留項目運算單元用量

這個檢視畫面會顯示管理專案中預留項目的運算單元使用量明細指標。每項指標都有下列預設設定，您可以在「圖表設定」窗格中點選指標名稱，然後編輯這些設定：

• 預設用量資料來自預留資源。
• 預設範圍為專案。
• 預設匯總方式為所選時間範圍內的平均用量。

指標名稱	說明
預留項目 - 運算單元用量	監控所選時間範圍內的運算單元總用量。
預留項目 - 閒置運算單元用量	監控所選時間範圍內，運算單元用量超出預留項目能處理的數量。這項指標可讓您監控向其他預留項目和承諾使用合約借用的閒置運算單元，或是用量資料捨入不精確的情況。即使停用閒置運算單元共用功能，後者仍可能導致這項指標出現非零值。 閒置運算單元用量為近似值，計算依據為運算單元用量、已承諾運算單元和自動調度運算單元。如果運算單元用量值超過「承諾容量」和「自動調度運算單元」，圖表會將剩餘運算單元歸類為閒置運算單元。
預留項目 - 基準運算單元用量	監控預留項目基準用量。
預訂 - 自動調度資源運算單元用量	監控預留項目自動調度資源運算單元用量。

版本使用率總覽

這個檢視畫面會顯示管理專案中版本資源的運算單元用量和容量指標。每項指標都有下列預設設定，您可以在「圖表設定」窗格中點按指標名稱來編輯設定：

• 預設用量資料來自預留資源，容量資料則來自版本資源。
• 預設範圍為專案。

指標名稱	說明
預留項目 - 運算單元用量	監控所選時間範圍內的運算單元用量。預設匯總方式是所選時間範圍內的第 99 百分位數運算單元用量。
預留項目 - 閒置運算單元用量	監控所選時間範圍內，運算單元用量超出預留項目能處理的數量。這項指標可讓您監控向其他預留項目和承諾使用合約借用的閒置運算單元，或是用量資料捨入不精確的情況。即使停用閒置時段分享功能，後者仍可能導致這項指標出現非零值。 閒置運算單元用量為近似值，是根據運算單元用量、已承諾運算單元和自動調度運算單元計算而得。如果運算單元用量值超過「承諾容量」和「自動調度運算單元」，圖表會將剩餘運算單元歸類為閒置運算單元。 預設匯總方式為所選時間範圍內的 p99 資源用量。
版本 - 基準容量	監控這個管理專案中預留項目的基準大小。
版本 - 容量上限	監控所選時段內可用的空位數上限。這項指標是承諾容量、基準容量和自動調度容量的總和。預設匯總方式為所選時間範圍內的最大資源用量。
版本 - 已指派容量	監控在所選時間範圍內，指派給版本資源的實際運算單元數量。預設匯總方式是所選時間範圍內的最大資源用量。

目前專案總覽

這個檢視畫面會顯示您執行查詢的專案中，有關工作資源的指標。每個指標都有下列預設設定，您可以在「圖表設定」窗格中點選指標名稱來編輯：

• 預設資源為工作資源。
• 預設範圍為專案。

指標名稱	說明
作業 - 專案 - 運算單元使用情形	監控所選時間範圍內的運算單元用量。預設匯總方式是所選時間範圍內的最大資源用量。
工作 - 專案 - 處理的位元組數	監控所選時間範圍內，已完成工作處理的位元組總數。預設匯總方式是所選時間範圍內處理的位元組總和。
工作 - 專案 - 工作並行	監控所選時間範圍內同時執行的工作數量。預設匯總方式為所選時間範圍內的最大資源用量。
工作 - 專案 - 工作時間長度	監控所選時間範圍內已完成工作的執行時間。執行時間是指從建立工作到完成工作之間的時間。預設匯總方式是所選時間範圍內的平均執行時間。

自有預留項目總覽

這個檢視畫面會顯示管理專案中，與預留資源相關的工作活動指標。每項指標都有下列預設設定，您可以在「圖表設定」窗格中點選指標名稱來編輯：

• 預設資源為保留項目資源。
• 預設範圍為專案。

指標名稱	說明
預留項目 - 運算單元用量	監控所選時間範圍內的運算單元用量。預設匯總方式是所選時間範圍內的最大資源用量。
預留項目 - 已處理的位元組數	監控所選時間範圍內，已完成工作處理的位元組總數。預設匯總方式是所選時間範圍內處理的位元組總和。
預留項目 - 工作並行數	監控所選時間範圍內同時執行的工作數量。預設匯總方式為所選時間範圍內的最大資源用量。
預留項目 - 工作持續時間	監控所選時間範圍內已完成工作的執行時間。 執行時間是指從建立工作到完成工作之間的時間。包括排隊和重試。預設匯總方式為所選時間範圍內的平均執行時間。
預留項目 - 重組用量	監控所選時間範圍內的重組量比率。預設匯總方式是所選時間範圍內的平均用量。

自訂檢視模式

如要建立自訂指標檢視畫面，您可以從頭開始新增指標，也可以從預先定義的指標檢視畫面 (例如「預訂總覽」指標檢視畫面) 開始，然後自訂其中的指標。

指標

設定圖表時，您可以新增、編輯或刪除圖表監控的資源用量指標。

如要設定資源用量圖表指標，請按照下列步驟操作：

1. 在 Trusted Cloud 控制台中查看 BigQuery 資源用量圖表。

2. 在「圖表設定」窗格中，設定「指標」欄位：

   1. 依序點選「新增項目」>「選取指標」。

   2. 在「選取指標」對話方塊中，選擇下列項目：

      1. 要監控的資源類型：工作、預留項目或版本。
      2. 要監控的範圍。舉例來說，如要監控目前專案中的工作指標，請選取「專案」範圍。
      3. 選擇要監控的指標。舉例來說，如要監控工作配額用量，請選擇「配額用量」。

   3. 按一下 [套用]。

   4. 在「New item」(新增項目) 對話方塊中，選擇彙整方式。舉例來說，如要監控所選時間範圍內，超出預留項目容量的運算單元用量上限，請選擇「上限」。

   5. 按一下「完成」，儲存指標。

3. 選用：如要變更現有指標，請按一下指標名稱，然後編輯設定或刪除指標。

指標支援的資源類型和範圍

資源使用率指標會依資源類型和範圍分類。

資源類型

您可以監控下列資源類型：

資源	說明
工作	指定範圍和時間範圍的 BigQuery 工作詳細資料指標。
保留項目	指定範圍和時間範圍的 BigQuery 預留項目用量指標。這些指標會依預留項目匯總工作詳細資料。 如果您在預留項目層級只有部分資料存取權，則可查看匯總的預留項目使用指標，但無法存取工作層級的詳細資料。
版本	特定範圍和時間範圍的 BigQuery 版本容量相關指標。

範圍類型

選取指標的資源後，請選取範圍。

• 預留項目和版本資源預設為專案層級範圍。
• 作業資源可設為專案、資料夾或機構層級的範圍。如要使用較大的範圍，必須具備額外權限。

分組依據

如要在資源用量圖表中分組資料，請按照下列步驟操作：

1. 在 Trusted Cloud 控制台中查看 BigQuery 資源用量圖表。

2. 在「圖表設定」窗格中，選取下列其中一個選項，設定「分組依據」欄位：

   • 無：這個選項會顯示整個機構在一段時間內，所選指標的概略總覽。
   • 專案：這個選項會依專案分組所選指標。如果可用的專案超過 50 個，系統只會顯示前 50 個專案 (以最高時段用量為準)。
   • 所有其他分組依據選項：這些選項與專案檢視畫面類似，資料會依據各自的維度分組。如果所選指標不支援分組依據選項，就無法選取該選項。

篩選器

設定資源用量圖表時，您可以對資料套用篩選器，例如顯示 Enterprise 版資源的資源用量，或依資源 ID 篩選。

如要篩選圖表資料，請在篩選器窗格中套用篩選器。只有在所選指標支援篩選器時，您才能選取篩選器。如要查看必要權限，請按一下「篩選器」選單。

查看專案層級的資源使用率資料

您可以按照與查看機構層級資料相同的設定步驟，分析專案層級的資源用量。圖表只會顯示專案層級的資料和設定選項 (組織層級的選項會顯示為灰色)。這個專案層級範圍會顯示整體資源用量，與情境專案中的帳單模式無關。

資源使用率圖表的限制

• 頁面中間的圖表和表格會顯示與所選時間範圍和精細度相關的指標。
• 單位相同的指標會共用相同比例。圖表最多可支援兩種不同的比例。

排解運算單元爭用情況

如果運算單元不足以執行所有工作，就可能發生運算單元爭用情況，導致效能問題。如要排解時段爭用問題，請參閱下列步驟和最佳做法。

如果嘗試過這些最佳做法，但作業效能問題仍未解決，請申請支援。

工作並行數暴增

使用「詳細檢視」檢查工作執行次數是否突然暴增，以及是否出現同時使用大量配額的情況。這可能表示有太多工作爭奪受預訂限制的運算單元。

• 最佳做法：考慮最佳化耗用大量資源的查詢，或預留的時段容量。如要進一步瞭解如何提升查詢效能，請參閱「最佳化查詢運算」。

運算單元用量偏高

使用「詳細資料檢視」檢查工作時間是否增加，特別是當有工作超出預訂的最大容量時。運算單元用量持續偏高，可能表示運算單元持續發生爭用情形。

• 最佳做法：使用工作探索器的時段爭用篩選器檢查查詢，找出耗用最多時段的查詢並加以最佳化。

工作時間長度

如果工作完成時間明顯變長，請查看「詳細資料檢視畫面」。工作並行程度高，且運算單元用量突然暴增，可能表示運算單元爭用。

• 最佳做法：暫時暫停較不重要的工作，或降低整體工作提交率，藉此隔離重要工作。

運算單元爭用情況訊息

洞察資料表可能會顯示 There were NUMBER jobs detected with slot_contention in the reservation. 等訊息，指出有空位爭用問題。查看工作探索器，瞭解這些訊息中標記的特定工作詳細資料。

• 最佳做法：最佳化已識別的查詢，或調整預留的時段分配。

後續步驟

• 瞭解預留項目。
• 瞭解如何購買時段。
• 瞭解如何估算運算單元容量需求。
• 瞭解如何查看運算單元建議和洞察資料。