排解機器學習服務問題

本頁說明實用的疑難排解步驟，協助您解決在 Gemini Enterprise Agent Platform 使用機器學習服務時遇到的問題。

如要篩選這個頁面的內容，請按一下主題：

透過 Cloud Assist 調查功能排解問題

將 Agent Platform 與其他 Cloud de Confiance 產品連結時，您可能會發現 Cloud Assist 調查有助於排解複雜的整合問題。

• 啟用並設定 Cloud Assist Investigations API。
• 判斷工作負載名稱依賴的產品中，有哪些出現在支援產品清單中
• 建立調查並詳細說明問題。請務必提及管道依賴的任何資源。
• 輸入時，對話方塊會建議要新增至調查的資源。請查看這份清單，並在執行調查前新增任何相關資源。

AutoML 模型

本節說明實用的疑難排解步驟，協助您解決 AutoML 相關問題。

測試集、驗證集或訓練集缺少標籤

問題

訓練 AutoML 分類模型時，如果使用預設資料分割，Agent Platform 可能會將過少的類別執行個體指派給特定組合 (測試、驗證或訓練)，導致訓練期間發生錯誤。如果類別不平衡或訓練資料量較少，就更容易發生這個問題。

解決方案

如要解決這個問題，請新增更多訓練資料、手動分割資料，為每個組合指派足夠的類別，或從資料集移除出現頻率較低的標籤。詳情請參閱「關於 AutoML 模型的資料分割」。

Gemini Enterprise Agent Platform 的 Agent Studio

使用 Agent Studio 時，可能會收到下列錯誤訊息：

嘗試調整模型時傳回 Internal error encountered

問題

嘗試調整模型時，出現 Internal error encountered 錯誤。

解決方案

執行下列 curl 指令，建立空白的 Gemini Enterprise Agent Platform 資料集。請務必在指令中設定專案 ID。

PROJECT_ID=PROJECT_ID

curl \
-X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
https://europe-west4-aiplatform.googleapis.com/ui/projects/$PROJECT_ID/locations/europe-west4/datasets \
-d '{
    "display_name": "test-name1",
    "metadata_schema_uri": "gs://google-cloud-aiplatform/schema/dataset/metadata/image_1.0.0.yaml",
    "saved_queries": [{"display_name": "saved_query_name", "problem_type": "IMAGE_CLASSIFICATION_MULTI_LABEL"}]
}'

指令執行完畢後，請等待五分鐘，再嘗試調整模型。

錯誤代碼：429

問題

您遇到下列錯誤：

429: The online prediction request quota is exceeded for
PUBLIC_BASE_MODEL_NAME.

解決方案

請稍後再試，並採用輪詢機制。如果錯誤持續發生，請與 Gemini Enterprise Agent Platform 支援團隊聯絡。

錯誤代碼：410

問題

您遇到下列錯誤：

410: The request is missing the required authentication credential. Expected
OAuth 2.0 access token, login cookie, or other valid authentication credential.

解決方案

詳情請參閱「驗證總覽」。

錯誤代碼：403

問題

您遇到下列錯誤：

403: Permission denied.

解決方案

確認存取 API 的帳戶具備適當權限。

Agent Platform Pipelines

本節說明實用的疑難排解步驟，協助您解決 Agent Platform Pipelines 的問題。

您的權限不足，無法以服務帳戶的身分執行操作

問題

執行 Gemini Enterprise Agent Platform Pipelines 工作流程時，可能會看到下列錯誤訊息：

You do not have permission to act as service account: SERVICE_ACCOUNT. (or it may not exist).

解決方案

這項錯誤表示執行工作流程的服務帳戶，沒有所需資源的存取權。

如要解決這個問題，請將服務帳戶的 iam.serviceAccounts.actAs 權限授予使用者。

錯誤：Gemini Enterprise Agent Platform Pipelines 元件中的 Python 套件雜湊不相符

問題

執行 Gemini Enterprise Agent Platform Pipelines 工作流程時，可能會遇到下列錯誤：

ERROR: THESE PACKAGES DO NOT MATCH THE HASHES FROM THE REQUIREMENTS FILE. If you have updated the package versions, please update the hashes. Otherwise, examine the package contents carefully; someone may have tampered with them.

這是因為 Gemini Enterprise Agent Platform Pipelines 元件基礎映像檔中的 Python 程式庫，與 pipeline 嘗試安裝的程式庫版本衝突。

解決方案

將這則訊息列出的所有依附元件，建構至 Gemini Enterprise Agent Platform Pipelines 元件使用的映像檔。

錯誤 Internal error happened

問題

如果管道失敗並顯示 Internal error happened 訊息，請查看 Logs Explorer 並搜尋管道名稱。您可能會看到類似下列的錯誤：

java.lang.IllegalStateException: Failed to validate vpc
network projects/PROJECT_ID/global/networks/VPC_NETWORK.

APPLICATION_ERROR;google.cloud.servicenetworking.v1/ServicePeeringManagerV1.GetConsumerConfig;Reserved
range: 'RANGE_NAME' not found for consumer project:
'PROJECT_ID' network: 'VPC_NETWORK'.
com.google.api.tenant.error.TenantManagerException: Reserved range:
'RANGE_NAME' not found for consumer project

這表示 Agent Platform 的虛擬私有雲對接包含已刪除的 IP 範圍。

解決方案

如要解決這個問題，請使用 update 指令更新虛擬私有雲對接，並加入有效的 IP 範圍。

提供的 OAuth 範圍或 ID 權杖目標對象無效

問題

執行 Gemini Enterprise Agent Platform 管道工作流程時，出現下列錯誤訊息：

google.auth.exceptions.RefreshError: ('invalid_scope: Invalid OAuth scope
or ID token audience provided.', {'error': 'invalid_scope',
'error_description': 'Invalid OAuth scope or ID token audience provided.'})

解決方案

這表示您未在其中一個管道元件中提供憑證，或未使用 ai_platform.init() 設定憑證。

如要解決這個問題，請設定相關管道元件的憑證，或設定環境憑證，並在程式碼開頭使用 ai_platform.init()。

os.environ['GOOGLE_APPLICATION_CREDENTIALS'] = PATH_TO_JSON_KEY

Agent Platform Pipelines 元件需要超過 100 GB 的磁碟空間

問題

Agent Platform Pipelines 元件預設分配的磁碟空間為 100 GB，不支援增加磁碟空間。請參閱公開 Issue Tracker，瞭解這個問題。

解決方案

如要讓元件使用超過 100 GB 的磁碟空間，請使用元件方法將元件轉換為自訂工作。您可以使用這個運算子，指派元件使用的機器類型和磁碟大小。

如需使用這個運算子的範例，請參閱「Agent Platform Pipelines：使用預先建構的 Cloud de Confiance by S3NS Pipeline 元件進行自訂訓練」中的「將元件轉換為 Agent Platform 自訂工作」一節。

Agent Platform 網路問題

本節說明實用的疑難排解步驟，協助您解決 Agent Platform 網路問題。

gcloud services vpc-peerings get-vpc-service-controls \
  --network YOUR_NETWORK

Gemini Enterprise Agent Platform 使用私人公開 IP 範圍時，工作負載無法存取虛擬私有雲網路中的端點

問題

預設不會匯入私人使用的公開 IP 範圍。

解決方案

如要使用私人使用的公開 IP 範圍，您必須啟用私人使用的公開 IP 範圍匯入功能

com.google.api.tenant.error.TenantManagerException: Reserved range: nnn not found for consumer project

問題

執行工作負載或部署端點時，收到 com.google.api.tenant.error.TenantManagerException: Reserved range: nnn not found for consumer project 格式的錯誤訊息。

當您變更工作負載的私人服務存取權預留項目時，就會發生這種情況。刪除的範圍可能未向 Agent Platform API 註冊。

解決方案

更新私人服務存取權分配後，請為 servicenetworking 執行 gcloud services vpc-peerings update。

管道或工作無法存取對接虛擬私有雲網路中的端點

問題

Gemini Enterprise Agent Platform 管道嘗試連線至虛擬私有雲網路中的資源時，發生逾時。

解決方案

請嘗試以下方法來解決問題：

• 請確認您已完成「設定虛擬私有雲網路對接」中的所有步驟。

• 檢查對接虛擬私有雲網路的設定。請確認網路在工作執行期間，從正確的服務網路範圍匯入路由。

  前往「VPC Network Peering」(虛擬私有雲網路對接)

• 請確認您有防火牆規則，允許從這個範圍連線至網路中的目標。

• 如果對等互連連線在工作執行期間未匯入任何路徑，表示未使用服務網路設定。這可能是因為您使用預設網路以外的網路完成對接設定。如果是這種情況，請務必在啟動工作時指定網路。請使用完整的網路名稱，格式如下：projects/$PROJECT_ID/global/networks/$NETWORK_NAME。

  詳情請參閱「路線總覽」。

管道或工作無法存取網路以外其他網路中的端點

問題

管道或工作無法存取網路以外的端點。

解決方案

根據預設，對等互連設定只會將路由匯出至虛擬私有雲中的本機子網路。

此外，系統不支援轉移對接，只有直接對接的網路可以通訊。

• 如要允許 Gemini Enterprise Agent Platform 透過您的網路連線，並連至其他網路中的端點，您必須將網路路由匯出至對接連線。編輯對等互連虛擬私有雲網路的設定，並啟用 Export custom routes。

前往「VPC Network Peering」(虛擬私有雲網路對接)

由於不支援傳遞對接，即使啟用 Export Custom Routes，Gemini Enterprise Agent Platform 也不會學習其他對接網路和服務的路由。如要瞭解解決方法，請參閱「擴充 Agent Platform 管道的 Network Reachability」。

No route to host， Cloud de Confiance 控制台中沒有明顯的路由衝突

問題

在 Cloud de Confiance 控制台中，您只能看到虛擬私有雲已知的路由，以及完成虛擬私有雲網路對接設定時保留的範圍。

在極少數情況下，當 Gemini Enterprise Agent Platform 工作嘗試連至虛擬私有雲匯出至 Gemini Enterprise Agent Platform 網路的 IP 位址時，可能會擲回 no route to host 投訴。

這可能是因為 Gemini Enterprise Agent Platform 工作是在代管 GKE 叢集的網路命名空間中執行，而該叢集的 IP 範圍與目標 IP 衝突。詳情請參閱「GKE 網路基本概念」。

在這種情況下，工作負載會嘗試連線至其網路命名空間中的 IP，如果無法連線，就會擲回錯誤。

解決方案

請精心設計工作負載，傳回本機命名空間 IP 位址，並確認這不會與您透過對接連線匯出的任何路徑衝突。如果發生衝突，請在工作參數中傳遞 reservedIpRanges[] 清單，且該清單不得與虛擬私有雲網路中的任何範圍重疊。工作會將這些範圍用於工作負載的內部 IP 位址。

RANGES_EXHAUSTED、RANGES_NOT_RESERVED

問題

RANGES_EXHAUSTED、RANGES_NOT_RESERVED 和 RANGES_DELETED_LATER 形式的錯誤，表示基礎虛擬私有雲網路對接設定有問題。這些是網路錯誤，而非 Agent Platform 服務本身的錯誤。

解決方案

遇到 RANGES_EXHAUSTED 錯誤時，請先考慮這項申訴是否有效。

• 請參閱「子網路建議」表格，確認私人服務存取的 IP 預留範圍足以容納工作負載。

• 前往 Cloud 控制台的「Network Analyzer」，在虛擬私有雲網路中尋找「IP 位址分配摘要」形式的深入分析。如果這些指標顯示分配量已達或接近 100%，您可以採取下列任一步驟：

  • 在預留項目中新增範圍，或擴充現有範圍。請注意，所有範圍都必須連續。
  • 如果已分配非連續 IP 範圍，但未使用，請在其他區域啟動新的 Gemini Enterprise Agent Platform 工作負載。

• 此外，也請考量特定大小的預留項目可執行的平行工作數量上限。

詳情請參閱「Service Infrastructure 驗證錯誤」

如果錯誤持續發生，請與支援團隊聯絡。

Router status is temporarily unavailable

問題

啟動 Agent Platform Pipelines 時，您會收到類似下列的錯誤訊息：

Router status is temporarily unavailable. Please try again later

解決方案

錯誤訊息指出這是暫時性狀況。請再次嘗試啟動 Agent Platform Pipelines。

如果錯誤持續發生，請與支援團隊聯絡。

工作負載無法解析虛擬私有雲中 DNS 網域的主機名稱

問題

Gemini Enterprise Agent Platform 工作負載無法連線至虛擬私有雲中設定的主機名稱。您已確認虛擬私有雲中的用戶端可以存取這些主機名稱。

這是因為工作負載是在 Google 代管的專案中執行。這個代管環境中的虛擬私有雲必須與您的虛擬私有雲對接，才能使用您的任何網路資源。此外，這些工作負載需要存取的任何 DNS 區域，都必須明確與 Google 代管的虛擬私有雲共用。

解決方案

• 請確認您已在虛擬私有雲網路中，為 Gemini Enterprise Agent Platform 設定虛擬私有雲網路對接。

• 完成步驟，與 Gemini Enterprise Agent Platform 供應商網路共用私人 DNS 區域。請注意，這項程序取決於您的用途：

  • 透過 Private Google Access 建立對等互連 DNS
  • 透過 Private Service Connect 對接 DNS

• 啟動 Gemini Enterprise Agent Platform 工作負載時，請務必使用 --network 旗標指定虛擬私有雲網路。這樣一來，這些服務就能在 Google 代管的網路中執行，並存取您共用的 DNS 區域。

• 在 DNS 伺服器政策中啟用 DNS 記錄，重現問題，然後再次執行測試。如果工作負載的 DNS 回應成功，resource.type="dns_query" 的 Cloud Logging 篩選器會顯示這種格式的項目；

  "resource": {
    "type": "dns_query",
    "labels": {
      "location": REGION,
      "project_id": PROJECT_ID,
      "source_type": "peering-zone",
      "target_name": "QUERY_TARGET,
      "target_type": "forwarding-zone"
    }
  }
  

• 確認相同子網路中執行個體的 DNS 查詢，可以使用 DNS 伺服器解析主機名稱。

• 如果 DNS 伺服器不在 Cloud de Confiance中，請確認遠端防火牆規則允許來自 35.199.192.0/19 的連線。

• 從測試執行個體執行連線能力測試，並連至 DNS 伺服器 IP 位址的通訊埠 53/UDP。舉例來說，如果路徑連往轉送規則，請確認下列事項：

  • 如果是區域轉送規則，則必須與用戶端位於相同區域。
  • 它會接受 53/UDP 上的連線，並將連線轉送至正確的 DNS 伺服器。

用戶端行為導致連線問題

如果嘗試使用 Cloud de Confiance by S3NSAPI 時發生連線問題，根本原因可能在用戶端。本節建議的用戶端解決方案，或許能改善您的體驗。

連線重設和捨棄的封包

問題

嘗試使用 Cloud de Confiance API 時，連線會重設，封包也會遭到捨棄。

解決方案

如要解決這個問題，請考慮下列做法：

• 如果交易流量大且有低延遲需求，請考量地端部署用戶端的線路卡是否有任何已知問題，可能導致 TCP 連線重設或封包捨棄。
• 請考量要求路徑中的任何用戶端服務是否使用 iptables。包括 Kubernetes 叢集或某些有狀態防火牆和網路位址轉譯 (NAT) 裝置。根據預設，Linux 連線追蹤 (conntrack) 子系統會嚴格遵循 TCP 通訊協定規格，例如捨棄順序不正確的 TCP 封包。如要關閉這項行為，請啟用 Linux 核心參數 net.netfilter.nf_conntrack_tcp_be_liberal 或其對等項目。

未完成的連結

問題

嘗試使用 Cloud de Confiance API 時，連線不完整。

解決方案

如要解決這個問題，請考慮下列做法：

• 如果傳出路徑有多個返回用戶端的路由，請務必瞭解反向路徑轉送的概念。如果您懷疑這項行為會封鎖連線，請將其關閉。
• 如果是負載平衡連線，請考量傳入防火牆規則是否允許回應封包傳送至兩個負載平衡器。

其他非 API 連線問題

如要解決非 API 連線問題，請考慮下列事項：

• 如果要求路徑中有任何 Proxy，請考量這些 Proxy 是否會導致您遇到的問題。請詳閱說明文件，並在遇到不明延遲、連線中斷、DNS 覆寫、跨源封鎖和其他類似問題時，務必排解 Proxy 問題。
• 特別是在處理來自 Cloud de Confiance API 的429回應時，如果用戶端邏輯立即重試連線，可能會使問題惡化。實作重試時，請務必瞭解並實作指數輪詢。

Agent Platform 推論

本節說明實用的疑難排解步驟，可協助您解決 Agent Platform 推論問題。

「超過批次配額」錯誤

問題

執行批次推論工作時，您會收到類似下方的錯誤訊息。

Quota exhausted. Please reach out to ai-platform-unified-feedback@google.com for
batch prediction quota increase.

Gemini Enterprise Agent Platform 批次預測工作會耗用批次預測租戶專案的配額。如要進一步瞭解如何要求提高配額，請參閱「Gemini Enterprise Agent Platform 配額和限制」。

超過重試次數錯誤

問題

執行批次推論工作時，您會收到類似下列的錯誤訊息，指出執行自訂模型的機器可能無法在時限內完成推論。

('Post request fails. Cannot get predictions. Error: Exceeded retries: Non-OK
result 504 (upstream request timeout) from server, retry=3, elapsed=600.04s.', 16)

當 Agent Platform 推論服務向 Google Front End 服務註冊時，就可能發生這種情況。Google Front End 服務會將用戶端連線代理至 Agent Platform Inference API。

如果 Google Front End 服務在 10 分鐘內未收到 API 的回應，就會逾時連線，並向用戶端傳回 500 HTTP 回應代碼。

解決方案

如要解決這個問題，請嘗試下列任一做法：

• 請增加運算節點，或變更機器類型。
• 請設計推論容器，定期傳送 102 HTTP 回應代碼。這會重設 Google Front End 服務的 10 分鐘計時器。

專案已連結至虛擬私有雲

問題

部署端點時，您可能會看到類似下方的錯誤訊息，指出 Agent Platform 端點先前曾使用虛擬私有雲網路，且資源未妥善清理。

Currently only one VPC network per user project is supported. Your project is
already linked to
"projects/YOUR_SHARED_VPC_HOST_PROJECT/global/networks/YOUR_SHARED_VPC_NETWORK".
To change the VPC network, please undeploy all Agent Platform deployment
resources, delete all endpoint resources, and then retry creating resources in
30 mins.

解決方案

如要解決這個問題，請嘗試在 Cloud Shell 執行這個指令。

gcloud services vpc-peerings delete \
    --service=servicenetworking.googleapis.com \
    --network=YOUR_SHARED_VPC_NETWORK \
    --project=YOUR_SHARED_VPC_HOST_PROJECT

這項操作會手動中斷舊虛擬私有雲網路與 Service Networking 虛擬私有雲的連線。

非預期的部署失敗或端點刪除

問題

模型部署作業意外失敗、端點遭到刪除，或先前部署的模型已取消部署。

您的帳單帳戶可能無效。如果帳戶長期處於無效狀態，與帳戶相關聯的專案可能會移除部分資源。例如，端點和模型可能會遭到刪除。資源一經移除即無法復原。

解決方案

如要解決這個問題，可以嘗試下列做法：

• 確認專案的帳單狀態。
• 如要申請協助處理帳單問題，請與 Cloud Billing 支援團隊聯絡。

詳情請參閱「帳單問題」。

Agent Platform 自訂服務帳戶問題

本節說明實用的疑難排解步驟，協助您解決服務帳戶問題。

模型部署作業失敗，並顯示服務帳戶 serviceAccountAdmin 錯誤

問題

模型部署作業失敗，並顯示類似以下的錯誤：

Failed to deploy model MODEL_NAME to endpoint ENDPOINT_NAME due to the error: Failed to add IAM policy binding. Please grant SERVICE_ACC_NAME@gcp-sa-aiplatform.s3ns-system.iam.gserviceaccount.com the iam.serviceAccountAdmin role on service account vertex-prediction-role@PROJECT_INFO.s3ns.iam.gserviceaccount.com

解決方案

這項錯誤表示自訂服務帳戶可能未正確設定。如要建立具備正確 IAM 權限的自訂服務帳戶，請參閱「使用自訂服務帳戶」。

使用自訂服務帳戶時，無法擷取身分權杖

問題

使用自訂服務帳戶時，在單一副本上執行的訓練工作無法連上 Compute Engine 中繼資料服務，而無法擷取權杖。

您會看到類似下方的錯誤訊息：

Failed to refresh jwt, retry number 0: ("Failed to retrieve http://metadata.google.internal/computeMetadata/v1/instance/service-accounts/default/identity?audience=...&format=full
from the Google Compute Engine Metadata service. Status: 404 Response:
\nb'Not Found\n'", <google.auth.transport.requests._Response object at
0x7fb19f058c50>)

解決方案

如要使用自訂服務帳戶擷取身分權杖，必須使用 iamcredentials.googleapis.com。

自訂訓練模型

本節說明實用的疑難排解步驟，協助您解決自訂訓練模型的問題。

自訂訓練問題

自訂訓練期間可能會發生下列問題。這些問題適用於 CustomJob 和 HyperparameterTuningJob 資源，包括由 TrainingPipeline 資源建立的資源。

錯誤代碼：400

問題

您遇到下列錯誤：

400 Machine type MACHINE_TYPE is not supported.

如果選取的機器類型不支援 Gemini Enterprise Agent Platform 訓練，或所選區域不提供特定資源，就可能顯示這則錯誤訊息。

解決方案

請務必在適當的區域使用可用的機器類型。

副本結束，傳回非零狀態碼

問題

在分散式訓練期間，任何 worker 發生錯誤都會導致訓練失敗。

解決方案

如要查看 worker 的堆疊追蹤，請在Cloud de Confiance 控制台查看自訂訓練記錄。

請參閱其他疑難排解主題，修正常見錯誤，然後建立新的 CustomJob、HyperparameterTuningJob 或 TrainingPipeline 資源。在許多情況下，錯誤代碼是由訓練程式碼的問題引起，而非 Agent Platform 服務。如要判斷是否為這種情況，您可以在本機電腦或 Compute Engine 上執行訓練程式碼。

副本記憶體不足

問題

如果訓練虛擬機器 (VM) 執行個體在訓練期間記憶體不足，可能會發生錯誤。

解決方案

您可以在 Cloud de Confiance 控制台查看訓練 VM 的記憶體用量。

即使收到這項錯誤，VM 的記憶體用量可能不會顯示 100%，因為 VM 上執行的其他服務 (非訓練應用程式) 也會耗用資源。如果機器類型的記憶體較少，其他服務可能會耗用較高比例的記憶體。舉例來說，在 n1-standard-4 VM 上，服務最多可耗用 40% 的記憶體。

您可以最佳化訓練應用程式的記憶體用量，或選擇記憶體容量較大的機型。

區域資源不足

問題

某個區域發生缺貨問題。

解決方案

Agent Platform 會使用 Compute Engine 資源訓練模型。如果 Compute Engine 在某個區域的特定 CPU 或 GPU 資源已滿，Agent Platform 就無法排定工作負載。這個問題與專案配額無關。

達到 Compute Engine 容量上限時，Agent Platform 會自動重試 CustomJob 或 HyperparameterTuningJob，最多三次。如果所有重試都失敗，工作就會失敗。

使用 GPU 時，通常會發生缺貨情形。如果在使用 GPU 時遇到這項錯誤，請嘗試切換至其他 GPU 類型。如果可以使用其他區域，請嘗試在其他區域訓練。

存取其他 Cloud de Confiance 服務時發生權限錯誤

如果從訓練程式碼存取其他 Cloud de Confiance服務 (例如google.api_core.exceptions.PermissionDenied: 403) 時發生權限錯誤，可能是下列其中一項問題：

• 問題

  執行程式碼的服務代理或服務帳戶 (專案的 Gemini Enterprise Agent Platform 自訂程式碼服務代理或自訂服務帳戶) 沒有必要權限。

  解決方案

  瞭解如何將權限授予 Gemini Enterprise Agent Platform 自訂程式碼服務代理，或設定具備必要權限的自訂服務帳戶。

• 問題

  執行程式碼的服務代理或服務帳戶具備必要權限，但程式碼嘗試存取錯誤專案中的資源。如果錯誤訊息參照的專案 ID 結尾為 -tp，則特別可能是這個問題。

  解決方案

  由於 Agent Platform 執行訓練程式碼的方式，如果您未在程式碼中明確指定專案 ID 或專案編號，可能會不小心發生這個問題。

  瞭解如何指定專案 ID 或專案編號，修正這項問題。

• 問題

  Vertex AI 訓練工作可成功使用店面資料執行，但無法使用 Cloud Storage 中的資料。

  解決方案

  將 storage.buckets.create 權限新增至專案的 Gemini Enterprise Agent Platform Custom Code 服務代理角色。

  如要瞭解如何修正這個問題，請將特定角色新增至 Agent Platform 的服務代理。

使用 Cloud Storage FUSE 時的效能問題

問題

Cloud Storage FUSE 工作執行速度緩慢。

解決方案

請參閱「將 Cloud Storage 做為掛接的檔案系統使用」中的「效能最佳化指南」。

搭配使用 KFP 與 VPC Service Controls 時，pip install 失敗

問題

您會看到以下錯誤：

ModuleNotFoundError: No module named MODULE_NAME. WARNING: Retrying (Retry(total=0, connect=None, read=None, redirect=None, status=None)) after connection broken by 'ConnectTimeoutError(<pip._vendor.urllib3.connection.HTTPSConnection object at 0x7f70250bac10>, 'Connection to pypi.org timed out. (connect timeout=15)')': /simple/nltk/

解決方案

VPC Service Controls service perimeter 會封鎖 Agent Platform 存取網際網路上的第三方 API 和服務。如要安裝套件，請使用 packageUris 從 Cloud Storage bucket 安裝依附元件。如需使用這項技術的一般討論，請參閱「搭配使用 VPC Service Controls 與 Agent Platform」中的「使用自訂容器」一節。

內部錯誤

問題

發生系統錯誤，因此訓練失敗。

解決方案

這可能是暫時性問題，請嘗試重新提交 CustomJob、HyperparameterTuningJob 或 TrainingPipeline。如果錯誤持續發生，請與支援團隊聯絡。

使用自訂容器映像檔時出現錯誤代碼 500

問題

記錄中顯示 500 錯誤。

解決方案

這類錯誤可能是自訂容器映像檔的問題，而非 Agent Platform 錯誤。

部署至端點時，服務帳戶無法存取 Cloud Storage bucket

問題

嘗試將模型部署至端點時，如果服務帳戶沒有相關 Cloud Storage bucket 的 storage.objects.list 存取權，可能會看到下列錯誤：

custom-online-prediction@TENANT_PROJECT_ID.s3ns.iam.gserviceaccount.com
does not have storage.objects.list access to the Cloud Storage bucket.

根據預設，部署模型的自訂容器會使用無權存取 Cloud Storage bucket 的服務帳戶。

解決方案

如要解決這個問題，請嘗試下列其中一種做法：

• 上傳模型時，請將您嘗試從容器存取的檔案複製到模型構件。Gemini Enterprise Agent Platform 會將其複製到預設服務帳戶可存取的位置，與所有其他模型構件類似。

• 在容器建構程序中，將檔案複製到容器。

• 指定自訂服務帳戶。

Agent Platform Neural Architecture Search

已知問題

• 取消 NAS 工作後，主要工作 (父項) 會停止，但部分子項試驗會持續顯示「執行中」狀態。在這種情況下，請忽略顯示「Running」(執行中) 的子項試驗狀態。試驗已停止，但使用者介面仍會顯示「Running」(執行中) 狀態。只要主要工作停止，就不會產生額外費用。
• 在訓練器中回報獎勵後，等待 (休眠) 10 分鐘，再退出試驗工作。

• 使用 Cloud Shell 執行 TensorBoard 時，產生的輸出連結可能無法運作。在這種情況下，請記下通訊埠編號，然後使用「Web Preview」工具，並選取正確的通訊埠編號來顯示圖表。

  存取 Web Preview 工具：

  

• 如果您在訓練器記錄中看到類似下列的錯誤訊息：

  gcsfuse errors: fuse: writeMessage: no such file or directory [16 0 0 0 218 255 255 255 242 25 111 1 0 0 0 0]
  

  使用 RAM 較多的機器，因為 OOM 狀況會導致這項錯誤。

• 如果自訂訓練器找不到工作目錄 job-dir FLAG，請匯入 job_dir (使用底線而非連字號)。tutorial-1 中的附註說明瞭這一點。

• 訓練期間發生 NaN 錯誤 訓練工作可能會發生 NaN 錯誤，例如 NaN : Tensor had NaN values。學習率可能過高，不適合建議的架構。詳情請參閱「記憶體不足 (OOM) 和學習率相關錯誤」。

• 訓練期間發生 OOM 錯誤 訓練工作可能會發生 OOM (記憶體不足) 錯誤。批次大小可能超過加速器記憶體容量。 詳情請參閱「記憶體不足 (OOM) 和學習率相關錯誤」。

• Proxy 工作模型選取控制器工作終止 在極少數情況下，Proxy 工作模型選取控制器工作可能會終止，此時您可以按照這些步驟繼續執行工作。

• Proxy 工作搜尋控制器工作終止 在極少數情況下，Proxy 工作搜尋控制器工作可能會終止，此時您可以按照這些步驟繼續執行工作。

• 服務帳戶沒有存取 Artifact Registry 或 bucket 的權限。 如果收到 Agent Platform Service Agent service-123456789@gcp-sa-aiplatform-cc.s3ns-system.iam.gserviceaccount.com does not have permission to access Artifact Registry repository projects/my-project/locations/my-region/repositories/nas 或類似的值區存取權錯誤，請在專案中將 Storage 編輯者角色授予這個服務帳戶。

Agent Platform 特徵儲存庫

本節說明實用的疑難排解步驟，協助您解決 Gemini Enterprise Agent Platform 的特徵儲存庫 問題。

傳送串流擷取或線上提供要求時發生 Resource not found 錯誤

問題

設定 featurestore、實體類型或特徵資源後，這些資源會延遲傳播至 FeaturestoreOnlineServingService 服務。有時，如果您在建立資源後立即提交串流擷取或線上提供要求，這項延遲傳播可能會導致 resource not found 錯誤。

解決方案

如果收到這則錯誤訊息，請稍候幾分鐘，然後再試一次。

新建立的特徵已成功批次擷取，但線上提供要求傳回空值

問題

只有新建立的功能，需要一段時間才會傳播到 FeaturestoreOnlineServingService 服務。特徵和值確實存在，但需要時間傳播。這可能導致線上提供要求傳回空值。

解決方案

如果確實看到這種不一致的情況，請稍候幾分鐘，然後再次嘗試線上提供要求。

線上提供節點的 CPU 使用率偏高

問題

線上提供節點的 CPU 使用率偏高。

解決方案

如要解決這個問題，您可以手動增加節點數量，或啟用自動調度資源功能，藉此增加線上提供節點數量。請注意，即使啟用自動調度資源功能，Agent Platform 特徵儲存庫仍需要時間，在新增或移除節點時重新平衡資料。如要瞭解如何查看特徵值分布指標的變化趨勢，請參閱「查看特徵值指標」。

最繁忙的線上提供節點 CPU 使用率偏高

問題

如果最繁忙節點的 CPU 使用率偏高，可以增加服務節點數量，或將實體存取模式變更為偽隨機。

解決方案

將實體存取模式設為偽隨機，可降低因頻繁存取 Feature Store 中相鄰實體而導致的高 CPU 使用率。如果上述方法都無效，請實作用戶端快取，避免重複存取相同實體。

QPS 偏低時，線上提供延遲時間偏高

問題

在 QPS 較低時，閒置或低活動量的期間可能會導致部分伺服器端快取過期。當線上提供節點的流量恢復正常或 QPS 較高時，可能會導致延遲時間過長。

解決方案

如要緩解這個問題，您必須將至少 5 QPS 的人工流量傳送至 Feature Store，以保持連線有效。

批次擷取工作在六小時後失敗

問題

讀取工作階段會在六小時後到期，因此批次擷取工作可能會失敗。

解決方案

為避免逾時，請增加 worker 數量，在六小時內完成擷取工作。

匯出特徵值時發生 Resource exceeded 錯誤

問題

如果匯出工作超過內部配額，匯出大量資料可能會失敗，並顯示資源超出錯誤。

解決方案

為避免發生這項錯誤，您可以設定時間範圍參數 start_time 和 end_time，一次處理較少量的資料。如要瞭解如何提供歷來特徵資料，請參閱「提供歷來特徵值」。

Agent Platform Vizier

使用 Agent Platform Vizier 時，可能會遇到下列問題。

內部錯誤

問題

發生系統錯誤時，就會出現內部錯誤。

解決方案

這可能只是暫時性的。請嘗試重新傳送要求，如果錯誤持續發生，請與支援團隊聯絡。

在 Agent Platform 使用服務帳戶角色時發生權限錯誤

問題

在 Agent Platform 使用服務帳戶角色時，發生一般權限錯誤。

這些錯誤可能會顯示在 Cloud Logging 的產品元件記錄或稽核記錄中。也可能出現在受影響專案的任何組合中。

這些問題可能是由下列其中一項或兩項原因造成：

• 應使用 Service Account User 角色時，卻使用 Service Account Token Creator 角色，反之亦然。這些角色會授予服務帳戶不同的權限，且無法互換。如要瞭解 Service Account Token Creator 和 Service Account User 角色之間的差異，請參閱「服務帳戶角色」。

• 您已授予服務帳戶多項專案的權限，但根據預設，系統不允許這麼做。

解決方案

如要解決問題，請嘗試下列一或多項做法：

• 判斷是否需要 Service Account Token Creator 或 Service Account User 角色。如要瞭解詳情，請參閱您使用的 Agent Platform 服務 IAM 說明文件，以及您使用的任何其他產品整合。

• 如果您已為服務帳戶授予多項專案的權限，請確保 iam.disableCrossProjectServiceAccountUsage，以便在不同專案中附加服務帳戶。。為確保系統不會強制執行 iam.disableCrossProjectServiceAccountUsage，請執行下列指令：

  gcloud resource-manager org-policies disable-enforce \
    iam.disableCrossProjectServiceAccountUsage \
    --project=PROJECT_ID