在 GKE 上擴充 Managed Lustre 儲存空間

本文說明如何在 Google Kubernetes Engine (GKE) 中,動態增加有狀態工作負載的 Managed Lustre 磁碟區儲存空間容量,而不中斷應用程式。

舉例來說,如果長時間執行的 AI/機器學習訓練工作有動態且無法預測的儲存空間需求,請啟用 Managed Lustre 磁碟區擴充功能,增加現有 Managed Lustre PersistentVolume (PV) 的儲存容量。

本文適用對象為平台管理員和操作員、DevOps、儲存空間管理員,以及機器學習工程師,負責管理 GKE 有狀態工作負載的儲存空間。

擴充磁碟區後,費用會根據新的容量增加,並依標準 Cloud de Confiance by S3NS Managed Lustre 定價計算。

事前準備

準備環境。

需求條件

請確認您符合下列規定:

  • 您必須使用 GKE 叢集 1.35.0-gke.2331000 以上版本。
  • 您必須在現有叢集啟用 Managed Lustre CSI 驅動程式。Standard 和 Autopilot 叢集預設會停用驅動程式。

限制

  • 現有磁碟區的大小只能增加,不能減少。
  • 您無法在 ReadOnlyMany 存取模式下使用磁碟區擴充功能。
  • 調整 Lustre 磁碟區大小時,請遵守磁碟區效能級別設定的容量上下限和步距。詳情請參閱「效能考量」。
  • 以 GiB 為單位指定 Lustre 磁碟區大小,必須是 1000 的倍數。Kubernetes 會將 Ti 等單位轉譯為二進位值 (例如 18 Ti 會解讀為 18,432 GiB),導致 Lustre API 拒絕要求。

為 StorageClass 啟用磁碟區擴充功能

  1. 確認 StorageClass 是否支援磁碟區擴充:

    kubectl get sc STORAGECLASS_NAME -o jsonpath='{.allowVolumeExpansion}{"\n"}'
    

    將 STORAGECLASS_NAME 替換為 StorageClass 的名稱。

    如果指令未輸出任何內容或傳回 false,您必須明確更新 StorageClass 設定,允許擴充。

  2. 開啟 StorageClass 設定進行編輯:

    kubectl edit storageclass STORAGECLASS_NAME
    
  3. 在編輯器中,將 allowVolumeExpansion: true 欄位新增至 StorageClass 設定:

    apiVersion: storage.k8s.io/v1
    kind: StorageClass
    metadata:
      name: lustre-sc
    provisioner: lustre.csi.storage.gke.io
    ...
    allowVolumeExpansion: true

展開 PersistentVolumeClaim

如要啟動磁碟區擴充,請編輯 PersistentVolumeClaim (PVC),要求增加磁碟區大小。

  1. 按照「判斷有效的展開大小」一節所述,找出新的有效展開大小。
  2. 開啟 PVC 設定進行編輯:

    kubectl edit pvc PVC_NAME
    

    將 PVC_NAME 替換為 PVC 名稱。

  3. 在編輯器中,將 spec.resources.requests.storage 欄位更新為有效的展開大小。舉例來說,如要將磁碟區從 9000Gi 擴充至 18000Gi,請按照下列方式修改 storage 欄位:

    spec:
      accessModes:
      - ReadWriteOnce
      resources:
        requests:
          storage: 18000Gi # Changed from 9000Gi
    

確認磁碟區擴充

  1. 查看 PVC 的事件,監控擴充進度:

    kubectl describe pvc PVC_NAME
    

    PVC 輸出內容中的下列事件,會指出磁碟區擴充要求的目前進度或結果:

    • ExternalExpanding:表示 Kubernetes 正在等待 external-resizer 擴充 PVC。
    • Resizing:表示正在調整大小。如果容量增加較多,這項作業最多可能需要 90 分鐘。
    • VolumeResizeSuccessful:確認磁碟區已成功擴充。
    • VolumeResizeFailed:表示發生錯誤。事件訊息包含 Google Cloud Managed Lustre API 的詳細資料。這個狀態可能只是暫時性的,會自行解決。
  2. 擴充完成後,請驗證 PVC 的更新設定:

    kubectl get pvc PVC_NAME -o yaml
    
  3. 確認 status.capacity 欄位反映新的遞增大小。

如果在擴充過程中遇到任何問題,請參閱「疑難排解」一節。

決定有效的展開大小

如要決定新的磁碟區大小,請先找出磁碟區的效能級別和對應的步距。

找出磁碟區的效能級別

您可以透過下列任一選項,查看磁碟區的效能級別:

StorageClass

執行下列指令,並尋找 perUnitStorageThroughput 值 (例如 1000)。這個值代表效能級別,單位為 MBps/TiB。

kubectl get sc STORAGECLASS_NAME -o yaml

將 STORAGECLASS_NAME 替換為 StorageClass 的名稱。

Lustre 執行個體

直接查看基礎 Managed Lustre 執行個體的屬性,即可判斷磁碟區的效能級別:

  1. 找出繫結至 PVC 的 PV 名稱:

    kubectl get pvc PVC_NAME
    

    將 PVC_NAME 替換為 PVC 名稱。

    輸出結果大致如下。記下 VOLUME 欄中的 PV 名稱,例如 pv-lustre。

    NAME         STATUS   VOLUME      CAPACITY   ACCESS MODES   STORAGECLASS   VOLUMEATTRIBUTESCLASS   AGE
    pvc-lustre   Bound    pv-lustre   9000Gi     RWX            lustre-rwx     <unset>                 26m
    
  2. 在 volumeHandle 欄位中,找出磁碟區的位置和執行個體名稱:

    kubectl get pv PV_NAME -o yaml
    

    將 PV_NAME 替換為上一個步驟中的 PV 名稱。

    volumeHandle 值的格式為 PROJECT_ID/LOCATION/INSTANCE_NAME。記下 INSTANCE_NAME 和 LOCATION,以便在下一個步驟中使用。

  3. 說明 Managed Lustre 執行個體,檢查效能級別屬性:

    gcloud lustre instances describe INSTANCE_NAME --location=LOCATION
    

    將 INSTANCE_NAME 和 LOCATION 替換為上一步的值。

    在輸出內容中,尋找 perUnitStorageThroughput 欄位。這個值代表效能級別,單位為 MBps/TiB。

容量限制和步距

找出效能級別後,請參閱下表,瞭解相關容量限制和必要步距。

級別 (perUnitStorageThroughput) 數量下限 數量上限 步距
每 TiB 1,000 MB/秒 9,000 GiB 954,000 GiB (~1 PiB) 9,000 GiB
每 TiB 500 MB/秒 18,000 GiB 1,908,000 GiB (~2 PiB) 18,000 GiB
每 TiB 250 MB/秒 36,000 GiB 3,816,000 GiB (~4 PiB) 36,000 GiB
每 TiB 125 MB/秒 72,000 GiB 7,632,000 GiB (~8 PiB) 72,000 GiB

磁碟區必須根據指派給其級別的步距增加。容量增加量必須是該特定步距的倍數。舉例來說,如果 1,000 MBps 級別磁碟區的容量為 9,000 GiB,您可以將容量增加至 18,000 GiB、27,000 GiB 等倍數。

疑難排解

本節提供擴充 Lustre 磁碟區時,可能遇到的常見問題解決方案。

展開失敗,並顯示「Invalid Argument」錯誤

症狀

  • PVC 會進入 Resizing 狀態,但隨後會失敗。
  • 執行 kubectl describe pvc PVC_NAME 指令時,系統會顯示類似 VolumeResizeFailed: rpc error: code = InvalidArgument desc = ... 的錯誤。

原因

這項錯誤通常表示要求的儲存空間大小不適用於 Lustre 磁碟區的效能級別,原因可能如下:

  • 要求的大小並非該級別所需步距的倍數。
  • 要求的大小低於或高於該級別的容量限制。

解析度

  1. 請參閱「容量限制和步距」,瞭解磁碟區效能級別的有效步距和容量限制。
  2. 再次編輯 PVC,要求符合步距和容量限制的有效儲存空間大小。

擴充失敗,並顯示「內部錯誤」

症狀

  • PVC 調整大小失敗。
  • 執行 kubectl describe pvc PVC_NAME 指令時,您可能會看到 VolumeResizeFailed 事件,其中包含 code = Internal 錯誤訊息。

原因

這個錯誤表示基礎 Managed Lustre 服務發生問題。

解析度

  1. 再次套用 PVC 資訊清單,並指定新的要求大小,重新嘗試擴充。這或許能解決暫時性的後端問題。
  2. 如果重試失敗,請與 Cloud Customer Care 團隊聯絡。

擴充作業卡在「Resizing」(調整大小) 狀態

症狀

  • PVC 長時間處於 Resizing 狀態 (小型擴充作業超過 30 分鐘,大型擴充作業超過 90 分鐘)。
  • 您可能會看到 VolumeResizeFailed 事件和 DEADLINE_EXCEEDED 錯誤訊息。

原因

如果大幅增加容量,就可能發生這個問題,最多需要 90 分鐘才能完成。csi-external-resizer 元件在等待 Google Cloud Managed Lustre API 回應時可能會逾時,即使基礎擴充作業仍在進行中。

解析度

  • csi-external-resizer 會在輪詢週期結束後自動重試。繼續監控 PVC 事件,查看是否有 VolumeResizeSuccessful 事件。
  • 如果 PVC 處於 Resizing 狀態超過 90 分鐘,請與 Cloud Customer Care 團隊聯絡。

擴充作業未開始,或卡在 ExternalExpanding 狀態

症狀

  • 您更新 PVC 中的 spec.resources.requests.storage 欄位,但 PVC 狀態未變更為 Resizing。
  • 執行 kubectl describe pvc PVC_NAME 指令時,事件記錄只會顯示 ExternalExpanding 狀態,不會進入 Resizing 狀態:
Events:
  Type    Reason             Age                From             Message
  ----    ------             ----               ----             -------
  Normal  ExternalExpanding  21m (x2 over 58m)  volume_expand    waiting for an external controller to expand this PVC

原因

這通常代表有下列其中一項問題:

  • 與 PVC 相關聯的 StorageClass 不允許擴充磁碟區。
  • csi-external-resizer 邊車容器發生問題,這個元件負責啟動擴充作業。

解析度

  1. 檢查 StorageClass 設定,並確認已設定 allowVolumeExpansion: true 欄位:

    kubectl get sc STORAGECLASS_NAME -o jsonpath='{.allowVolumeExpansion}{"\n"}'
    
  2. 如果缺少 allowVolumeExpansion 或設為 false,請更新 StorageClass,允許擴充磁碟區。

  3. 如果 StorageClass 設定正確,問題可能出在管理調整大小作業的 GKE 控制層元件。請向 Cloud Customer Care 尋求協助。

因配額或容量問題而無法擴充

症狀

  • PVC 調整大小失敗,且 PVC 上會顯示 VolumeResizeFailed 事件。
  • 執行 kubectl describe pvc PVC_NAME 指令時,Managed Lustre 後端傳送的事件訊息指出配額或容量問題。

原因

要求的有效擴充作業無法完成,因為超出專案或區域中 Managed Lustre 服務的整體容量或配額。

解析度

  • 再次編輯 PVC,並要求較小的儲存空間增量。
  • 請與貴組織的 Cloud de Confiance by S3NS 管理員聯絡,要求提高專案的 Lustre 服務整體配額或容量。

清除所用資源

為避免系統向您的 Cloud de Confiance by S3NS 帳戶收取本文件所用資源的費用,請刪除 PVC。如果 reclaimPolicy 設為 Delete,這項操作也會刪除相關聯的 PV 和基礎 Managed Lustre 執行個體。

kubectl delete pvc PVC_NAME

將 PVC_NAME 替換為 PVC 名稱。

後續步驟