Managed Lustre-Speicher in GKE skalieren

In diesem Dokument wird beschrieben, wie Sie die Speicherkapazität von Managed Lustre-Volumes für Ihre zustandsorientierten Arbeitslasten in Google Kubernetes Engine (GKE) dynamisch erhöhen, ohne Ihre Anwendungen zu beeinträchtigen.

Wenn Ihre lang laufenden KI/ML-Trainingsjobs beispielsweise dynamische und unvorhersehbare Speicheranforderungen haben, aktivieren Sie die Volume-Erweiterung für Managed Lustre, um die Speicherkapazität Ihres vorhandenen Managed Lustre-PersistentVolume (PV) zu erhöhen.

Dieses Dokument richtet sich an Plattformadministratoren und -operatoren, DevOps, Speicheradministratoren und ML-Entwickler, die Speicher für zustandsorientierte Arbeitslasten in GKE verwalten.

Wenn Sie ein Volume erweitern, erhöhen sich Ihre Kosten entsprechend der neuen, größeren Kapazität gemäß den Standardpreisen für Cloud de Confiance by S3NS Managed Lustre.

Hinweis

Umgebung vorbereiten

Voraussetzungen

Sie müssen die folgenden Anforderungen erfüllen:

• Sie benötigen einen GKE-Cluster mit der Version 1.35.0-gke.2331000 oder höher.
• Sie müssen den Managed Lustre-CSI-Treiber auf einem vorhandenen Cluster aktivieren. Der Treiber ist in Standard- und Autopilot-Clustern standardmäßig deaktiviert.

Beschränkungen

• Sie können die Größe eines vorhandenen Volumes nur erhöhen, nicht verringern.
• Sie können die Volume-Erweiterung nicht mit dem Zugriffsmodus ReadOnlyMany verwenden.
• Wenn Sie die Größe von Lustre-Volumes anpassen, müssen Sie die Mindest- und Höchstkapazitätslimits sowie die Schrittgrößen beachten, die durch die Leistungsstufe Ihres Volumes festgelegt sind. Weitere Informationen finden Sie unter Überlegungen zur Leistung.
• Geben Sie die Größe von Lustre-Volumes in GiB als Vielfaches von 1.000 an. Kubernetes übersetzt Einheiten wie Ti in Binärwerte (z. B. wird 18 Ti als 18.432 GiB interpretiert), was dazu führt, dass die Lustre API die Anfrage ablehnt.

Volume-Erweiterung für eine StorageClass aktivieren

1. Prüfen Sie, ob Ihre StorageClass die Volume-Erweiterung unterstützt:

   kubectl get sc STORAGECLASS_NAME -o jsonpath='{.allowVolumeExpansion}{"\n"}'
   

   Ersetzen Sie STORAGECLASS_NAME durch den Namen Ihrer StorageClass.

   Wenn die Befehlsausgabe nichts ausgibt oder false zurückgibt, müssen Sie die StorageClass-Konfiguration explizit aktualisieren, um die Erweiterung zuzulassen.

2. Öffnen Sie die StorageClass-Konfiguration zur Bearbeitung:

   kubectl edit storageclass STORAGECLASS_NAME
   

3. Fügen Sie im Editor das Feld allowVolumeExpansion: true zu Ihrer StorageClass-Konfiguration hinzu:

   apiVersion: storage.k8s.io/v1
   kind: StorageClass
   metadata:
     name: lustre-sc
   provisioner: lustre.csi.storage.gke.io
   ...
   allowVolumeExpansion: true

PersistentVolumeClaim erweitern

Wenn Sie eine Volume-Erweiterung initiieren möchten, bearbeiten Sie Ihren PersistentVolumeClaim (PVC), um eine Erhöhung der Volume-Größe anzufordern.

1. Ermitteln Sie die neue, gültige Größe für die Erweiterung, wie unter Gültige Erweiterungsgrößen ermitteln beschrieben.

2. Öffnen Sie die PVC-Konfiguration zum Bearbeiten:

   kubectl edit pvc PVC_NAME
   

   Ersetzen Sie PVC_NAME durch den Namen Ihres PVC.

3. Aktualisieren Sie im Editor das Feld spec.resources.requests.storage mit der gültigen Erweiterungsgröße. Wenn Sie beispielsweise ein Volume von 9000Gi auf 18000Gi erweitern möchten, ändern Sie das Feld storage so:

   spec:
     accessModes:
     - ReadWriteOnce
     resources:
       requests:
         storage: 18000Gi # Changed from 9000Gi
   

Volume-Erweiterung prüfen

1. Überwachen Sie den Fortschritt der Erweiterung, indem Sie die Ereignisse des PVC prüfen:

   kubectl describe pvc PVC_NAME
   

   Die folgenden Ereignisse in der Ausgabe des PVC geben den aktuellen Fortschritt oder das Ergebnis der Anfrage zur Volume-Erweiterung an:

   • ExternalExpanding: Gibt an, dass Kubernetes darauf wartet, dass der external-resizer den PVC erweitert.
   • Resizing: Gibt an, dass der Vorgang zur Größenänderung ausgeführt wird. Dieser Vorgang kann bei größeren Kapazitätserhöhungen bis zu 90 Minuten dauern.
   • VolumeResizeSuccessful: Bestätigt, dass das Volume erfolgreich erweitert wurde.
   • VolumeResizeFailed: Gibt an, dass ein Fehler aufgetreten ist. Die Ereignisnachricht enthält Details aus der Google Cloud Managed Lustre API. Dieser Zustand ist möglicherweise vorübergehend und wird von selbst behoben.

2. Prüfen Sie nach Abschluss der Erweiterung die aktualisierte Konfiguration des PVC:

   kubectl get pvc PVC_NAME -o yaml
   

3. Achten Sie darauf, dass das Feld status.capacity die neue, erhöhte Größe widerspiegelt.

Wenn während des Erweiterungsvorgangs Probleme auftreten, lesen Sie den Abschnitt Fehlerbehebung.

Gültige Erweiterungsgrößen bestimmen

Um die neue Volume-Größe zu bestimmen, ermitteln Sie zuerst die Leistungsstufe Ihres Volumes und die entsprechende Schrittgröße.

Leistungsstufe des Volumes ermitteln

Sie können die Leistungsstufe Ihres Volumes mit einer der folgenden Optionen ermitteln:

kubectl get sc STORAGECLASS_NAME -o yaml

Kapazitätslimits und Schrittgrößen

Nachdem Sie die Leistungsstufe ermittelt haben, finden Sie in der folgenden Tabelle die zugehörigen Kapazitätslimits und die erforderliche Schrittgröße.

Die Lautstärke muss entsprechend der Schrittgröße erhöht werden, die der jeweiligen Stufe zugewiesen ist. Jede Kapazitätserhöhung muss ein Vielfaches dieser spezifischen Schrittgröße sein. Wenn Ihr Volume der Stufe 1.000 MB/s beispielsweise eine Kapazität von 9.000 GiB hat, können Sie es auf 18.000 GiB, 27.000 GiB und andere Vielfache erhöhen.

Fehlerbehebung

In diesem Abschnitt finden Sie Lösungen für häufige Probleme, die beim Erweitern von Lustre-Volumes auftreten können.

Erweiterung schlägt mit dem Fehler „Ungültiges Argument“ fehl

Symptom

• Der PVC wechselt in den Status Resizing, schlägt dann aber fehl.
• Wenn Sie den Befehl kubectl describe pvc PVC_NAME ausführen, wird ein Fehler ähnlich wie VolumeResizeFailed: rpc error: code = InvalidArgument desc = ... angezeigt.

Ursache

Dieser Fehler bedeutet in der Regel, dass die angeforderte Speichergröße aus einem der folgenden Gründe für die Leistungsstufe des Lustre-Volumes nicht gültig ist:

• Die angeforderte Größe ist kein Vielfaches der erforderlichen Schrittgröße für die Stufe.
• Die angeforderte Größe liegt unter der Mindestkapazität oder über der maximalen Kapazität für die Stufe.

Lösung

1. Sehen Sie sich die Kapazitätslimits und Schrittgrößen an, um die gültigen Schrittgrößen und Kapazitätslimits für die Leistungsstufe Ihres Volumes zu ermitteln.
2. Bearbeiten Sie den PVC noch einmal, um eine gültige Speichergröße anzufordern, die den Schrittgrößen- und Kapazitätslimits entspricht.

Erweiterung schlägt mit einem „Internen Fehler“ fehl

Symptom

• Die Größenänderung des PVC schlägt fehl.
• Wenn Sie den Befehl kubectl describe pvc PVC_NAME ausführen, wird möglicherweise ein VolumeResizeFailed-Ereignis mit einer Fehlermeldung angezeigt, die code = Internal enthält.

Ursache

Dieser Fehler weist auf ein Problem mit dem zugrunde liegenden Managed Lustre-Dienst hin.

Lösung

1. Wiederholen Sie die Erweiterung, indem Sie das PVC-Manifest noch einmal mit der neuen, angeforderten Größe anwenden. Dadurch können vorübergehende Backend-Probleme behoben werden.
2. Wenn der erneute Versuch fehlschlägt, wenden Sie sich an Cloud Customer Care.

Die Erweiterung bleibt im Status „Größe wird angepasst“ hängen

Symptom

• Der PVC bleibt über einen längeren Zeitraum im Status Resizing (mehr als 30 Minuten bei kleineren Erweiterungen oder mehr als 90 Minuten bei größeren Erweiterungen).
• Möglicherweise wird ein VolumeResizeFailed-Ereignis mit der Fehlermeldung DEADLINE_EXCEEDED angezeigt.

Ursache

Dieses Problem kann bei großen Kapazitätserhöhungen auftreten, die bis zu 90 Minuten dauern können. Bei der Komponente csi-external-resizer kann es zu einer Zeitüberschreitung kommen, während sie auf eine Antwort der Google Cloud Managed Lustre API wartet, obwohl der zugrunde liegende Erweiterungsvorgang noch läuft.

Lösung

• Der csi-external-resizer wiederholt den Vorgang nach einer Backoff-Zeit automatisch. Beobachten Sie die PVC-Ereignisse weiterhin auf ein VolumeResizeSuccessful-Ereignis.
• Wenn der PVC länger als 90 Minuten im Status Resizing bleibt, wenden Sie sich an Cloud Customer Care.

Die Erweiterung wird nicht gestartet oder bleibt im Status „ExternalExpanding“ hängen

Symptom

• Sie aktualisieren das Feld spec.resources.requests.storage in Ihrem PVC, aber der PVC-Status ändert sich nicht in Resizing.
• Wenn Sie den Befehl kubectl describe pvc PVC_NAME ausführen, wird im Ereignisprotokoll nur der Status ExternalExpanding angezeigt und der Status Resizing wird nicht erreicht:

Events:
  Type    Reason             Age                From             Message
  ----    ------             ----               ----             -------
  Normal  ExternalExpanding  21m (x2 over 58m)  volume_expand    waiting for an external controller to expand this PVC

Ursache

Das weist in der Regel auf eines der folgenden Probleme hin:

• Die mit dem PVC verknüpfte StorageClass lässt keine Volume-Erweiterung zu.
• Es gibt ein Problem mit dem Sidecar-Container csi-external-resizer, der für die Initiierung der Erweiterung verantwortlich ist.

Lösung

1. Prüfen Sie die StorageClass-Konfiguration und ob das Feld allowVolumeExpansion: true festgelegt ist:

   kubectl get sc STORAGECLASS_NAME -o jsonpath='{.allowVolumeExpansion}{"\n"}'
   

2. Wenn allowVolumeExpansion fehlt oder auf false gesetzt ist, aktualisieren Sie die StorageClass, um die Volume-Erweiterung zuzulassen.

3. Wenn die StorageClass richtig konfiguriert ist, liegt das Problem wahrscheinlich bei den GKE-Steuerungsebenenkomponenten, die den Vorgang zur Größenänderung verwalten. Wenden Sie sich an Cloud Customer Care.

Die Erweiterung schlägt aufgrund eines Kontingent- oder Kapazitätsproblems fehl.

Symptom

• Die Größenanpassung des PVC schlägt fehl und ein VolumeResizeFailed-Ereignis wird auf dem PVC angezeigt.
• Wenn Sie den Befehl kubectl describe pvc PVC_NAME ausführen, weist die Ereignismeldung vom Managed Lustre-Backend auf ein Kontingent- oder Kapazitätsproblem hin.

Ursache

Die angeforderte gültige Erweiterung kann nicht ausgeführt werden, da sie die Gesamtkapazität oder das Kontingent überschreitet, das für den Managed Lustre-Dienst in Ihrem Projekt oder Ihrer Region verfügbar ist.

Lösung

• Bearbeiten Sie den PVC noch einmal und fordern Sie eine kleinere Speichererhöhung an.
• Wenden Sie sich an den Cloud de Confiance by S3NS -Administrator Ihrer Organisation, um eine Erhöhung der Gesamtkontingente oder der Kapazität des Lustre-Dienstes für Ihr Projekt anzufordern.

Bereinigen

Löschen Sie den PVC, um zu vermeiden, dass Ihrem Cloud de Confiance by S3NS -Konto die in diesem Dokument verwendeten Ressourcen in Rechnung gestellt werden. Bei diesem Vorgang werden auch das zugehörige PV und die zugrunde liegende Managed Lustre-Instanz gelöscht, wenn reclaimPolicy auf Delete gesetzt ist.

kubectl delete pvc PVC_NAME

Ersetzen Sie PVC_NAME durch den Namen Ihres PVC.

Nächste Schritte

• Weitere Informationen zu Speicher für GKE-Cluster
• Lesen Sie die Dokumentation zu nichtflüchtigen GKE-Volumes und zur Bereitstellung.