Optionen für die Nutzung von Beschleunigern für KI-/ML-Arbeitslasten in GKE

Auf dieser Seite werden die verfügbaren Techniken beschrieben, mit denen Sie Rechenbeschleuniger wie GPUs oder TPUs basierend auf den Anforderungen Ihrer KI-/ML-Arbeitslasten erhalten können. Diese Techniken werden in GKE als Optionen für die Nutzung von Beschleunigern bezeichnet. Wenn Sie die verschiedenen Verbrauchsoptionen kennen, können Sie die Ressourcenauslastung optimieren, um eine Unterauslastung von Ressourcen zu vermeiden, die Wahrscheinlichkeit zu erhöhen, Ressourcen zu erhalten, und Kosten und Leistung in Einklang zu bringen.

Diese Seite richtet sich an Plattformadministratoren und ‑betreiber, die mit Entwicklern für maschinelles Lernen (ML) zusammenarbeiten, um die erforderlichen Ressourcen für die erfolgreiche Bereitstellung von KI-/ML-Arbeitslasten zu erhalten.

Weitere Informationen zu gängigen Rollen und Beispielaufgaben, auf die wir in Cloud de Confiance by S3NS -Inhalten verweisen, finden Sie unter Häufig verwendete GKE-Nutzerrollen und -Aufgaben.

Nutzungsoptionen

Sie können aus den folgenden Optionen auswählen, um Beschleuniger in GKE zu nutzen:

• On-demand:Sie nutzen TPUs oder GPUs in GKE, ohne Kapazität im Voraus zu reservieren. Bevor Sie Ressourcen anfordern, müssen Sie über genügend On-Demand-Kontingent für den jeweiligen Typ und die jeweilige Anzahl von Beschleunigern verfügen. On-Demand ist die flexibelste Nutzungsoption. Es gibt jedoch keine Garantie dafür, dass genügend On-Demand-Ressourcen verfügbar sind, um Ihre Anfrage zu erfüllen.
• Reservierungen: Sie reservieren Ressourcen für einen bestimmten Zeitraum. Eine Reservierung kann Folgendes sein:
  • Vorausschauende Reservierungen:Sie reservieren Ressourcen in der Regel für längere Zeiträume für einen bestimmten Zeitpunkt in der Zukunft. Sie können während dieses Zeitraums auf die entsprechenden Ressourcen zugreifen. Für zukünftige Reservierungen ist die Zusammenarbeit mit einem Technical Account Manager (TAM) erforderlich. Weitere Informationen finden Sie in den TPU- und GPU-Richtlinien.
  • Vorausschauende Reservierungen für bis zu 90 Tage (im Kalendermodus): Sie fordern Kapazität für einen bestimmten Zeitraum an. Ein Kalenderberater schlägt verfügbare Termine vor. Vorausschauende Reservierungen für bis zu 90 Tage (im Kalendermodus) bieten mehr Flexibilität für kürzere Zeiträume und die Selfservice-Kapazitätssuche. Weitere Informationen finden Sie unter Anfragen für vorausschauende Reservierungen im Kalendermodus.
  • On-Demand-Reservierungen:Sie können eine On-Demand-Reservierung anfordern, die bereitgestellt wird, sobald die Kapazität verfügbar ist. Das ist ähnlich wie bei der On-Demand-Option. Während die Reservierung aktiv ist, bezahlen Sie für die Ressourcen, unabhängig davon, ob Sie sie verwenden oder nicht.
• Flex-Start:Sie sichern dicht zugewiesene Ressourcen für Arbeitslasten mit kurzer Ausführungsdauer ohne Reservierung. Sie fordern eine bestimmte Anzahl von GPUs oder TPUs an und Compute Engine stellt sie bereit, sobald Kapazität verfügbar ist. Die GPUs oder TPUs werden bis zu sieben Tage lang ununterbrochen ausgeführt. Weitere Informationen finden Sie unter Flex-Start-Bereitstellung.
• Spot:Sie stellen Spot-VMs bereit, mit denen Sie erhebliche Rabatte erhalten. Spot-VMs können jedoch jederzeit vorzeitig beendet werden. Sie erhalten eine 30-sekündige Warnung. Weitere Informationen finden Sie unter Spot-VMs.

Um die Bereitstellung bei Einschränkungen der Rechenressourcen zu optimieren, können Sie diese Optionen mit ComputeClasses orchestrieren.

Beschleunigerkontingent in GKE

Kontingente und Systemlimits schränken die Nutzung von Cloud de Confiance by S3NS -Ressourcen ein, um die Ressourcenverfügbarkeit für alle Cloud de Confiance by S3NS -Nutzer zu gewährleisten. Kontingente haben Standardwerte, aber Sie können in der Regel Anpassungen anfordern. Systemlimits sind feste Werte, die nicht geändert werden können. Standardmäßig haben Projekte in der Regel kein nennenswertes Kontingent für Beschleuniger. Sie müssen ein Kontingent für bestimmte Beschleunigertypen und Regionen anfordern und genehmigen lassen.

Beachten Sie beim Verwalten der Kontingente, die für Ihre Arbeitslasten erforderlich sind, die folgenden Merkmale:

• Sie müssen das für jede Verbrauchsoption erforderliche Kontingent anfordern. Die für die einzelnen Verbrauchsoptionen erforderlichen Kontingente finden Sie in der Tabelle Verbrauchsoption auswählen in den entsprechenden „Quota“-Parametern. Wenn nicht genügend Kontingent vorhanden ist, schlagen Versuche, Cluster oder Knotenpools zu erstellen oder Arbeitslasten bereitzustellen, für die Beschleuniger erforderlich sind, mit dem Fehler Quota exceeded fehl.

• Sie müssen ein Kontingent anfordern, wenn Sie benutzerdefinierte ComputeClasses in Autopilot verwenden. Die Knoten, die zur Erfüllung der ComputeClass-Anforderungen bereitgestellt werden, verbrauchen weiterhin das Kontingent Ihres Projekts für die angegebenen Beschleuniger.

• Cloud de Confiance by S3NS Für Konten im kostenlosen Testzeitraum gelten Einschränkungen beim Anfordern von Kontingenterhöhungen für hochwertige Ressourcen wie GPUs und TPUs. Wenn Sie Zugriff auf das Kontingent für Beschleuniger haben möchten, führen Sie ein Upgrade auf ein kostenpflichtiges Konto durch.

Wenn Sie Ihr Kontingent prüfen und anfordern möchten, rufen Sie in der Cloud de Confiance Console die Seite „Kontingente“ auf. Sie können nach Beschleunigerkontingenten filtern und Erhöhungen anfordern.

Nutzungsoption identifizieren

Berücksichtigen Sie die folgenden Punkte, um die beste Nutzungsoption für Ihre KI/ML-Arbeitslast auszuwählen:

• Arbeitslasttyp: Berücksichtigen Sie den Typ der Arbeitslast, die Sie implementieren möchten. Die GKE-Anforderungen variieren je nachdem, ob Sie eine Trainings- oder eine Inferenzarbeitslast ausführen:
  • Training:Erfordert leistungsstarke Ressourcen mit erheblichem Arbeitsspeicher. Trainingsarbeitslasten haben in der Regel eine klar definierte Lebensdauer. Diese Arbeitslasten lassen sich in der Regel leichter planen, da sie weniger anfällig für plötzliche Spitzen beim Ressourcenverbrauch sind.
  • Inferenz:erfordert in der Regel Beschleuniger, die für Skalierbarkeit und niedrige Kosten optimiert sind. Inferenzarbeitslasten können bei plötzlichen Spitzen im Ressourcenverbrauch erheblichen Beschleunigerspeicher erfordern.
• Lebensdauer basierend auf der Implementierungsphase:Berücksichtigen Sie Ihr Geschäftsziel, wenn Sie einen Proof of Concept (POC), eine Plattformbewertung, eine Anwendungsentwicklung oder ‑prüfung, die Produktionsumstellung oder die Optimierung durchführen.
• Bereitstellungszeit: Bestimmen Sie, ob Ihre Arbeitslast sofort ausgeführt werden muss oder ob sie in der Zukunft ausgeführt werden kann. Wenn eine zukünftige Ausführung möglich ist, bestimmen Sie, wie flexibel die Startzeit sein kann.
• Ausgewogenheit zwischen Kosten und Leistung:Bewerten Sie die Leistungsanforderungen Ihrer Arbeitslast und die Budgetbeschränkungen, um den kostengünstigsten Beschleuniger auszuwählen. Wägen Sie die Kosten der Beschleuniger gegen ihre Leistungsmerkmale ab. Neue Beschleuniger können das Kosten-Leistungs-Verhältnis verbessern.

Eine Option für die Aufnahme auswählen

Wählen Sie anhand der folgenden Tabelle eine Verbrauchsoption aus:

Kosten und Arbeitslastbereitstellung mit ComputeClasses optimieren

Mit ComputeClasses können Sie Ihre Strategie für die Nutzung von Beschleunigern dynamisch verwalten und automatisieren, indem Sie eine priorisierte Liste von Fallback-Konfigurationen definieren. Bei Scale-up-Vorgängen versucht GKE, Knoten entsprechend der von Ihnen festgelegten Prioritätshierarchie bereitzustellen.

In der folgenden Liste werden die mit ComputeClasses verfügbaren Verbrauchsoptionen und ihre Konfiguration beschrieben. Vollständige YAML-Manifeste finden Sie unter Beispiele für Nutzungsoptionen mit ComputeClasses.

• Reservierungen: Sie können den Namen der Reservierung im Feld reservations in Ihrer ComputeClass definieren. So wird sichergestellt, dass GKE zuerst versucht, Ihre reservierte Kapazität zu nutzen, bevor ein Fallback erfolgt.
• Bereitstellungsmodus „Flex-Start“: Aktivieren Sie die flexible Warteschlange mit dem Feld flexStart in Ihrer ComputeClass und konfigurieren Sie die Dauer für den Ersatz von Fallback-Knoten mit den Feldern nodeRecycling.
• Spot-VMs: Weisen Sie GKE an, Spot-VMs zu verwenden, wenn Knoten für diese Prioritätsregel bereitgestellt werden, indem Sie das Feld spot auf true setzen.
• On-Demand-Kapazität in Kombination mit einer multizonalen Standortrichtlinie: Deklarieren Sie die Standardkonfigurationen für Maschinen in der Prioritätenliste und konfigurieren Sie eine Fallback-Standortstrategie mit den Feldern location.

Compute-Klassen unterstützen keine vorausschauenden Reservierungen oder vorausschauenden Reservierungen für bis zu 90 Tage (im Kalendermodus).

Beispiele für Nutzungsoptionen mit ComputeClasses

In den folgenden Abschnitten finden Sie Konfigurationsbeispiele für diese Strategien.

Reservierungen mit Fallback-Konfiguration

Diese Konfiguration eignet sich am besten für Arbeitslasten, die Unterbrechungen tolerieren können, und nicht für Arbeitslasten, die von nichtflüchtigen Daten abhängen oder bis zum Ende ausgeführt werden müssen.

Diese Konfiguration richtet eine robuste Fallback-Strategie mit den folgenden Schritten ein:

1. Zuerst Reservierungen nutzen: GKE versucht, Knoten mit Ihrer spezifischen, im Voraus erworbenen Kapazitätsreservierung bereitzustellen.
2. Fallback auf Flex-Start: Wenn die Reservierungskapazität vollständig ausgeschöpft ist, greift GKE auf kurzfristige, rabattierte Flex-Start-Ressourcen zurück.
3. Fallback auf On-Demand: Als letztes Fallback stellt die GKE standardmäßige On-Demand-Ressourcen bereit.

4. Zurück zu Reservierungen migrieren: Wenn Sie die aktive Migration aktivieren, wird GKE angewiesen, Arbeitslasten automatisch zu konsolidieren und zurück zu den höher priorisierten Reservierungsknoten zu migrieren, sobald Kapazität verfügbar ist. Diese Migration kann zu Unterbrechungen führen.

   apiVersion: cloud.google.com/v1
   kind: ComputeClass
   metadata:
     name: ha-gpu-fallback
   spec:
     activeMigration:
       optimizeRulePriority: true # Migrate workloads back to reservation when capacity releases
     priorities:
     # Priority 1: Consume specific corporate reservation first
     - gpu:
         type: nvidia-l4
         count: 1
       reservations:
         affinity: Specific
         specific:
         - name: reserved-l4-pool
           project: my-project
           zones: [us-central1-a]
     # Priority 2: Fallback to Flex Start (short-duration allocation)
     - gpu:
         type: nvidia-l4
         count: 1
       flexStart:
         enabled: true
     # Priority 3: Fallback to On-demand resources
     - gpu:
         type: nvidia-l4
         count: 1
   

Flex-Start-Bereitstellungsmodus mit Knoten-Recycling-Konfiguration

Diese Konfiguration verwaltet kurzzeitige Kapazitäten mit Rabatt und kontinuierlicher Verfügbarkeit mit den folgenden Schritten:

1. Flex-Start-VMs anfordern:GKE fordert VM-Instanzen aus der Flex-Start-Warteschlange an, die bis zu sieben Tage lang ununterbrochen ausgeführt werden.
2. Ablauf von Leases überwachen:GKE verfolgt die verbleibende Dauer der aktiven Flex-Start-Knoten.
3. Knoten-Recycling auslösen:20 Minuten (1.200 Sekunden) vor Ablauf des VM-Lease wird von GKE automatisch ein Ersatzknoten bereitgestellt.

4. Arbeitslasten neu planen:Arbeitslasten werden auf den neuen Knoten migriert und die Ausführung wird ohne Dienstunterbrechung fortgesetzt.

   apiVersion: cloud.google.com/v1
   kind: ComputeClass
   metadata:
     name: flex-node-recycling
   spec:
     priorities:
     - gpu:
         type: nvidia-l4
         count: 1
       flexStart:
         enabled: true
         nodeRecycling:
           leadTimeSeconds: 1200 # Automatically launch replacement node before VM lease expires
   

Zonenübergreifende Zuweisungsrichtlinie konfigurieren

Bei dieser Konfiguration werden die Lieferbeschränkungen für einzelne Zonen umgangen. Gehen Sie dazu so vor:

1. Zielzonen definieren: Sie listen mehrere Sicherungszonen (z. B. us-central1-a, us-central1-b und us-central1-c) in den Prioritätsregeln auf.
2. Zielparameter erweitern: Sie legen die Standortrichtlinie auf ANY fest. Mit dieser Einstellung wird der Cluster Autoscaler angewiesen, in allen angegebenen Zonen nach der angeforderten Kapazität zu suchen.
3. Zonale Verfügbarkeit analysieren:Beim Hochskalieren scannt GKE die angegebenen Zonen.

4. In verfügbaren Zonen bereitstellen:GKE stellt die angeforderten Arbeitslastknoten sofort in der Zielzone mit passender Kapazität bereit. Diese Strategie verhindert Blockaden in Zuweisungswarteschlangen.

   apiVersion: cloud.google.com/v1
   kind: ComputeClass
   metadata:
     name: broad-zonal-serving
   spec:
     priorities:
     - gpu:
         type: nvidia-l4
         count: 1
       location:
         zones: [us-central1-a, us-central1-b, us-central1-c]
         locationPolicy: ANY # Provision accelerator in any target zone with supply
   

Nächste Schritte

• GPUs in GKE
• Mehr über TPUs in GKE erfahren
• Weitere Informationen zur KI-/ML-Inferenz in GKE