Elastische regionenübergreifende Hochverfügbarkeit

Sie können eine elastische regionsübergreifende Hochverfügbarkeit für anspruchsvolle KI Inferenzarbeitslasten in der Google Kubernetes Engine (GKE) erreichen, um effizient und zuverlässig auf die Beschleunigerkapazität in verschiedenen Cloud de Confiance Regionen zuzugreifen. Diese Lösung verwendet das GKE Multi-Cluster Inference Gateway und die GKE-Autoscaling-Funktionen, sodass Ihre Arbeitslasten auf die Beschleunigerkapazität in verschiedenen Regionen zugreifen und skaliert werden können. Dieser Ansatz verbessert die Ressourcenverfügbarkeit, Skalierbarkeit und Ausfallsicherheit für Ihre KI-Anwendungen. In diesem Dokument werden die Vorteile, die wichtigsten Komponenten und die allgemeine Funktionsweise der elastischen regionsübergreifenden Hochverfügbarkeit beschrieben.

Bevor Sie dieses Dokument lesen, sollten Sie mit Folgendem vertraut sein:

Dieses Dokument richtet sich an folgende Personen:

  • Machine-Learning-Entwickler, Plattformadministratoren und ‑operatoren sowie Daten- und KI-Spezialisten, die Kubernetes für die Bereitstellung von KI/ML-Arbeitslasten verwenden möchten
  • Cloud-Architekten oder Netzwerkspezialisten, die mit Kubernetes-Netzwerken interagieren

Weitere Informationen zu gängigen Rollen und Beispielaufgaben, auf die wir in Cloud de Confiance Inhalten verweisen, finden Sie unter Häufig verwendete GKE Enterprise-Nutzerrollen und -aufgaben.

Vorteile der elastischen regionsübergreifenden Hochverfügbarkeit

Die elastische regionsübergreifende Hochverfügbarkeit bietet mehrere wichtige Vorteile für die Verwaltung Ihrer KI/ML-Inferenzarbeitslasten, darunter:

  • Mehr Kapazität und Skalierbarkeit:Sie können Engpässe bei Beschleunigern in einer einzelnen Region vermeiden, indem Sie GPU- oder TPU-Ressourcen aus mehreren Clustern in verschiedenen Regionen zusammenlegen. Sie können auch verschiedene Beschleunigertypen verwenden, um den Kapazitätspool weiter zu erweitern. Mit diesem Ansatz können Ihre KI-Inferenzarbeitslasten die Kapazität einer einzelnen Region oder eines einzelnen Beschleunigertyps überschreiten und automatisch auf verfügbare Ressourcen in Ihrer Flotte zugreifen, unabhängig von der Region.
  • Automatisches Spillover und verbesserte Zuverlässigkeit und Verfügbarkeit:Das Gateway leitet den Traffic intelligent weiter und priorisiert bevorzugte Regionen oder Cluster. Wenn die Kapazitätslimits an einem Standort erreicht werden, wird der Traffic automatisch an andere Standorte mit verfügbaren Ressourcen weitergeleitet. Dieser Ansatz in Kombination mit Bereitstellungen in mehreren Regionen verbessert die Hochverfügbarkeit und Fehlertoleranz, da das System Cluster oder Regionen umgehen kann, in denen Probleme auftreten.
  • KI-optimierte Trafficverteilung:Verwenden Sie das auslastungsbasierte Load-Balancing mit benutzerdefinierten KI-spezifischen Messwerten wie der Nutzung des Key-Value-Caches. Diese Einrichtung sorgt für global optimierte Routingentscheidungen. Bei der KI-optimierten Trafficverteilung werden Anfragen an die Back-Ends gesendet, die für die Verarbeitung dieser Anfragen geeignet sind. So wird die Leistung maximiert und eine Überlastung in Ihrer Multi-Cluster-Inferenzflotte verhindert.

Funktionsweise der elastischen regionsübergreifenden Hochverfügbarkeit

Mit der elastischen regionsübergreifenden Hochverfügbarkeit in GKE können Ihre KI-Inferenz arbeitslasten automatisch die Beschleunigerkapazität (z. B. GPUs oder TPUs) in mehreren Cloud de Confiance Regionen nutzen. Wenn in Ihrer primären Region Kapazitätsbeschränkungen für erforderliche Ressourcen auftreten, leitet diese Lösung den Traffic intelligent weiter und skaliert Arbeitslasten auf andere Regionen mit verfügbarer Kapazität, wobei Ihre festgelegten Einstellungen berücksichtigt werden.

Im Folgenden werden die wichtigsten Komponenten der elastischen regionsübergreifenden Hochverfügbarkeit und ihre Funktionsweise erläutert:

  • Multi-Cluster Inference Gateway: Ihre Inferenzanwendung wird in mehreren GKE-Clustern in verschiedenen Regionen bereitgestellt. Diese Cluster werden als Teil einer GKE-Flotte verwaltet. Ein GKE Multi-Cluster Inference Gateway (MCG) wird mit einem internen Load-Balancer konfiguriert, der einen einzelnen privaten Endpunkt für Ihre Inferenzanfragen bietet. Dieses Gateway kennt Ihre Dienstbereitstellungen in allen Clustern der Flotte.
  • Auslastungsbasiertes Load-Balancing: Anstelle von grundlegenden Anfrageraten verteilt der Load-Balancer den Traffic basierend auf benutzerdefinierten Echtzeit-Auslastungsmesswerten, die von Ihren Modellservern gemeldet werden. Für die KI-Inferenz ist dies häufig ein Messwert wie die KV-Cache-Auslastung, der die tatsächliche Last auf dem Server widerspiegelt.
  • Standort- und Ressourceneinstellungen: Sie können bei der Clustererstellung konfigurieren, in welchen Regionen oder Zonen Ihre KI-Inferenzarbeitslasten ausgeführt werden dürfen, und mit den folgenden Optionen eine Reihenfolge für die Einstellungen festlegen:
    • GCPBackendPolicy: Diese Richtlinie ist an das Gateway angehängt und ermöglicht es Ihnen, bevorzugte Back-Ends zu definieren. Sie können angeben, an welche Regionen (d. h. Cluster) der Load-Balancer den Traffic vorrangig senden soll. Diese Richtlinie ist in der Regel auf den Standort abgestimmt, an dem Sie Kapazität reserviert haben oder an dem Sie geringere Latenzanforderungen haben.
    • Benutzerdefinierte Compute-Klasse (optional, wenn Sie die automatische Knotenpoolerstellung verwenden): In jedem einzelnen GKE-Cluster können Sie benutzerdefinierte ComputeClass-Objekte verwenden, um bevorzugte Knotentypen zu definieren, einschließlich Maschinen- typen (z. B. a3-highgpu-8g), Kapazitätstypen (z. B. reserviert, On-Demand und Spot) und sogar bevorzugte Zonen innerhalb dieser Region.
  • Dynamische Skalierung und Trafficweiterleitung: Der Traffic wird gemäß dem folgenden Prozess skaliert und weitergeleitet:
    • Eingehende Anfragen erreichen den internen Load-Balancer des Multi-Cluster-Ingress-Gateways.
    • Der Load-Balancer sendet den Traffic gemäß der GCPBackendPolicy zuerst an Back-Ends in Ihren bevorzugten Regionen.
    • Der Traffic wird innerhalb einer Region und zwischen Back-Ends basierend auf den benutzerdefinierten Auslastungsmesswerten verteilt.
    • Das horizontale Pod-Autoscaling (HPA) in jedem Cluster skaliert die Anzahl der Modellserver-Pods basierend auf denselben Auslastungsmesswerten.
    • Der GKE-Cluster-Autoscaler und die automatische Knotenbereitstellung fügen gemäß der benutzerdefinierten ComputeClass Knoten der bevorzugten Typen und Zonen hinzu oder entfernen sie, um die Skalierungsanforderungen des Pods zu erfüllen.
  • Elastische regionsübergreifende Hochverfügbarkeit in Aktion: Wenn die Modellserver in den bevorzugten Regionen vollständig ausgelastet sind (d. h. keine zusätzliche Kapazität verfügbar ist), leitet der Load-Balancer den Traffic automatisch an Cluster in anderen konfigurierten Regionen mit verfügbarer Kapazität weiter. Das HPA und der Cluster-Autoscaler skalieren die Ressourcen in diesen Fallback-Regionen dann nach Bedarf.

Nächste Schritte