KI-Zonen

KI-Zonen sind spezielle Zonen, die für KI- und ML-Training und ‑Inferenzarbeitslasten (künstliche Intelligenz und maschinelles Lernen) verwendet werden. Sie bieten eine erhebliche Kapazität für ML-Beschleuniger (GPU und TPU).

Innerhalb einer Region befinden sich KI-Zonen geografisch entfernt von Standardzonen (nicht KI). Die folgende Abbildung zeigt ein Beispiel für eine KI-Zone (us-south1-ai1b), die sich relativ zu den Standardzonen in der Region us-south1 weiter entfernt befindet.

Elternbereich

Jede KI-Zone ist einer Standardzone in der Region zugeordnet, die als übergeordnete Zone bezeichnet wird. Eine übergeordnete Zone ist eine Standardzone mit demselben Suffix wie die KI-Zone. Im Diagramm ist us-central1-a beispielsweise die übergeordnete Zone von us-central1-ai1a. Sie teilen sich Softwareupdatepläne und manchmal auch die Infrastruktur. Das bedeutet, dass Software- oder Infrastrukturprobleme, die sich auf eine übergeordnete Zone auswirken, sich auch auf die KI-Zone auswirken können. Berücksichtigen Sie beim Entwerfen Ihrer Hochverfügbarkeitslösungen die Überlegungen zur Hochverfügbarkeit, um die Abhängigkeit von der übergeordneten Zone zu berücksichtigen.

Wann sollten KI-Zonen verwendet werden?

KI‑Zonen sind für KI‑ und ML‑Arbeitslasten optimiert. Anhand der folgenden Anleitung können Sie entscheiden, welche Ihrer Arbeitslasten am besten für KI-Zonen geeignet sind und welche besser in Standardzonen ausgeführt werden.

Empfohlen für:

• Groß angelegtes Training:Ideal für groß angelegte Trainingsarbeitslasten wie das Training von Large Language Models (LLMs) und Foundation Models, da eine große Anzahl von Beschleunigern verfügbar ist.

• Training, Feinabstimmung, Bulk-Inferenz und erneutes Training in kleinem Umfang:KI-Zonen eignen sich gut für Arbeitslasten, die eine erhebliche Beschleunigerkapazität erfordern.

• ML-Inferenz in Echtzeit:KI-Zonen unterstützen Arbeitslasten für die Inferenz in Echtzeit. Die Leistung hängt vom Anwendungsdesign und den Anforderungen an die Modelllatenz ab, insbesondere wenn für die Arbeitslast Roundtrip-Anfragen an die übergeordnete Region erforderlich sind.

Nicht empfohlen für:

• Nicht-ML-Arbeitslasten:Da in KI-Zonen nicht alle Cloud de Confiance by S3NS Dienste lokal verfügbar sind, empfehlen wir, Ihre Nicht-ML-Arbeitslasten in den Standardzonen auszuführen.

Auf Dienste über eine KI-Zone zugreifen

Sie können über die KI-Zone auf alle Cloud de Confiance by S3NS Produkte in einer Cloud de Confiance by S3NS Region zugreifen. Der Zugriff auf Dienste in einer Cloud de Confiance by S3NS -Region über eine KI-Zone kann jedoch zu einer erhöhten Netzwerklatenz führen, da die KI-Zone physisch von den Standorten der Standardzonen der Region getrennt ist.

Wenn Sie KI-Zonen in der Cloud de Confiance Console, der Google Cloud CLI und der REST API aufrufen möchten, müssen Sie die Sichtbarkeit von KI-Zonen für Ihr Projekt aktivieren. Die Sichtbarkeit der KI-Zone ist unabhängig von der Zugriffssteuerung und den Grenzen des Organisationsrichtliniendienstes. Weitere Informationen finden Sie unter Sichtbarkeit von KI-Zonen verwalten.

Bei bestimmten Produkten können zonale Ressourcen lokal in einer KI-Zone erstellt oder auf sie zugegriffen werden. Weitere Informationen zu diesen Diensten finden Sie in der folgenden Tabelle:

Standorte

KI-Zonen sind an den folgenden Standorten verfügbar:

Welche GPU- und TPU-Typen in KI-Zonen verfügbar sind, erfahren Sie hier:

• In KI-Zonen verfügbare GPU-Typen und ‑Standorte ansehen
• In KI-Zonen verfügbare TPU-Typen und ‑Standorte ansehen

Ressourcen in KI-Zonen bereitstellen

Auf KI-Zonen kann über die Cloud de Confiance Console, die Google Cloud CLI oder REST zugegriffen werden. Wenn Sie die Cloud de Confiance Console zum Erstellen Ihrer VMs verwenden, müssen Sie jedoch manuell eine KI-Zone auswählen. Sie wird nicht automatisch ausgewählt, wie es bei Standardzonen der Fall ist. Wenn Sie KI-Zonen mit den folgenden Funktionen verwenden möchten, müssen Sie beim Einrichten dieser Ressourcen explizit eine KI-Zone auswählen.

• Bestimmte Compute Engine-Funktionen: KI-Zonen werden bei bestimmten regionalen Compute Engine-Funktionen nicht automatisch ausgewählt, z. B. bei regionalen Bulk-Insert-Vorgängen oder regionalen verwalteten Instanzgruppen (MIGs).

  • Bulk Insert: Wenn Sie KI-Zonen in regionale Bulk-Insert-Vorgänge einbeziehen möchten, müssen Sie das Feld locationPolicy.zones[] verwenden. Das Feld locations[] unterstützt keine KI-Zonen. Das folgende Beispiel zeigt dieses Format für die Zone us-south1-ai1b:

    {
      "locationPolicy": {
        "zones": [
          "zones/us-south1-ai1b"
        ]
      }
    }
    

  • Regionale MIGs: Wenn Sie Instanzen in einer KI-Zone in der ausgewählten Region erstellen möchten, müssen Sie diese explizit in der Verteilungsrichtlinie (distributionPolicy.zones[]) zusammen mit den anderen bevorzugten Zonen angeben. Das folgende Beispiel zeigt dieses Format für die Zone us-south1-ai1b:

    {
      "distributionPolicy": {
        "zones": [
          "zones/us-south1-a",
          "zones/us-south1-b",
          "zones/us-south1-ai1b"
        ]
      }
    }
    

• Bestimmte GKE-Funktionen: KI-Zonen werden bei bestimmten regionalen GKE-Funktionen wie regionalen GKE-Clustern nicht automatisch ausgewählt. Weitere Informationen zu GKE finden Sie in diesem Dokument unter AI Zones in GKE verwenden.

• Vertex AI: Für regionale Vertex AI-Produkte, die auf GKE basieren, muss GKE konfiguriert werden, damit KI-Zonen in regionalen Clustern enthalten sind. Sie müssen Vertex AI nicht aktivieren. Vertex AI verwaltet diese Konfiguration.

• Cloud de Confiance by S3NS Service Metadata Locations API: Sie müssen das Flag --extraLocationTypes aktivieren, wenn Sie die locations.list API verwenden, damit KI-Zonen nur für Nutzer angezeigt werden, die sie verwenden möchten.

• Einschränkungen für Arbeitslasten ohne Beschleuniger: Compute Engine schränkt die Erstellung von reinen CPU-VMs in KI-Zonen ein.

KI-Zonen in GKE verwenden

Standardmäßig werden Ihre Arbeitslasten in GKE nicht in KI-Zonen bereitgestellt. Wenn Sie eine KI-Zone verwenden möchten, konfigurieren Sie eine der folgenden Optionen:

• ComputeClasses:Legen Sie die höchste Priorität fest, um On-Demand-TPUs in einer KI-Zone anzufordern. Mit ComputeClasses können Sie eine priorisierte Liste von Hardwarekonfigurationen für Ihre Arbeitslasten definieren. Ein Beispiel finden Sie unter Compute-Klassen.

• Automatische Knotenbereitstellung:Verwenden Sie eine nodeSelector oder nodeAffinity in Ihrer Pod-Spezifikation, um die automatische Knotenbereitstellung anzuweisen, einen Knotenpool in der KI-Zone zu erstellen. Wenn Ihre Arbeitslast nicht explizit auf eine KI-Zone ausgerichtet ist, werden bei der automatischen Knotenbereitstellung nur Standardzonen berücksichtigt, wenn neue Knotenpools erstellt werden. Diese Konfiguration sorgt dafür, dass Arbeitslasten, für die keine KI-/ML-Modelle ausgeführt werden, in Standardzonen verbleiben, sofern Sie nichts anderes konfigurieren. Ein Beispiel für ein Manifest, in dem ein nodeSelector verwendet wird, finden Sie unter Standardzonen für automatisch erstellte Knoten festlegen.

• GKE Standard:Wenn Sie Ihre Knotenpools direkt verwalten, verwenden Sie beim Erstellen eines Knotenpools eine KI-Zone im Flag --node-locations. Ein Beispiel finden Sie unter TPU-Arbeitslasten in GKE Standard bereitstellen.

Beschränkungen

Folgendes ist in KI-Zonen nicht verfügbar:

• Regionale nichtflüchtige Speicher
• Hyperdisk Balanced High Availability

Überlegungen zum Design bei KI-Zonen

Beachten Sie beim Entwerfen Ihrer Anwendungen für die Verwendung von KI-Zonen Folgendes:

Überlegungen zur Hochverfügbarkeit (HA)

KI-Zonen teilen sich Software-Rollouts und Infrastruktur mit ihren übergeordneten Zonen. Um eine hohe Verfügbarkeit für Ihre Arbeitslasten zu gewährleisten, sollten Sie die folgenden Bereitstellungsmuster vermeiden, wenn Sie Zonen auswählen, unabhängig davon, ob dies automatisch oder manuell erfolgt:

• Vermeiden Sie die Bereitstellung von HA-Arbeitslasten in einer KI-Zone und der zugehörigen übergeordneten Zone.

• Vermeiden Sie die Bereitstellung von HA-Arbeitslasten in zwei KI-Zonen, die dieselbe übergeordnete Zone haben.

Best Practices

Wir empfehlen eine mehrstufige Speicherarchitektur, um Kosten, Langlebigkeit und Leistung in Einklang zu bringen:

1. Ebene für kalten Datenspeicher:Verwenden Sie regionale Cloud Storage-Buckets in Standardzonen für die dauerhafte, äußerst robuste Speicherung Ihrer Trainings-Datasets und Modellprüfpunkte.

2. Leistungsebene:Verwenden Sie spezielle zonale Speicherdienste als Hochgeschwindigkeitscache oder temporären Scratch-Speicher. Bei diesem Ansatz wird die latenz zwischen Zonen eliminiert und der guten Durchsatz bei aktiven Jobs maximiert.

   Damit GPUs und TPUs vollständig ausgelastet bleiben und der Durchsatz maximiert wird, sollten Sie die Leistungsschicht in derselben KI-Zone wie Ihre Rechenressourcen bereitstellen.

Die folgenden Speicherlösungen werden empfohlen, um die Leistung von KI- und ML-Systemen mit KI-Zonen zu optimieren:

KI-Zonen ein- oder ausschließen

Wenn Sie KI-Zonen manuell in eine Liste von Zonen ein- oder ausschließen möchten, verwenden Sie einen Filter:

• Informationen zum Filtern einer Liste von Zonen, sodass nur KI-Zonen angezeigt werden, finden Sie unter Nach KI-Zonen suchen.
• Informationen zum Filtern einer Liste von Zonen, um KI-Zonen auszuschließen, finden Sie unter KI-Zonen aus Listen ausschließen.

Nächste Schritte

• Liste der KI-Zonen ansehen
• Organisationsrichtlinie einrichten, um die VM-Erstellung in KI-Zonen einzuschränken