Hyperdisk-Exapools – Übersicht

In diesem Dokument werden die Funktionen und Limits von Exapools beschrieben. Hyperdisk Exapools sind Hyperdisk-Pools, die für Arbeitslasten entwickelt wurden, bei denen Hyperdisk Storage Pools nicht genügend Hyperdisk Speicher in einer einzelnen Zone bieten. Mit Exapools kaufen Sie Speicher und Leistung in großen Mengen und erstellen dann Laufwerke im Pool, um den Speicher zu nutzen.

Wann sollten Hyperdisk Exapools verwendet werden?

Exapools sind für große Arbeitslasten mit Zehntausenden von Laufwerken in einer einzelnen Zone vorgesehen, die zwischen 500 TiB und 2,5 EiB an dauerhaftem Blockspeicher erfordern. Wenn Ihre Arbeitslast eine geringere Kapazität oder Leistung erfordert, verwenden Sie einen Hyperdisk-Speicherpool oder erstellen Sie Laufwerke außerhalb eines Pools.

Exapools bieten Speicher und Leistung in der größten in Compute Engine verfügbaren Größenordnung und ermöglichen gleichzeitig Kosteneinsparungen, da Sie mehr Leistung und Kapazität bereitstellen können, als Sie benötigen, aber nur für das bezahlen, was Sie verwenden.

Hyperdisk Exapools eignen sich ideal für große KI-, Machine-Learning- (ML-) und verteilte parallele Dateisystemarbeitslasten. Hier einige Beispiele für Arbeitslasten:

Beispielarbeitslasten für Hyperdisk Exapools:

  • KI/ML-Arbeitslasten, die 4.000 TPU-VMs umfassen und 2 PiB Hyperdisk Balanced mit einer bereitgestellten Leistung von 20.000.000 IOPS und einem Durchsatz von 3 TiB/s verwenden, was zu einem gleichzeitigen aggregierten Spitzendurchsatz von 500 GiB/s führt.
  • KI/ML-Trainingsarbeitslasten mit 15.000 GPU-Instanzen,die Hyperdisk Balanced für Boot- und Scratch Laufwerke mit einer Gesamtkapazität von 8 PiB verwenden, was zu einem gleichzeitigen aggregierten Spitzendurchsatz von 1 TiB/s führt.
  • Paralleles Dateisystem mit einer Kapazität von mindestens 6 PiB und gleichzeitigen aggregierten Spitzen von 800 GiB/s für leseintensiven Durchsatz.

Funktionsweise von Exapools

Sie erstellen einen Exapool mit der aggregierten Kapazität und Leistung, die für alle Laufwerke Ihrer Arbeitslast in einer Zone erforderlich sind, und erstellen dann nach Bedarf Laufwerke im Pool. Sie können Laufwerke in einem Exapool als Bootlaufwerke oder Datenlaufwerke für Ihre Compute Engine-Instanzen und ‑Container verwenden.

Wenn Sie ein Laufwerk in einem Exapool erstellen, weisen Sie dem Laufwerk einige Ressourcen des Pools (Größe und Leistung) zu. Wenn Sie ein Laufwerk in einem Pool löschen, werden die dem Laufwerk zugewiesenen Ressourcen an den Pool zurückgegeben und können von anderen Laufwerken verwendet werden.

Angenommen, Sie erstellen einen Hyperdisk Balanced Exapool mit einer Kapazität von 50 PiB. Wenn Sie 100 Laufwerke mit jeweils 10 TiB im Pool erstellen, verringert sich die verbleibende verfügbare Kapazität des Pools um 1.000 TiB.

Exapool-Typen

Wenn Sie einen Exapool erstellen, müssen Sie einen Hyperdisk-Typ für die Laufwerke im Pool auswählen. Die folgenden Typen sind verfügbar:

Weitere Informationen zur Auswahl eines Hyperdisk-Typs finden Sie unter Hyperdisk-Typ für Ihre Arbeitslast auswählen.

Unterstützung von Maschinenserien

Hyperdisk Throughput Exapools und Hyperdisk Balanced Exapools werden mit denselben Maschinenserien unterstützt, die Hyperdisk Throughput bzw. Hyperdisk Balanced unterstützen. Eine Liste der unterstützten Maschinenserien finden Sie unter Unterstützung von Maschinenserien für Hyperdisk Throughput und Unterstützung von Maschinenserien für Hyperdisk Balanced.

Bereitstellung von Leistung und Kapazität für Exapools

Der Bereitstellungstyp eines Pools bestimmt, wie Laufwerke im Pool Ressourcen nutzen.

Exapools verwenden die erweiterte Bereitstellung für Kapazität und Leistung, was die größten Kosten- und Zeitersparnisse bietet.

Erweiterte Kapazitätsbereitstellung

Alle Exapools verwenden die erweiterte Kapazitätsbereitstellung, die folgende Vorteile bietet:

  • Thin Provisioning: Compute Engine weist Daten nach Bedarf Laufwerken im Pool zu, nicht wenn das Laufwerk bereitgestellt wird.
  • Überbereitstellung: Sie können die Laufwerke im Pool mit bis zu 50-mal mehr Kapazität bereitstellen, als Sie für den Exapool erworben haben. Dies vereinfacht die Kapazitätsplanung und vermeidet Ausfallzeiten für die manuelle Größenänderung von Laufwerken.

Eine detaillierte Erläuterung der erweiterten Kapazitätsbereitstellung finden Sie unter Erweiterte Kapazitätsbereitstellung.

Erweiterte Leistungsbereitstellung

Exapools verwenden die erweiterte Leistungsbereitstellung, die folgende Vorteile bietet:

  • Thin Provisioning: Compute Engine weist den Laufwerken im Pool nach Bedarf Leistungsressourcen zu. Nur die Menge an IOPS und Durchsatz, die von einem Laufwerk in einem Exapool verwendet wird, verbraucht Leistung.
  • Überbereitstellung: Die Gesamtleistung für alle Laufwerke in einem Pool kann bis zu 50-mal so hoch sein wie die bereitgestellte Schreibleistung des Pools.
  • Gemeinsame Leistung: Laufwerke in einem Exapool teilen sich die bereitgestellte Leistung des Pools bis zum Limit jedes Laufwerks, wodurch Kosten für Laufwerke mit unterschiedlichen Spitzenzeiten eingespart werden.

Eine detaillierte Erläuterung der erweiterten Leistungsbereitstellung finden Sie unter Erweiterte Leistungsbereitstellung.

Kapazität und Leistung kaufen

Die bereitgestellte Leistung eines Exapools oder die Menge an IOPS und Durchsatz, die Sie Laufwerken im Pool zuweisen können, hängt von den folgenden Faktoren ab:

  • Anzahl der Kapazitätseinheiten im Pool
  • Laufwerkstyp des Exapools

Funktionsweise von Kapazitätseinheiten

Eine Kapazitätseinheit umfasst 1 GiB Kapazität und eine feste Menge an Leistung (IOPS und Durchsatz) pro GiB. Wenn Sie beispielsweise einem Pool 1 PiB Kapazität hinzufügen möchten, kaufen Sie 1.048.576 Kapazitätseinheiten (1.048.576 GiB = 1 PiB). Exapools bieten drei Arten von Kapazitätseinheiten zur Auswahl. Die dem Pool hinzugefügte Leistung hängt vom Typ der Kapazitätseinheiten ab:

  • Kapazitätsoptimierte Einheiten: bieten eine ausgewogene Rate an IOPS und Durchsatz für Lese- und Schreibvorgänge.
  • Leseoptimierte Einheiten: bieten die höchste Rate an Lesevorgängen und Durchsatz pro GiB.
  • Schreiboptimierte Einheiten: bieten die höchste Rate an Schreibvorgängen und Durchsatz pro GiB.

Wenn Ihre Arbeitslast mehr Lesevorgänge als Schreibvorgänge oder mehr Lesedurchsatz als Schreibdurchsatz erfordert, erzielen Sie den besten Wert, wenn Sie leseoptimierte Einheiten kaufen.

Sie können verschiedene Arten von Kapazitätseinheiten kombinieren, wenn Sie einen Exapool bereitstellen oder erweitern. Der Typ und die Anzahl der Kapazitätseinheiten, die Sie für einen Pool kaufen, werden als Mischung von Kapazitätseinheiten bezeichnet.

Die Mischung von Einheiten eines Exapools hat keine Auswirkungen auf die Leistung der Laufwerke im Exapool. Die Mischung von Einheiten wirkt sich nur auf die folgenden Faktoren aus:

  • Abrechnung des Exapools
  • Maximale bereitgestellte Leistung für den Exapool

Mischung von Kapazitätseinheiten für einen Exapool auswählen

Um die Anforderungen Ihrer Arbeitslast möglichst kostengünstig zu erfüllen, wählen Sie gemeinsam mit Ihrem Account-Management-Team eine Mischung von Kapazitätseinheiten aus, die am besten zu Ihrer Arbeitslast passt. Sie können beispielsweise einen Exapool mit einer hohen Anzahl leseoptimierter Einheiten für alle leseintensiven Laufwerke in einem Projekt erstellen.

Verhältnisse von Kapazitätseinheiten für Hyperdisk Throughput Exapools

Hyperdisk Throughput Exapools haben die folgenden Leistungsverhältnisse basierend auf der gekauften Kapazität:

Typ der Kapazitätseinheit Gekaufte Kapazitätseinheiten Exapool-Kapazität (TiB) Lesedurchsatz (MiB/s) Schreibdurchsatz (MiB/s)
Kapazitätsoptimiert 1.024 1 0,97 0,10
Leseoptimiert 1.024 1 3,38 0,10
Schreiboptimiert 1.024 1 0,97 1,84

Verhältnisse von Kapazitätseinheiten für Hyperdisk Balanced Exapools

Hyperdisk Balanced Exapools haben die folgenden Leistungsverhältnisse basierend auf der gekauften Kapazität:

Typ der Kapazitätseinheit Gekaufte Kapazitätseinheiten Exapool-Kapazität (TiB) Lesedurchsatz (MiB/s) Schreibdurchsatz (MiB/s) IOPS für Lesevorgänge IOPS für Schreibvorgänge
Kapazitätsoptimiert 1.024 1 5,12 1,02 275 102
Leseoptimiert 1.024 1 378,88 30,72 21.311 3.072
Schreiboptimiert 1.024 1 220,16 71,68 12.288 6.656

Auswirkungen von Kapazitätseinheiten auf die Laufwerksleistung

Die Mischung von Kapazitätseinheiten eines Exapools hat keine Auswirkungen darauf, wie Laufwerke im Exapool Leistung verbrauchen. Die einzelnen Lese- und Schreibvorgänge der Laufwerke im Pool werden nicht unterschiedlich abgerechnet. Durch den Kauf von Einheiten eines bestimmten Typs werden die Laufwerke nicht auf eine feste Anzahl von Lese- oder Schreib-IOPS beschränkt. Wenn Sie ein Laufwerk in einem Exapool erstellen, geben Sie außerdem kein Limit für Lese- oder Schreib-IOPS an, sondern nur ein Limit für bereitgestellte IOPS.

Angenommen, Sie haben zwei Hyperdisk Balanced Exapools, Pool-1 und Pool-2. Beide haben 100.000.000 kapazitätsoptimierte Einheiten. Pool-1 hat außerdem 5.000.000 schreiboptimierte Einheiten, während Pool-2 5.000.000 leseoptimierte Einheiten hat.

Da beide Pools insgesamt 105.000.000 Einheiten haben, haben sie dieselbe Gesamtkapazität von 100,1 PiB (105.000.000 GiB). Da sie jedoch unterschiedliche Arten von Kapazitätseinheiten haben, haben die Pools unterschiedliche maximale Leistungslimits und Kosten. Es gibt keinen Leistungsunterschied zwischen den Laufwerken in beiden Pools.

Beispiel

Angenommen, ein Hyperdisk Balanced Exapool hat 12.400.000 Kapazitätseinheiten, die sich wie folgt zusammensetzen:

  • 5.000.000 kapazitätsoptimierte Einheiten
  • 2.400.000 leseoptimierte Einheiten
  • 5.000.000 schreiboptimierte Einheiten

Der Exapool hat eine Kapazität von 12.109,4 TiB (1 TiB pro 1.024 Einheiten).

Der Exapool hat 151.488.476 IOPS, die sich wie folgt berechnen:

  • IOPS aus 5.000.000 kapazitätsoptimierten Einheiten: 1.840.820 (1.342.773 IOPS für Lesevorgänge + 498.047 IOPS für Schreibvorgänge)

  • IOPS aus 2.400.000 leseoptimierten Einheiten: 57.147.656 (49.947.656 IOPS für Lesevorgänge + 7.200.000 IOPS für Schreibvorgänge)

  • IOPS aus 5.000.000 schreiboptimierten Einheiten: 92.500.000 (60.000.000 IOPS für Lesevorgänge + 32.500.000 IOPS für Schreibvorgänge)

Leistungs- und Kapazitätsauslastung prüfen

Compute Engine bietet Messwerte, mit denen Sie Ihre Exapools überwachen können. Diese Messwerte beantworten Fragen wie:

  • Wie viele IOPS für Lese- und Schreibvorgänge sind im Exapool noch verfügbar?
  • Wie viel Kapazität wurde Laufwerken im Exapool zugewiesen?
  • Wie viele Laufwerke sind im Exapool?

Sie können diese Messwerte in Cloud Monitoring aufrufen. Weitere Informationen finden Sie unter Hyperdisk-Pools überwachen.

Größen- und Leistungslimits für Hyperdisk Exapools

In diesem Abschnitt sind die Limits für jeden Exapool-Typ aufgeführt.

Attribut Hyperdisk Balanced Exapools Hyperdisk Throughput Exapools
Minimale Kapazität 500 TiB 500 PiB
Maximale Kapazität 1 EiB 5 EiB
Minimaler Durchsatz 1 TiB/s 250 GiB/s
Maximaler Durchsatz 10 TiB/s 10 TiB/s
Maximale Anzahl von Laufwerken pro Pool 500.000 500.000
Kapazitätsschritte 1 TiB 1 PiB
Maximale Anzahl von Exapools pro Projekt und Zone 1 1
Leistungsverhältnisse 32 KB E/A-Größe für Lese- und Schreibdurchsatz; 4 KB E/A-Größe für IOPS für Lese- und Schreibvorgänge 1 MB E/A-Größe für Lesevorgänge, 256 KB E/A-Größe für Schreibvorgänge

Größen- und Leistungslimits für Laufwerke in einem Exapool

Für Laufwerke in einem Exapool gelten dieselben Größen- und Leistungslimits wie für Laufwerke, die sich nicht in einem Pool befinden:

Hyperdisk-Typ Maximal bereitstellbare Leistung pro Laufwerk Anpassbarer Durchsatz Benutzerdefinierte IOPS
Hyperdisk Balanced 160.000 IOPS;
2.400 MiB/s Durchsatz		 Ja Ja
Hyperdisk Throughput 2.400 MiB/s Durchsatz Ja Nein; 4 IOPS pro MiB/s Durchsatz, bis zu 9.600 IOPS

Sie können beim Erstellen ein Leistungslimit für das Laufwerk angeben und das Leistungslimit ändern, während das Laufwerk verwendet wird.

Details zu den Größen- und Leistungslimits finden Sie unter Größen- und Leistungslimits für Hyperdisk Throughput und Größen- und Leistungslimits für Hyperdisk Balanced.

Regionale Verfügbarkeit

Hyperdisk Balanced Exapools und Hyperdisk Throughput Exapools sind in allen Zonen verfügbar.

Verschlüsselung

Das Verschlüsseln von Laufwerken in einem Hyperdisk-Pool funktioniert genauso wie das Verschlüsseln von Laufwerken außerhalb eines Pools.

Weitere Informationen finden Sie unter Laufwerksverschlüsselung.

Preise

Die Abrechnung für Exapools richtet sich nach der Anzahl und dem Typ der Kapazitäts- und Leistungseinheiten, die Sie für den Pool erworben haben. Die bereitgestellten IOPS, der Durchsatz oder die Kapazität für die im Pool erstellten Laufwerke werden nicht in Rechnung gestellt.

Hyperdisk Exapools sind für ressourcenbasierte Rabatte für zugesicherte Nutzung (Committed Use Discounts, CUDs) mit einer Mindestlaufzeit von einem Jahr oder bis zu drei Jahren berechtigt. Wenn Sie einen Exapool mit einer Laufzeit von einem oder drei Jahren kaufen, sind Sie automatisch für ressourcenbasierte CUDs mit einer Laufzeit von einem oder drei Jahren berechtigt.

Weitere Informationen finden Sie unter Laufwerk-Preise.

Beschränkungen

Für Exapools gelten die folgenden Beschränkungen.

Nächste Schritte