Hyperdisk-Exapools – Übersicht

In diesem Dokument werden die Funktionen und Limits von Exapools beschrieben. Hyperdisk Exapools sind Hyperdisk-Pools, die für Arbeitslasten entwickelt wurden, bei denen Hyperdisk Storage Pools nicht genügend Hyperdisk-Speicher in einer einzelnen Zone bieten. Mit Exapools erwerben Sie Speicher und Leistung in großen Mengen und erstellen dann Laufwerke im Pool, um den Speicher zu nutzen.

Wann Hyperdisk Exapools verwendet werden sollten

Exapools sind für umfangreiche Arbeitslasten mit Zehntausenden von Laufwerken in einer einzelnen Zone gedacht, die zwischen 500 TiB und 2,5 EiB dauerhaften Blockspeicher erfordern. Wenn Ihre Arbeitslast eine geringere Kapazität oder Leistung erfordert, verwenden Sie einen Hyperdisk-Speicherpool oder erstellen Sie Laufwerke außerhalb eines Pools.

Exapools bieten Speicher und Leistung im größten in der Compute Engine verfügbaren Umfang. Außerdem können Sie damit Kosten sparen, da Sie mehr Leistung und Kapazität bereitstellen können, als Sie benötigen, aber nur für das bezahlen, was Sie tatsächlich nutzen.

Hyperdisk Exapools sind ideal für große KI-, Machine Learning- (ML) und große verteilte parallele Dateisystem-Arbeitslasten. Hier einige Beispielarbeitslasten:

Beispielarbeitslasten für Hyperdisk-Exapools:

  • KI-/ML-Arbeitslasten, die 4.000 TPU-VMs umfassen und 2 PiB Hyperdisk Balanced mit einer bereitgestellten Leistung von 20.000.000 IOPS und einem Durchsatz von 3 TiB/s verwenden, was zu einem gleichzeitigen aggregierten Spitzendurchsatz von 500 GiB/s führt.
  • KI-/ML-Trainingsarbeitslasten mit 15.000 GPU-Instanzen,die Hyperdisk Balanced für Boot- und Scratch-Laufwerke mit einer Gesamtkapazität von 8 PiB verwenden, was zu einem gleichzeitigen aggregierten Spitzendurchsatz von 1 TiB/s führt.
  • Paralleles Dateisystem mit einer Kapazität von mindestens 6 PiB und gleichzeitigen aggregierten Spitzenwerten von 800 GiB/s bei hohem Lesedurchsatz.

Funktionsweise von Exapools

Sie erstellen einen Exapool mit der Gesamtkapazität und -leistung, die alle Laufwerke Ihrer Arbeitslast in einer Zone benötigen, und erstellen dann nach Bedarf Laufwerke im Pool. Sie können Laufwerke in einem Exapool als Bootlaufwerke oder Datenlaufwerke für Ihre Compute Engine-Instanzen und -Container verwenden.

Wenn Sie ein Laufwerk in einem Exapool erstellen, weisen Sie dem Laufwerk einen Teil der Ressourcen des Pools (Größe und Leistung) zu. Wenn Sie ein Laufwerk in einem Pool löschen, werden die dem Laufwerk zugewiesenen Ressourcen an den Pool zurückgegeben, damit sie von anderen Laufwerken verwendet werden können.

Angenommen, Sie erstellen einen Hyperdisk Balanced Exapool mit einer Kapazität von 50 PiB. Wenn Sie 100 Laufwerke mit 10 TiB im Pool erstellen, verringert sich die verbleibende verfügbare Kapazität des Pools um 1.000 TiB.

Exapool-Typen

Wenn Sie einen Exapool erstellen, müssen Sie einen Hyperdisk-Typ für die Laufwerke im Pool auswählen. Die folgenden Typen sind verfügbar:

Weitere Informationen zur Auswahl eines Hyperdisk-Typs finden Sie unter Hyperdisk-Typ für Ihre Arbeitslast auswählen.

Unterstützung von Maschinenserien

Hyperdisk Throughput Exapools und Hyperdisk Balanced Exapools werden von denselben Maschinenserien unterstützt, die auch Hyperdisk Throughput und Hyperdisk Balanced unterstützen. Eine Liste der unterstützten Maschinenserien finden Sie unter Unterstützung von Maschinenserien für Hyperdisk Throughput und Unterstützung von Maschinenserien für Hyperdisk Balanced.

Leistungs- und Kapazitätsbereitstellung für Exapools

Der Bereitstellungstyp eines Pools bestimmt, wie Laufwerke im Pool Ressourcen verbrauchen.

Exapools verwenden eine erweiterte Bereitstellung für Kapazität und Leistung, was die größten Kosten- und Zeiteinsparungen bietet.

Erweiterte Kapazitätsbereitstellung

Alle Exapools verwenden die erweiterte Kapazitätsbereitstellung, die folgende Vorteile bietet:

  • Thin Provisioning: Compute Engine weist Daten den Laufwerken im Pool nach Bedarf zu, nicht wenn das Laufwerk bereitgestellt wird.
  • Überdimensionierung: Sie können die Laufwerke im Pool mit bis zu 50-mal mehr Kapazität bereitstellen, als Sie für den Exapool erworben haben. Dies vereinfacht die Kapazitätsplanung und vermeidet Ausfallzeiten für die manuelle Größenanpassung von Laufwerken.

Eine ausführliche Erläuterung der erweiterten Kapazitätsbereitstellung finden Sie unter Erweiterte Kapazitätsbereitstellung.

Erweiterte Leistungsbereitstellung

Exapools verwenden die erweiterte Leistungsbereitstellung, die folgende Vorteile bietet:

  • Thin Provisioning: Compute Engine weist den Laufwerken im Pool nach Bedarf Leistungsressourcen zu. Nur die Menge an IOPS und Durchsatz, die von einem Laufwerk in einem Exapool verwendet wird, verbraucht Leistung.
  • Überdimensionierung: Die Gesamtleistung aller Laufwerke in einem Pool kann bis zu 50-mal so hoch sein wie die bereitgestellte Schreibleistung des Pools.
  • Gemeinsame Leistung: Laufwerke in einem Exapool teilen sich die bereitgestellte Leistung des Pools bis zum Limit des jeweiligen Laufwerks. So sparen Sie Kosten für Laufwerke mit unterschiedlichen Spitzenzeiten.

Eine ausführliche Erläuterung der erweiterten Leistungsbereitstellung finden Sie unter Erweiterte Leistungsbereitstellung.

Kapazität und Leistung erwerben

Die bereitgestellte Leistung eines Exapools oder die Anzahl der IOPS und der Durchsatz, die Sie Laufwerken im Pool zuweisen können, hängt von den folgenden Faktoren ab:

  • Die Anzahl der Kapazitätseinheiten im Pool
  • Der Laufwerkstyp des Exapools

Funktionsweise von Kapazitätseinheiten

Eine Kapazitätseinheit umfasst 1 GiB Kapazität und eine feste Menge an Leistung (IOPS und Durchsatz) pro GiB. Wenn Sie einem Pool beispielsweise 1 PiB Kapazität hinzufügen möchten, erwerben Sie 1.048.576 Kapazitätseinheiten (1.048.576 GiB = 1 PiB). Exapools bieten drei Kapazitätseinheitstypen zur Auswahl. Die dem Pool hinzugefügte Leistung hängt vom Typ der Kapazitätseinheiten ab:

  • Kapazitätsoptimierte Einheiten: bieten eine ausgewogene Rate von IOPS und Durchsatz für Lese- und Schreibvorgänge.
  • Leseoptimierte Einheiten: bieten die höchste Rate an Lesevorgängen und Durchsatz pro GiB.
  • Schreiboptimierte Einheiten: bieten die höchste Rate an Schreibvorgängen und den höchsten Durchsatz pro GiB.

Wenn Ihre Arbeitslast mehr Lese- als Schreibvorgänge umfasst oder mehr Lesedurchsatz als Schreibdurchsatz erfordert, erzielen Sie den besten Wert, wenn Sie lesoptimierte Einheiten erwerben.

Sie können verschiedene Arten von Kapazitätseinheiten kombinieren, wenn Sie einen Exapool bereitstellen oder erweitern. Der Typ und die Anzahl der Kapazitätseinheiten, die Sie für einen Pool kaufen, werden als Mischung von Kapazitätseinheiten bezeichnet.

Die Kombination von Einheiten in einem Exapool hat keinen Einfluss auf die Leistung der Laufwerke im Exapool. Die Kombination von Einheiten wirkt sich nur auf die folgenden Faktoren aus:

  • Wie der Exapool abgerechnet wird.
  • Die maximal bereitgestellte Leistung für den Exapool.

Kombination von Kapazitätseinheiten für einen Exapool auswählen

Wenn Sie die Anforderungen Ihrer Arbeitslast möglichst kostengünstig erfüllen möchten, wenden Sie sich an Ihr Account-Management-Team, um eine Kombination von Kapazitätseinheiten auszuwählen, die am besten zu Ihrer Arbeitslast passt. Sie können beispielsweise einen Exapool mit einer großen Anzahl von leseoptimierten Einheiten für alle leseintensiven Laufwerke in einem Projekt erstellen.

Verhältnisse der Kapazitätseinheiten für Hyperdisk Throughput Exapools

Hyperdisk Throughput Exapools haben die folgenden Leistungsverhältnisse, basierend auf der gekauften Kapazität:

Kapazitätseinheitstyp Gekaufte Kapazitätseinheiten Exapool-Kapazität (TiB) Lesedurchsatz (MiB/s) Schreibdurchsatz (MiB/s)
Kapazitätsoptimiert 1.024 1 0.97 0,10
Leseoptimiert 1.024 1 3,38 0,10
Schreiboptimiert 1.024 1 0.97 1,84

Verhältnisse der Kapazitätseinheiten für Hyperdisk Balanced Exapool

Hyperdisk Balanced Exapools haben die folgenden Leistungsverhältnisse, basierend auf der gekauften Kapazität:

Kapazitätseinheitstyp Gekaufte Kapazitätseinheiten Exapool-Kapazität (TiB) Lesedurchsatz (MiB/s) Schreibdurchsatz (MiB/s) IOPS für Lesevorgänge IOPS für Schreibvorgänge
Kapazitätsoptimiert 1.024 1 5.12 1,02 275 102
Leseoptimiert 1.024 1 378,88 30,72 21.311 3.072
Schreiboptimiert 1.024 1 220.16 71,68 12.288 6.656

Auswirkungen von Kapazitätseinheiten auf die Laufwerksleistung

Die Kombination von Kapazitätseinheiten eines Exapools hat keinen Einfluss darauf, wie Laufwerke im Exapool Leistung verbrauchen. Die einzelnen Lese- und Schreibvorgänge der Laufwerke im Pool werden nicht unterschiedlich abgerechnet. Der Kauf von Einheiten eines bestimmten Typs beschränkt die Laufwerke nicht auf eine feste Anzahl von Lese- oder Schreib-IOPS. Wenn Sie ein Laufwerk in einem Exapool erstellen, geben Sie kein Limit für Lese- oder Schreib-IOPS an, sondern nur ein Limit für bereitgestellte IOPS.

Angenommen, Sie haben zwei Hyperdisk Balanced Exapools, Pool-1 und Pool-2.. Beide haben 100.000.000 kapazitätsoptimierte Einheiten. Pool-1 hat außerdem 5.000.000 schreiboptimierte Einheiten, während Pool-2 5.000.000 leseoptimierte Einheiten hat.

Da beide Pools insgesamt 105.000.000 Einheiten haben, haben sie dieselbe Gesamtkapazität von 100,1 PiB (105.000.000 GiB). Da sie jedoch unterschiedliche Arten von Kapazitätseinheiten haben, haben die Pools unterschiedliche maximale Leistungslimits und Kosten. Es gibt keinen Leistungsunterschied zwischen Laufwerken in den beiden Pools.

Beispiel

Angenommen, ein Hyperdisk Balanced Exapool hat 12.400.000 Kapazitätseinheiten, die sich so zusammensetzen:

  • 5.000.000 kapazitätsoptimierte Einheiten
  • 2.400.000 leseoptimierte Einheiten
  • 5.000.000 schreiboptimierte Einheiten

Der Exapool hat eine Kapazität von 12.109,4 TiB (1 TiB pro 1.024 Einheiten).

Der Exapool hat 151.488.476 IOPS, die so berechnet werden:

  • IOPS aus 5.000.000 kapazitätsoptimierten Einheiten: 1.840.820 (1.342.773 Lese-IOPS + 498.047 Schreib-IOPS)

  • IOPS von 2.400.000 leseoptimierten Einheiten: 57.147.656 (49.947.656 Lese-IOPS + 7.200.000 Schreib-IOPS)

  • IOPS von 5.000.000 schreiboptimierten Einheiten: 92.500.000 (60.000.000 Lese-IOPS + 32.500.000 Schreib-IOPS)

Leistung und Kapazitätsauslastung prüfen

Compute Engine bietet Messwerte, mit denen Sie Ihre Exapools überwachen können. Mit diesen Messwerten können Sie folgende Fragen beantworten:

  • Wie viele Lese- und Schreib-IOPS sind im Exapool noch verfügbar?
  • Wie viel Kapazität wurde den Laufwerken im Exapool zugewiesen?
  • Wie viele Laufwerke befinden sich im Exapool?

Sie können diese Messwerte in Cloud Monitoring ansehen. Weitere Informationen finden Sie unter Hyperdisk-Pools überwachen.

Größen- und Leistungslimits für Hyperdisk Exapools

In diesem Abschnitt werden die Limits für die einzelnen Exapool-Typen aufgeführt.

Attribut Hyperdisk Balanced Exapools Hyperdisk Throughput-Exapools
Minimale Kapazität 500 TiB 500 PiB
Maximale Kapazität 1 EiB 5 EiB
Maximaler Durchsatz 10 TiB/s 10 TiB/s
Maximale Anzahl von Laufwerken pro Pool 500.000 500.000
Kapazitätsschritte 1 TiB 1 PiB
Maximale Anzahl von Exapools pro Projekt und Zone 1 1
Leistungsverhältnisse 32 KB E/A-Größe für Lese- und Schreibdurchsatz; 4 KB E/A-Größe für Lese- und Schreib-IOPS 1 MB E/A-Größe für Lesevorgänge, 256 KB E/A-Größe für Schreibvorgänge

Größen- und Leistungslimits für Laufwerke in einem Exapool

Laufwerke in einem Exapool haben dieselben Größen- und Leistungslimits wie Laufwerke, die sich nicht in einem Pool befinden:

Hyperdisk-Typ Maximale bereitstellbare Leistung pro Laufwerk Anpassbarer Durchsatz Benutzerdefinierte IOPS
Hyperdisk abgestimmt 160.000 IOPS;
2.400 MiB/s Durchsatz		 Ja Ja
Hyperdisk Throughput 2.400 MiB/s Durchsatz Ja Nein; 4 IOPS pro MiB/s Durchsatz, bis zu 9.600 IOPS

Sie können beim Erstellen des Laufwerks ein Leistungslimit angeben und dieses Limit ändern, während das Laufwerk verwendet wird.

Weitere Informationen zu den Größen- und Leistungslimits finden Sie unter Größen- und Leistungslimits für Hyperdisk Throughput und Größen- und Leistungslimits für Hyperdisk Balanced.

Regionale Verfügbarkeit

Hyperdisk Balanced Exapools und Hyperdisk Throughput Exapools sind in allen Zonen verfügbar.

Verschlüsselung

Das Verschlüsseln von Laufwerken in einem Hyperdisk-Pool funktioniert genauso wie das Verschlüsseln von Laufwerken außerhalb eines Pools.

Weitere Informationen finden Sie unter Laufwerksverschlüsselung.

Reservierungen

Sie können Exapool-Kapazität zusammen mit Compute-Instanzen reservieren, indem Sie vorausschauende Reservierungen für Kapazitätsblöcke verwenden. Sie können auch Laufwerke aus einem Exapool an Compute-Instanzen anhängen, die eine Reservierung verbrauchen.

Weitere Informationen finden Sie unter Reservierungen für Pools.

Preise

Exapools werden Ihnen basierend auf der Anzahl und dem Typ der Kapazitäts- und Leistungseinheiten in Rechnung gestellt, die Sie für den Pool erworben haben. Die bereitgestellten IOPS, der Durchsatz oder die Kapazität für die im Pool erstellten Laufwerke werden Ihnen nicht in Rechnung gestellt.

Compute Engine bietet Rabatte für ressourcenbasierte zugesicherte Nutzung (CUDs) für Ihre Hyperdisk Exapools. Sie können diese Rabatte erhalten, indem Sie Zusicherungen für Blockspeicher mit einer Laufzeit von 1 oder 3 Jahren erwerben. Weitere Informationen zur Funktionsweise von Zusicherungen für Blockspeicher finden Sie unter Zusicherungen für Blockspeicher in der Dokumentation zu ressourcenbasierten Rabatten für zugesicherte Nutzung. Eine Anleitung zum Erwerben einer Zusicherung für Blockspeicher finden Sie unter Zusicherungen für Blockspeicher erwerben.

Einen Vergleich der On-Demand-Preise mit den Preisen für Rabatte für zugesicherte Nutzung für 1 Jahr und 3 Jahre finden Sie unter Laufwerkspreise.

Beschränkungen

Für Exapools gelten die folgenden Einschränkungen.

  • Sie müssen sich an Ihr Account-Management-Team wenden, um einen Hyperdisk Exapool zu erstellen, zu ändern oder zu löschen.
  • Die Leistung, die Sie für einen Exapool bereitstellen können, hängt vom Typ und der Anzahl der Kapazitätseinheiten für den Exapool ab. Die Leistung von Laufwerken, die in einem Exapool erstellt werden, ist jedoch unabhängig von der Mischung der Kapazitätseinheiten des Pools.
  • Sie können den Modus „Vertraulich“ für Hyperdisk Balanced-Volumes in einem Exapool nicht verwenden.
  • Exapools verwenden nur die erweiterte Kapazitäts- und Leistungsbereitstellung. Sie unterstützen keine Standardkapazität oder Standardleistungsbereitstellung.
  • Exapools verwenden keine Datenkomprimierung.
  • Exapools unterstützen kein automatisches Wachstum für Leistung oder Kapazität. Sie müssen die Leistungs- und Kapazitätsauslastung Ihres Exapools selbst überwachen. Wenn Sie die Leistung oder Kapazität des Pools erhöhen möchten, müssen Sie sich an Ihr Account-Management-Team wenden.
  • In einem Pool können nur neue Laufwerke im selben Projekt und in derselben Zone erstellt werden.
  • Sie können Laufwerke nicht in einen oder aus einem Pool verschieben. Sie müssen das Laufwerk aus einem Standard-Snapshot neu erstellen. Weitere Informationen finden Sie unter Laufwerkstyp ändern.
  • Wenn Sie Bootlaufwerke in einem Speicherpool erstellen möchten, müssen Sie einen Hyperdisk Balanced Storage Pool oder einen Hyperdisk Balanced Exapool verwenden.
  • Pools unterstützen keine regionalen Laufwerke.
  • Folgendes ist nicht möglich für Laufwerke in einem Pool: Klonen, Instant Snapshots erstellen oder asynchrone Replikation konfigurieren.

Nächste Schritte