Hyperdisk Exapool 概览

本文档介绍了 Exapool 的功能和限制。Hyperdisk Exapool 是 Hyperdisk 池,专为 Hyperdisk 存储池无法在单个可用区中提供足够 Hyperdisk 存储空间的工作负载而设计。借助 Exapool,您可以批量购买存储空间和性能,然后在池中创建磁盘以使用存储空间。

何时使用 Hyperdisk Exapool

Exapool 适用于在单个可用区中拥有数万个磁盘的大规模工作负载,这些工作负载需要 500 TiB 到 2.5 EiB 的持久性块存储空间。如果您的工作负载需要的容量或性能规模较小 ,请使用 Hyperdisk 存储池或在池外创建 磁盘。

Exapool 提供 Compute Engine 中可用的最大规模的存储空间和性能,同时还提供费用节省,让您可以预配比实际需求更多的性能和容量,但只需为实际使用的资源付费。

Hyperdisk Exapool 非常适合大规模 AI、机器学习 (ML) 和大型分布式并行文件系统工作负载。以下是一些示例工作负载:

Hyperdisk Exapool 的示例工作负载:

  • AI/ML 工作负载,跨 4,000 个 TPU 虚拟机,使用 2 PiB 的 Hyperdisk Balanced,预配的 性能为 20,000,000 IOPS 和 3 TiB/秒的吞吐量,可实现 500 GiB/秒的并发聚合 峰值吞吐量。
  • AI/ML 训练工作负载,使用 15,000 个 GPU 实例,使用 Hyperdisk Balanced 作为启动磁盘和暂存 磁盘,总容量为 8 PiB,可实现 1 TiB/秒的并发聚合峰值吞吐量。
  • 并行文件系统,容量为 6 PiB 或更大,并发聚合峰值 为 800 GiB/秒的读取密集型吞吐量。

Exapool 的工作原理

您可以创建一个 Exapool,其中包含可用区内所有工作负载磁盘所需的总容量和性能,然后根据需要在池中创建磁盘。您可以使用 Exapool 中的磁盘作为 Compute Engine 实例和容器的启动磁盘或数据磁盘。

在 Exapool 中创建磁盘时,您会将池中的部分资源(大小和性能)分配给该磁盘。删除池中的磁盘时,分配给该磁盘的资源将返回到池中,供其他磁盘使用。

例如,假设您创建了一个容量为 50 PiB 的 Hyperdisk Balanced Exapool。 如果您在该池中创建 100 个 10 TiB 的磁盘,则该池的剩余可用容量将减少 1,000 TiB。

Exapool 类型

创建 Exapool 时,您必须为池中的磁盘选择 Hyperdisk 类型。 您可以选择以下类型:

如需详细了解如何选择 Hyperdisk 类型,请参阅 为工作负载选择 Hyperdisk 类型

机器系列支持

支持 Hyperdisk Throughput 的机器系列也支持 Hyperdisk Throughput Exapool,支持 Hyperdisk Balanced 的机器系列也支持 Hyperdisk Balanced Exapool。 如需查看受支持的机器系列列表,请参阅 Hyperdisk Throughput 的机器系列支持Hyperdisk Balanced 的机器系列支持

Exapool 的性能和容量预配

池的预配类型决定了池中的磁盘如何使用资源。

Exapool 对容量和性能都使用高级预配,这样可以最大限度地节省费用和时间。

高级容量预配

所有 Exapool 都使用高级容量预配,具有以下优势:

  • 精简预配:Compute Engine 会根据需要将数据分配给池中的磁盘,而不是在预配磁盘时分配。
  • 超额预配:您可以为池中的磁盘预配的容量最多比为 Exapool 购买的容量多 50 倍。这样可以简化容量规划,并避免因手动调整磁盘大小而导致停机。

如需详细了解高级容量预配,请参阅 高级容量预配

高级性能预配

Exapool 使用高级性能预配,具有以下优势:

  • 精简预配:Compute Engine 会根据需要将性能资源分配给池中的磁盘。只有 Exapool 中磁盘使用的 IOPS 和吞吐量才会消耗性能。
  • 超额预配:池中所有磁盘的总性能最多可以是池的预配写入性能的 50 倍。
  • 共享性能:Exapool 中的磁盘共享池的预配性能,直到达到每个磁盘的限制,从而为具有不同峰值使用时间的磁盘节省费用。

如需详细了解高级性能预配,请参阅 高级性能预配

购买容量和性能

Exapool 的预配性能(即您可以分配给池中磁盘的 IOPS 和吞吐量)取决于以下因素:

  • 池中的容量单位数
  • Exapool 的磁盘类型

容量单位的工作原理

一个容量单位包含 1 GiB 的容量和每 GiB 的固定性能量(IOPS 和吞吐量)。例如,如需向池中添加 1 PiB 的容量,您需要购买 1,048,576 个容量单位 (1,048,576 GiB = 1 PiB)。Exapool 提供三种容量单位类型供您选择。添加到池中的性能量取决于容量单位的类型:

  • 容量优化型单位:为读取和写入提供均衡的 IOPS 和吞吐量速率。
  • 读取优化型单位:提供每 GiB 的最高读取操作速率和吞吐量。
  • 写入优化型单位:提供每 GiB 的最高写入操作速率和吞吐量。

如果您的工作负载的读取操作多于写入操作,或者需要比写入吞吐量更高的读取吞吐量,那么购买读取优化型单位将获得最佳价值。

在预配或扩容 Exapool 时,您可以组合使用不同类型的容量单位。您为池购买的容量单位的类型和数量称为容量单位组合。

Exapool 的单位组合不会影响 Exapool 中磁盘的性能。单位组合仅影响以下因素:

  • Exapool 的结算方式。
  • Exapool 的最大预配性能。

为 Exapool 选择容量单位组合

为了以最具成本效益的方式满足工作负载的需求,请与您的 客户支持团队合作,选择最适合您的 工作负载的容量单位组合。例如,您可以为项目中的所有读取密集型磁盘创建一个包含大量读取优化型单位的 Exapool。

Hyperdisk Throughput Exapool 的容量单位比率

Hyperdisk Throughput Exapool 根据购买的容量量具有以下性能比率:

容量单位类型 购买的容量单位 Exapool 容量 (TiB) 读取吞吐量 (MiB/s) 写入吞吐量 (MiB/s)
容量优化型 1,024 1 0.97 0.10
读取优化型 1,024 1 3.38 0.10
写入优化型 1,024 1 0.97 1.84

Hyperdisk Balanced Exapool 的容量单位比率

Hyperdisk Balanced Exapool 根据购买的容量量具有以下性能比率:

容量单位类型 购买的容量单位 Exapool 容量 (TiB) 读取吞吐量 (MiB/s) 写入吞吐量 (MiB/s) 读取 IOPS 写入 IOPS
容量优化型 1,024 1 5.12 1.02 275 102
读取优化型 1,024 1 378.88 30.72 21,311 3,072
写入优化型 1,024 1 220.16 71.68 12,288 6,656

容量单位如何影响磁盘性能

Exapool 的容量单位组合不会影响 Exapool 中的磁盘如何消耗性能。您不会因池中磁盘的各个读取和写入操作而产生不同的费用。 购买特定类型的单位不会将磁盘限制为固定的读取或写入 IOPS 量。此外,在 Exapool 中创建磁盘时,您不会指定读取 IOPS 或写入 IOPS 限制,而只会指定预配的 IOPS 限制。

例如,假设有两个 Hyperdisk Balanced Exapool,分别是 Pool-1Pool-2. 这两个池都包含 100,000,000 个容量优化型单位。Pool-1 还包含 5,000,000 个写入优化型单位,而 Pool-2 包含 5,000,000 个读取优化型单位。

由于这两个池的总单位数均为 105,000,000 个,因此它们将具有相同的总容量,即 100.1 PiB (105,000,000 GiB)。 不过,由于它们具有不同类型的容量单位,因此池具有不同的最大性能限制和费用。这两个池中的磁盘之间没有性能差异。

示例

假设 Hyperdisk Balanced Exapool 包含 12,400,000 个容量单位,包括:

  • 5,000,000 个容量优化型单位
  • 2,400,000 个读取优化型单位
  • 5,000,000 个写入优化型单位

Exapool 的容量为 12,109.4 TiB(每 1,024 个单位 1 TiB)。

Exapool 的 IOPS 为 151,488,476,计算方式如下:

  • 5,000,000 个容量优化型单位的 IOPS:1,840,820(1,342,773 个读取 IOPS + 498,047 个写入 IOPS)

  • 2,400,000 个读取优化型单位的 IOPS:57,147,656(49,947,656 个读取 IOPS + 7,200,000 个写入 IOPS)

  • 5,000,000 个写入优化型单位的 IOPS:92,500,000(60,000,000 个读取 IOPS + 32,500,000 个写入 IOPS)

查看性能和容量利用率

Compute Engine 提供了一些指标,可用于监控 Exapool。这些指标可以回答以下问题:

  • Exapool 中还剩多少读取和写入 IOPS?
  • Exapool 中的磁盘分配了多少容量?
  • Exapool 中有多少个磁盘?

您可以在 Cloud Monitoring 中查看这些指标。如需了解详情,请参阅 监控 Hyperdisk 池

Hyperdisk Exapool 的大小和性能限制

本部分列出了每种 Exapool 类型的限制。

属性 Hyperdisk Balanced Exapool Hyperdisk Throughput Exapool
最小容量 500 TiB 500 PiB
最大容量 1 EiB 5 EiB
最小吞吐量 1 TiB/秒 250 GiB/秒
最大吞吐量 10 TiB/秒 10 TiB/秒
每个池的磁盘数量上限 50 万 50 万
容量增量 1 TiB 1 PiB
每个可用区每个项目的 Exapool 数量上限 1 1
性能比率 读取和写入吞吐量的 I/O 大小为 32 KB;读取和 写入 IOPS 的 I/O 大小为 4 KB 读取的 I/O 大小为 1 MB,写入的 I/O 大小为 256 KB

Exapool 中磁盘的大小和性能限制

Exapool 中的磁盘与不在池中的磁盘具有相同的大小和性能限制,如下所示:

Hyperdisk 类型 每个磁盘的可预配性能上限 可自定义吞吐量 可自定义 IOPS
Hyperdisk Balanced 160,000 IOPS;
2,400 MiB/秒的吞吐量
Hyperdisk Throughput 2,400 MiB/秒的吞吐量 否;每 MiB/秒的吞吐量 4 IOPS,最高 9,600 IOPS

您可以在创建磁盘时指定磁盘的性能限制,并在磁盘使用期间修改性能限制。

如需详细了解大小和性能限制,请参阅 Hyperdisk Throughput 的大小和性能限制 以及 Hyperdisk Balanced 的大小和性能限制

区域级可用性

Hyperdisk Balanced Exapool 和 Hyperdisk Throughput Exapool 在所有可用区中均可用。

加密

对 Hyperdisk 池中的磁盘进行加密的方式与对池外的磁盘进行加密的方式相同。

如需了解详情,请参阅磁盘加密简介

价格

您需要根据为池购买的容量和性能单位的数量和类型为 Exapool 付费。 您无需为池中创建的磁盘的预配 IOPS、吞吐量或容量付费。

Hyperdisk Exapool 符合基于资源的承诺使用折扣 (CUD) 的条件,承诺期限最短为 1 年,最长为 3 年。购买 1 年期或 3 年期 Exapool 后,您将自动符合 1 年期或 3 年期承诺的基于资源的 CUD 的条件。

如需了解详情,请参阅磁盘价格

限制

Exapool 存在以下限制。

  • 您必须与您的客户支持团队联系,才能创建、修改或删除 Hyperdisk Exapool。
  • 您可以为 Exapool 预配的性能量取决于 Exapool 的容量单位的类型和数量。不过,在 Exapool 中创建的磁盘的性能与池的容量单位组合无关。
  • 您无法在 Exapool 中为 Hyperdisk Balanced 卷使用机密模式。
  • Exapool 仅使用高级容量和高级性能预配。它们不支持标准容量或标准性能预配。
  • Exapool 不使用数据压缩。
  • Exapool 不支持性能或容量的自动扩容。您必须自行监控 Exapool 的性能和容量利用率。如果您需要提高池的性能 或容量,必须与您的客户支持团队联系
  • 您无法将现有磁盘移入或移出 Exapool。 您必须创建磁盘的标准快照,然后使用该快照创建新磁盘。

后续步骤