En este documento, se describen las características y los límites de los Exapools. Los Exapools de Hyperdisk son grupos de Hyperdisk diseñados para cargas de trabajo en las que los grupos de almacenamiento de Hyperdisk no proporcionan suficiente almacenamiento de Hyperdisk en una sola zona. Con los Exapools, compras almacenamiento y rendimiento de forma masiva y, luego, creas discos en el grupo para consumir el almacenamiento.
Cuándo usar Exapools de Hyperdisk
Los Exapools son para cargas de trabajo a gran escala con decenas de miles de discos en una sola zona que requieren entre 500 TiB y 2.5 EiB de almacenamiento en bloque duradero. Si tu carga de trabajo requiere una escala menor de capacidad o rendimiento, usa un Hyperdisk Storage Pool o crea discos fuera de un grupo.
Los Exapools ofrecen almacenamiento y rendimiento a la mayor escala disponible en Compute Engine, al mismo tiempo que ofrecen ahorros de costos, ya que te permiten aprovisionar más rendimiento y capacidad de los que necesitas, pero solo te cobran por lo que usas.
Los Exapools de Hyperdisk son ideales para cargas de trabajo de IA, aprendizaje automático (AA) y sistemas de archivos paralelos distribuidos a gran escala. A continuación, se incluyen algunos ejemplos de cargas de trabajo:
Ejemplos de cargas de trabajo para Exapools de Hyperdisk:
- Cargas de trabajo de IA/AA que abarcan 4,000 VMs de TPU y usan 2 PiB de Hyperdisk Balanced con un rendimiento aprovisionado de 20,000,000 de IOPS y 3 TiB/s de capacidad de procesamiento, lo que genera una capacidad de procesamiento máxima agregada simultánea de 500 GiB/s.
- Cargas de trabajo de entrenamiento de IA/AA con 15,000 instancias de GPU que usan Hyperdisk Balanced para discos de arranque y de intercambio con una capacidad total de 8 PiB, lo que genera una capacidad de procesamiento máxima agregada simultánea de 1 TiB/s.
- Sistema de archivos paralelos con 6 PiB o más de capacidad y picos agregados simultáneos de 800 GiB/s de capacidad de procesamiento de lectura pesada.
Cómo funcionan los Exapools
Crea un Exapool con la capacidad y el rendimiento agregados que necesitarán todos los discos de tu carga de trabajo dentro de una zona y, luego, crea discos en el grupo según sea necesario. Puedes usar discos en un Exapool como discos de arranque o discos de datos para tus instancias y contenedores de Compute Engine.
Cuando creas un disco en un Exapool, asignas algunos de los recursos del grupo (tamaño y rendimiento) al disco. Cuando borras un disco en un grupo, los recursos asignados al disco se devuelven al grupo para que los usen otros discos.
Por ejemplo, supongamos que creas un Exapool de Hyperdisk Balanced con 50 PiB de capacidad. Si creas 100 discos de 10 TiB en el grupo, la capacidad disponible restante del grupo disminuye en 1,000 TiB.
Tipos de Exapools
Cuando creas un Exapool, debes elegir un tipo de Hyperdisk para los discos que estarán en el grupo. Estos son los tipos que se encuentran disponibles:
- Exapools de Hyperdisk Balanced: Todos los discos del Exapool son volúmenes de Hyperdisk Balanced.
- Exapool de Hyperdisk Throughput: Todos los discos del Exapool son volúmenes de Hyperdisk Throughput.
Para obtener más información sobre cómo elegir un tipo de Hyperdisk, consulta Elige un tipo de Hyperdisk para tu carga de trabajo.
Compatibilidad con series de máquinas
Los Exapools de Hyperdisk Throughput y los Exapools de Hyperdisk Balanced son compatibles con la misma serie de máquinas que admiten Hyperdisk Throughput y Hyperdisk Balanced, respectivamente. Para obtener una lista de la serie de máquinas compatible, consulta Compatibilidad con series de máquinas para Hyperdisk Throughput y Compatibilidad con series de máquinas para Hyperdisk Balanced.
Aprovisionamiento de rendimiento y capacidad para Exapools
El tipo de aprovisionamiento de un grupo determina cómo los discos del grupo consumen recursos.
Los Exapools usan aprovisionamiento avanzado para la capacidad y el rendimiento, lo que ofrece la mayor cantidad de ahorros de costos y tiempo.
Aprovisionamiento de capacidad avanzada
Todos los Exapools usan aprovisionamiento de capacidad avanzada, que ofrece los siguientes beneficios:
- Aprovisionamiento delgado: Compute Engine asigna datos a los discos del grupo según sea necesario, no cuando se aprovisiona el disco.
- Aprovisionamiento en exceso: Puedes aprovisionar los discos del grupo con hasta 50 veces más capacidad de la que compraste para el Exapool. Esto simplifica la planificación de la capacidad y evita el tiempo de inactividad para el cambio de tamaño manual del disco.
Para obtener una explicación detallada del aprovisionamiento de capacidad avanzada, consulta Aprovisionamiento de capacidad avanzada.
Aprovisionamiento de rendimiento avanzado
Los Exapools usan aprovisionamiento de rendimiento avanzado, que ofrece los siguientes beneficios:
- Aprovisionamiento delgado: Compute Engine asigna recursos de rendimiento a los discos del grupo según sea necesario. Solo la cantidad de IOPS y capacidad de procesamiento que usa un disco en un Exapool consume rendimiento.
- Aprovisionamiento en exceso: El rendimiento total de todos los discos de un grupo puede ser hasta 50 veces el rendimiento de escritura aprovisionado del grupo.
- Rendimiento compartido: Los discos de un Exapool comparten el rendimiento aprovisionado del grupo hasta el límite de cada disco, lo que ahorra costos para los discos con diferentes tiempos de uso máximo.
Para obtener una explicación detallada del aprovisionamiento de rendimiento avanzado, consulta Aprovisionamiento de rendimiento avanzado.
Compra de capacidad y rendimiento
El rendimiento aprovisionado de un Exapool, o la cantidad de IOPS y capacidad de procesamiento que puedes asignar a los discos dentro del grupo, depende de los siguientes factores:
- La cantidad de unidades de capacidad en el grupo
- El tipo de disco del Exapool
Cómo funcionan las unidades de capacidad
Una unidad de capacidad incluye 1 GiB de capacidad y una cantidad fija de rendimiento (IOPS y capacidad de procesamiento) por GiB. Por ejemplo, para agregar 1 PiB de capacidad a un grupo, compras 1,048,576 unidades de capacidad (1,048,576 GiB = 1 PiB). Los Exapools ofrecen tres tipos de unidades de capacidad para elegir. La cantidad de rendimiento que se agrega al grupo depende del tipo de unidades de capacidad:
- Unidades optimizadas para la capacidad: Ofrecen una tasa balanceada de IOPS y capacidad de procesamiento para operaciones de lectura y escritura.
- Unidades optimizadas para la lectura: Ofrecen la tasa más alta de operaciones de lectura y capacidad de procesamiento por GiB.
- Unidades optimizadas para la escritura: Ofrecen la tasa más alta de operaciones de escritura y capacidad de procesamiento por GiB.
Si tu carga de trabajo tiene más operaciones de lectura que de escritura, o si requiere más capacidad de procesamiento de lectura que de escritura, obtendrás el mejor valor si compras unidades optimizadas para la lectura.
Puedes combinar diferentes tipos de unidades de capacidad cuando aprovisionas o expandes un Exapool. El tipo y la cantidad de unidades de capacidad que compras para un grupo se denominan combinación de unidades de capacidad.
La combinación de unidades de un Exapool no afecta el rendimiento de los discos en el Exapool. La combinación de unidades solo afecta los siguientes factores:
- Cómo se te factura el Exapool
- El rendimiento aprovisionado máximo para el Exapool
Elige una combinación de unidades de capacidad para un Exapool
Para satisfacer las necesidades de tu carga de trabajo de la manera más rentable, trabaja con tu equipo de cuentas para elegir una combinación de unidades de capacidad que se adapte mejor a tu carga de trabajo. Por ejemplo, puedes crear un Exapool con una gran cantidad de unidades optimizadas para la lectura para todos los discos con uso intensivo de lectura en un proyecto.
Proporciones de unidades de capacidad para Exapools de Hyperdisk Throughput
Los Exapools de Hyperdisk Throughput tienen las siguientes proporciones de rendimiento según la cantidad de capacidad comprada:
| Tipo de unidad de capacidad | Unidades de capacidad compradas | Capacidad del Exapool (TiB) | Capacidad de procesamiento de lectura (MiB/s) | Capacidad de procesamiento de escritura (MiB/s) |
|---|---|---|---|---|
| Optimizada para la capacidad | 1,024 | 1 | 0.97 | 0.10 |
| Optimizada para la lectura | 1,024 | 1 | 3.38 | 0.10 |
| Optimizada para la escritura | 1,024 | 1 | 0.97 | 1.84 |
Proporciones de unidades de capacidad para Exapool de Hyperdisk Balanced
Los Exapools de Hyperdisk Balanced tienen las siguientes proporciones de rendimiento según la cantidad de capacidad comprada:
| Tipo de unidad de capacidad | Unidades de capacidad compradas | Capacidad del Exapool (TiB) | Capacidad de procesamiento de lectura (MiB/s) | Capacidad de procesamiento de escritura (MiB/s) | IOPS de lectura | IOPS de escritura |
|---|---|---|---|---|---|---|
| Optimizada para la capacidad | 1,024 | 1 | 5.12 | 1.02 | 275 | 102 |
| Optimizada para la lectura | 1,024 | 1 | 378.88 | 30.72 | 21,311 | 3,072 |
| Optimizada para la escritura | 1,024 | 1 | 220.16 | 71.68 | 12,288 | 6,656 |
Cómo afectan las unidades de capacidad al rendimiento del disco
La combinación de unidades de capacidad de un Exapool no afecta la forma en que los discos del Exapool consumen rendimiento. No se te factura de manera diferente por las operaciones individuales de lectura y escritura de los discos en el grupo. La compra de unidades de un tipo específico no restringe los discos a una cantidad fija de IOPS de lectura o escritura. Además, cuando creas un disco en un Exapool, no especificas un límite de IOPS de lectura o escritura, solo especificas un límite de IOPS aprovisionadas.
Por ejemplo, considera dos Exapools de Hyperdisk Balanced, Pool-1 y Pool-2. Ambos tienen 100,000,000 unidades optimizadas para la capacidad. Pool-1 también tiene 5,000,000 unidades optimizadas para la escritura, mientras que Pool-2 tiene 5,000,000 unidades optimizadas para la lectura.
Dado que ambos grupos tienen un total de 105,000,000 unidades, tendrán la misma capacidad total de 100.1 PiB (105,000,000 GiB). Sin embargo, debido a que tienen diferentes tipos de unidades de capacidad, los grupos tienen diferentes límites de rendimiento y costos máximos. No hay diferencia de rendimiento entre los discos de ambos grupos.
Ejemplo
Supongamos que un Exapool de Hyperdisk Balanced tiene 12,400,000 unidades de capacidad, que constan de lo siguiente:
- 5,000,000 unidades optimizadas para la capacidad
- 2,400,000 unidades optimizadas para la lectura
- 5,000,000 unidades optimizadas para la escritura
El Exapool tiene 12,109.4 TiB de capacidad (1 TiB por cada 1,024 unidades).
El Exapool tiene 151,488,476 IOPS, que se calculan de la siguiente manera:
IOPS de 5,000,000 unidades optimizadas para la capacidad: 1,840,820 (1,342,773 IOPS de lectura + 498,047 IOPS de escritura)
IOPS de 2,400,000 unidades optimizadas para la lectura: 57,147,656 (49,947,656 IOPS de lectura + 7,200,000 IOPS de escritura)
IOPS de 5,000,000 unidades optimizadas para la escritura: 92,500,000 (60,000,000 IOPS de lectura + 32,500,000 IOPS de escritura)
Revisa el rendimiento y el uso de la capacidad
Compute Engine ofrece métricas que puedes usar para supervisar tus Exapools. Estas métricas responden preguntas como las siguientes:
- ¿Cuántas IOPS de lectura y escritura quedan en el Exapool?
- ¿Cuánta capacidad se asignó a los discos en el Exapool?
- ¿Cuántos discos hay en el Exapool?
Puedes ver estas métricas en Cloud Monitoring. Para obtener más información, consulta Supervisa los grupos de Hyperdisk.
Límites de tamaño y rendimiento para Exapools de Hyperdisk
En esta sección, se enumeran los límites para cada tipo de Exapool.
| Propiedad | Exapools de Hyperdisk Balanced | Exapools de Hyperdisk Throughput |
|---|---|---|
| Capacidad mínima | 500 TiB | 500 PiB |
| Capacidad máxima | 1 EiB | 5 EiB |
| Capacidad de procesamiento mínima | 1 TiB/s | 250 GiB/s |
| Capacidad de procesamiento máxima | 10 TiB/s | 10 TiB/s |
| Cantidad máxima de discos por grupo | 500,000 | 500,000 |
| Incrementos de capacidad | 1 TiB | 1 PiB |
| Cantidad máxima de Exapools por proyecto por zona | 1 | 1 |
| Proporciones de rendimiento | Tamaño de E/S de 32 KB para la capacidad de procesamiento de lectura y escritura; tamaño de E/S de 4 KB para las IOPS de lectura y escritura | Tamaño de E/S de 1 MB para lecturas, tamaño de E/S de 256 KB para escrituras |
Límites de tamaño y rendimiento para discos dentro de un Exapool
Los discos de un Exapool tienen los mismos límites de tamaño y rendimiento que los discos que no están en un grupo, de la siguiente manera:
| Tipo de Hyperdisk | Rendimiento máximo aprovisionable por disco | Capacidad de procesamiento personalizable | IOPS personalizables |
|---|---|---|---|
| Hyperdisk Balanced | 160,000 IOPS; 2,400 MiB/s de capacidad de procesamiento |
Sí | Sí |
| Hyperdisk Throughput | 2,400 MiB/s de capacidad de procesamiento | Sí | No; 4 IOPS por MiB/s de capacidad de procesamiento, hasta 9,600 IOPS |
Puedes especificar un límite de rendimiento para el disco en el momento de la creación y modificarlo mientras el disco está en uso.
Para obtener detalles sobre los límites de tamaño y rendimiento, consulta Límites de tamaño y rendimiento para Hyperdisk Throughput y Límites de tamaño y rendimiento para Hyperdisk Balanced.
Disponibilidad regional
Los Exapools de Hyperdisk Balanced y los Exapools de Hyperdisk Throughput están disponibles en todas las zonas.
Encriptación
La encriptación de discos en un grupo de Hyperdisk funciona de la misma manera que la encriptación de discos fuera de un grupo.
Para obtener más información, consulta Información sobre la encriptación de discos.
Precios
Se te factura por los Exapools según la cantidad y el tipo de unidades de capacidad y rendimiento que compraste para el grupo. No se te factura por las IOPS, la capacidad de procesamiento ni la capacidad aprovisionadas para los discos creados en el grupo.
Los Exapools de Hyperdisk son aptos para los descuentos por compromiso de uso (CUD) basados en recursos con un compromiso mínimo de 1 año o hasta 3 años. Cuando compras un Exapool de 1 o 3 años, calificas automáticamente para los CUD basados en recursos en compromisos de 1 o 3 años.
Para obtener más información, consulta Precios de discos.
Limitaciones
Se aplican las siguientes limitaciones a los Exapools.
- Debes comunicarte con tu equipo de cuentas para crear, modificar o borrar un Exapool de Hyperdisk.
- La cantidad de rendimiento que puedes aprovisionar para un Exapool depende del tipo y la cantidad de unidades de capacidad del Exapool. Sin embargo, el rendimiento de los discos creados en un Exapool es independiente de la combinación de unidades de capacidad del grupo.
- No puedes usar el modo confidencial para los volúmenes de Hyperdisk Balanced en un Exapool.
- Los Exapools solo usan aprovisionamiento de capacidad avanzada y rendimiento avanzado. No admiten el aprovisionamiento de capacidad estándar ni de rendimiento estándar.
- Los Exapools no usan compresión de datos.
- Los Exapools no admiten el crecimiento automático para el rendimiento o la capacidad. Debes supervisar el uso de rendimiento y capacidad de tu Exapool por tu cuenta. Si necesitas aumentar el rendimiento o la capacidad del grupo, debes comunicarte con tu equipo de cuentas.
- No puedes mover discos existentes dentro o fuera de un Exapool. Debes crear una instantánea estándar del disco y, luego, usarla para crear un disco nuevo.