Neste documento, descrevemos os recursos e limites dos Exapools. Os Exapools do Hyperdisk são pools do Hyperdisk projetados para cargas de trabalho em que os pools de armazenamento do Hyperdisk não fornecem armazenamento suficiente em uma única zona. Com os Exapools, você compra armazenamento e desempenho em massa e, em seguida, cria discos no pool para consumir o armazenamento.
Quando usar os Hyperdisk Exapools
Os exapools são para cargas de trabalho de grande escala com dezenas de milhares de discos em uma única zona que exigem entre 500 TiB e 2,5 EiB de armazenamento em blocos durável. Se a carga de trabalho exigir uma escala menor de capacidade ou desempenho, use um pool de armazenamento do Hyperdisk ou crie discos fora de um pool.
Os Exapools oferecem armazenamento e desempenho na maior escala disponível no Compute Engine, além de economia de custos, permitindo que você provisione mais desempenho e capacidade do que precisa, mas cobrando apenas pelo que usar.
Os Hyperdisk Exapools são ideais para cargas de trabalho de IA em grande escala, machine learning (ML) e sistemas de arquivos paralelos distribuídos de grande porte. Veja a seguir alguns exemplos de cargas de trabalho:
Exemplos de cargas de trabalho para Hyperdisk Exapools:
- Cargas de trabalho de IA/ML que abrangem 4.000 VMs de TPU e usam 2 PiB de Hyperdisk Balanced com desempenho provisionado de 20.000.000 IOPS e capacidade de processamento de 3 TiB/s, gerando uma capacidade de processamento de pico agregada simultânea de 500 GiB/s.
- Cargas de trabalho de treinamento de IA/ML com 15.000 instâncias de GPU usando o Hyperdisk Balanced para discos de inicialização e de rascunho com capacidade total de 8 PiB, gerando uma capacidade de processamento de pico simultânea de 1 TiB/s.
- Sistema de arquivos paralelo com 6 PiB ou mais de capacidade e picos agregados simultâneos de 800 GiB/s de capacidade de leitura intensa.
Como os Exapools funcionam
Crie um Exapool com a capacidade agregada e o desempenho que todos os discos da carga de trabalho em uma zona vão precisar e, em seguida, crie discos no pool conforme necessário. É possível usar discos em um Exapool como discos de inicialização ou de dados para as instâncias e os contêineres do Compute Engine.
Ao criar um disco em um Exapool, você aloca alguns dos recursos do pool (tamanho e desempenho) para o disco. Quando você exclui um disco em um pool, os recursos alocados para ele são retornados ao pool para uso por outros discos.
Por exemplo, suponha que você crie um Exapool do Hyperdisk Balanced com 50 PiB de capacidade. Se você criar 100 discos de 10 TiB no pool, a capacidade disponível restante do pool vai diminuir em 1.000 TiB.
Tipos de Exapool
Ao criar um Exapool, é preciso escolher um tipo de Hyperdisk para os discos que estarão no pool. Os seguintes tipos estão disponíveis:
- Exapools do Hyperdisk Balanced: todos os discos no Exapool são volumes do Hyperdisk Balanced.
- Hyperdisk Throughput Exapool: todos os discos no Exapool são volumes do Hyperdisk Throughput.
Para mais informações sobre como escolher um tipo de Hyperdisk, consulte Escolher um tipo de Hyperdisk para sua carga de trabalho.
Compatibilidade com séries de máquinas
Os Exapools do Hyperdisk Throughput e os Exapools do Hyperdisk Balanced são compatíveis com as mesmas séries de máquinas que oferecem suporte ao Hyperdisk Throughput e ao Hyperdisk Balanced, respectivamente. Para uma lista das séries de máquinas compatíveis, consulte Suporte a séries de máquinas para o Hyperdisk Throughput e Suporte a séries de máquinas para o Hyperdisk Balanced.
Provisionamento de desempenho e capacidade para Exapools
O tipo de provisionamento de um pool determina como os discos no pool consomem recursos.
Os Exapools usam provisionamento avançado para capacidade e desempenho, o que oferece a maior economia de custo e tempo.
Provisionamento avançado de capacidade
Todos os Exapools usam o provisionamento de capacidade avançado, que oferece os seguintes benefícios:
- Provisionamento dinâmico: o Compute Engine aloca dados para discos no pool conforme necessário, não quando o disco é provisionado.
- Provisionamento excessivo: é possível provisionar os discos no pool com até 50 vezes mais capacidade do que você comprou para o Exapool. Isso simplifica o planejamento de capacidade e evita o tempo de inatividade para o redimensionamento manual do disco.
Para uma explicação detalhada do provisionamento de capacidade avançada, consulte Provisionamento de capacidade avançada.
Provisionamento de desempenho avançado
Os Exapools usam o provisionamento de desempenho avançado, que oferece os seguintes benefícios:
- Provisionamento dinâmico: o Compute Engine aloca recursos de desempenho para os discos no pool conforme necessário. Apenas a quantidade de IOPS e capacidade de processamento usadas por um disco em um Exapool consome desempenho.
- Superprovisionamento: o desempenho total de todos os discos em um pool pode ser até 50 vezes maior que o desempenho de gravação provisionado do pool.
- Desempenho compartilhado: os discos em um Exapool compartilham o desempenho provisionado do pool até o limite de cada disco, economizando custos para discos com diferentes horários de pico de uso.
Para uma explicação detalhada do provisionamento de desempenho avançado, consulte Provisionamento de desempenho avançado.
Capacidade de compra e desempenho
O desempenho provisionado de um Exapool, ou seja, quantas IOPS e capacidade de processamento você pode alocar para discos dentro do pool, depende dos seguintes fatores:
- O número de unidades de capacidade no pool
- O tipo de disco do Exapool
Como funcionam as unidades de capacidade
Uma unidade de capacidade inclui 1 GiB de capacidade e uma quantidade fixa de desempenho (IOPS e capacidade de processamento) por GiB. Por exemplo, para adicionar 1 PiB de capacidade a um pool, compre 1.048.576 unidades de capacidade (1.048.576 GiB = 1 PiB). Os Exapools oferecem três tipos de unidade de capacidade para você escolher. A quantidade de performance adicionada ao pool depende do tipo de unidades de capacidade:
- Unidades otimizadas para capacidade: oferecem uma taxa equilibrada de IOPS e capacidade de processamento para leituras e gravações.
- Unidades otimizadas para leitura: oferecem a maior taxa de operações de leitura e capacidade de processamento por GiB.
- Unidades com otimização para gravação: oferecem a maior taxa de operações de gravação e capacidade de processamento por GiB.
Se a carga de trabalho tiver mais operações de leitura do que de gravação ou se exigir mais capacidade de leitura do que de gravação, você terá o melhor valor comprando unidades otimizadas para leitura.
É possível combinar diferentes tipos de unidades de capacidade ao provisionar ou expandir um Exapool. O tipo e o número de unidades de capacidade que você compra para um pool são chamados de combinação de unidades de capacidade.
A combinação de unidades de um Exapool não afeta o desempenho dos discos nele. A combinação de unidades afeta apenas os seguintes fatores:
- Como a cobrança é feita para o Exapool.
- O desempenho máximo provisionado para o Exapool.
Escolher uma combinação de unidades de capacidade para um Exapool
Para atender às necessidades da sua carga de trabalho da maneira mais econômica, trabalhe com sua equipe de conta para escolher uma combinação de unidades de capacidade que melhor se adapte à sua carga de trabalho. Por exemplo, é possível criar um Exapool com um alto número de unidades otimizadas para leitura para todos os discos com uso intensivo de leitura em um projeto.
Proporções de unidades de capacidade para Exapools do Hyperdisk Throughput
Os Exapools do Hyperdisk Throughput têm as seguintes proporções de desempenho com base na quantidade de capacidade comprada:
| Tipo de unidade de capacidade | Unidades de capacidade compradas | Capacidade do Exapool (TiB) | Capacidade de leitura (MiB/s) | Capacidade de gravação (MiB/s) |
|---|---|---|---|---|
| Capacidade otimizada | 1.024 | 1 | 0.97 | 0,10 |
| Otimizado para leitura | 1.024 | 1 | 3,38 | 0,10 |
| Otimizado para gravação | 1.024 | 1 | 0.97 | 1,84 |
Proporções de unidades de capacidade para o Hyperdisk Balanced Exapool
Os Exapools do Hyperdisk Balanced têm as seguintes proporções de desempenho com base na quantidade de capacidade comprada:
| Tipo de unidade de capacidade | Unidades de capacidade compradas | Capacidade do Exapool (TiB) | Capacidade de leitura (MiB/s) | Capacidade de gravação (MiB/s) | Ler IOPS | Gravar IOPS |
|---|---|---|---|---|---|---|
| Capacidade otimizada | 1.024 | 1 | 5.12 | 1,02 | 275 | 102 |
| Otimizado para leitura | 1.024 | 1 | 378,88 | 30,72 | 21.311 | 3.072 |
| Otimizado para gravação | 1.024 | 1 | 220,16 | 71,68 | 12.288 | 6.656 |
Como as unidades de capacidade afetam o desempenho do disco
A combinação de unidades de capacidade de um Exapool não afeta como os discos no Exapool consomem desempenho. Não há cobrança diferente pelas operações individuais de leitura e gravação dos discos no pool. A compra de unidades de um tipo específico não restringe os discos a uma quantidade fixa de IOPS de leitura ou gravação. Além disso, ao criar um disco em um Exapool, você não especifica um limite de IOPS de leitura ou gravação, apenas um limite de IOPS provisionado.
Por exemplo, considere dois Hyperdisk Balanced Exapools, Pool-1 e Pool-2..
Ambos têm 100.000.000 de unidades otimizadas para capacidade. Pool-1 também tem 5.000.000 de unidades otimizadas para gravação, enquanto Pool-2 tem 5.000.000 de unidades otimizadas para leitura.
Como os dois pools têm um total de 105.000.000 unidades, eles terão a mesma capacidade total de 100,1 PiB (105.000.000 GiB). No entanto, como eles têm diferentes tipos de unidades de capacidade, os pools têm diferentes limites máximos de desempenho e custos. Não há diferença de desempenho entre os discos nos dois pools.
Exemplo
Suponha que um Exapool do Hyperdisk Balanced tenha 12.400.000 unidades de capacidade, que consistem em:
- 5.000.000 de unidades otimizadas para capacidade
- 2.400.000 unidades otimizadas para leitura
- 5.000.000 de unidades otimizadas para gravação
O Exapool tem 12.109,4 TiB de capacidade (1 TiB para cada 1.024 unidades).
O Exapool tem 151.488.476 IOPS, calculadas da seguinte forma:
IOPS de 5.000.000 de unidades otimizadas para capacidade: 1.840.820 (1.342.773 IOPS de leitura + 498.047 IOPS de gravação)
IOPS de 2.400.000 unidades otimizadas para leitura: 57.147.656 (49.947.656 IOPS de leitura + 7.200.000 IOPS de gravação)
IOPS de 5.000.000 de unidades otimizadas para gravação: 92.500.000 (60.000.000 de IOPS de leitura + 32.500.000 de IOPS de gravação)
Analisar o desempenho e a utilização da capacidade
O Compute Engine oferece métricas que podem ser usadas para monitorar seus Exapools. Essas métricas respondem a perguntas como:
- Quantas IOPS de leitura e gravação restam no Exapool?
- Quanta capacidade foi alocada para os discos no Exapool?
- Quantos discos estão no Exapool?
É possível ver essas métricas no Cloud Monitoring. Para saber mais, consulte Monitorar pools de Hyperdisk.
Limites de tamanho e desempenho para Hyperdisk Exapools
Nesta seção, listamos os limites de cada tipo de Exapool.
| Propriedade | Hyperdisk Balanced Exapools | Exapools do Hyperdisk Throughput |
|---|---|---|
| Capacidade mínima | 500 TiB | 500 PiB |
| Capacidade máxima | 1 EiB | 5 EiB |
| Capacidade máxima | 10 TiB/s | 10 TiB/s |
| Número máximo de discos por pool | 500.000 | 500.000 |
| Aumentos de capacidade | 1 TiB | 1 PiB |
| Máximo de Exapools por projeto e zona | 1 | 1 |
| Proporções de desempenho | Tamanho de E/S de 32 KB para capacidade de leitura e gravação; tamanho de E/S de 4 KB para IOPS de leitura e gravação | Tamanho de E/S de 1 MB para leituras, tamanho de E/S de 256 K para gravações |
Limites de tamanho e desempenho para discos em um Exapool
Os discos em um Exapool têm os mesmos limites de tamanho e desempenho que os discos que não estão em um pool, da seguinte maneira:
| Tipo de Hyperdisk | Desempenho máximo que pode ser provisionado por disco | Capacidade de processamento personalizável | IOPS personalizáveis |
|---|---|---|---|
| Hiperdisco equilibrado | 160.000 IOPS; capacidade de processamento de 2.400 MiB/s |
Sim | Sim |
| Hyperdisk Throughput | Capacidade de processamento de 2.400 MiB/s | Sim | Não. 4 IOPS por MiB/s de capacidade de processamento, até 9.600 IOPS |
É possível especificar um limite de desempenho para o disco no momento da criação e modificá-lo enquanto o disco estiver em uso.
Para detalhes sobre os limites de tamanho e desempenho, consulte Limites de tamanho e desempenho do Hyperdisk Throughput e Limites de tamanho e desempenho do Hyperdisk Balanced.
Disponibilidade regional
Os Exapools do Hyperdisk Balanced e do Hyperdisk Throughput estão disponíveis em todas as zonas.
Criptografia
A criptografia de discos em um pool de Hyperdisk funciona da mesma forma que a criptografia de discos fora de um pool.
Para mais informações, consulte Sobre a criptografia de disco.
Reservas
É possível reservar a capacidade dos Exapools junto com instâncias de computação usando reservas adiantadas para blocos de capacidade. Também é possível anexar discos de um Exapool a instâncias de computação que consomem uma reserva.
Para mais informações, consulte Reservas para pools.
Preços
A cobrança dos Exapools é feita com base no número e no tipo de unidades de capacidade e desempenho que você comprou para o pool. Você não vai receber cobranças pelas IOPS provisionadas, pela capacidade de processamento ou pela capacidade dos discos criados no pool.
O Compute Engine oferece descontos por compromisso de uso com base em recursos (CUDs) para seus Hyperdisk Exapools. Para receber esses descontos, adquira compromissos de armazenamento em blocos de 1 ou 3 anos. Para saber mais sobre como funcionam os compromissos de armazenamento em blocos, consulte Compromissos de armazenamento em blocos na documentação de CUDs baseados em recursos. Para instruções sobre como comprar um compromisso de armazenamento em blocos, consulte Comprar compromissos de armazenamento em blocos.
Para comparar os preços sob demanda com os preços CUD de um e três anos, consulte Preços de discos.
Limitações
As limitações a seguir se aplicam aos Exapools.
- É preciso entrar em contato com sua equipe de conta para criar, modificar ou excluir um Hyperdisk Exapool.
- O desempenho que pode ser provisionado para um Exapool depende do tipo e do número de unidades de capacidade do Exapool. No entanto, o desempenho dos discos criados em um Exapool é independente da combinação de unidades de capacidade do pool.
- Não é possível usar o modo confidencial para volumes do Hyperdisk Balanced em um Exapool.
- Os Exapools usam apenas o provisionamento de capacidade avançada e desempenho avançado. Eles não são compatíveis com o provisionamento de capacidade ou desempenho padrão.
- Os Exapools não usam compactação de dados.
- Os Exapools não são compatíveis com o crescimento automático para desempenho ou capacidade. Você precisa monitorar o uso de desempenho e capacidade do Exapool. Para aumentar o desempenho ou a capacidade do pool, entre em contato com a equipe de conta.
- Somente novos discos no mesmo projeto e zona podem ser criados em um pool.
- Não é possível mover discos para dentro ou para fora de um pool. É necessário recriar o disco com base em um snapshot padrão. Para mais informações, consulte Alterar o tipo de disco.
- Para criar discos de inicialização em um pool, use um pool de armazenamento do Hyperdisk Balanced ou um Exapool do Hyperdisk Balanced.
- Os pools não oferecem suporte a discos regionais.
- Não é possível clonar, criar Instant Snapshots ou configurar a replicação assíncrona para discos em um pool.