Este documento descreve os recursos e limites dos Exapools. Os Exapools do Hyperdisk são pools do Hyperdisk projetados para cargas de trabalho em que os pools de armazenamento do Hyperdisk não oferecem armazenamento suficiente do Hyperdisk em uma única zona. Com os Exapools, você compra armazenamento e desempenho em massa e cria discos no pool para consumir o armazenamento.
Quando usar os Exapools do Hyperdisk
Os exapools são para cargas de trabalho em grande escala com dezenas de milhares de discos em uma única zona que exigem entre 500 TiB e 2,5 EiB de armazenamento em blocos durável. Se a carga de trabalho exigir uma escala menor de capacidade ou desempenho, use um pool de armazenamento do Hyperdisk ou crie discos fora de um pool.
Os Exapools oferecem armazenamento e desempenho na maior escala disponível no Compute Engine, além de economia de custos, permitindo provisionar mais desempenho e capacidade do que o necessário, mas cobrando apenas pelo que você usa.
Os Exapools do Hyperdisk são ideais para IA, machine learning (ML) e cargas de trabalho de sistema de arquivos paralelos distribuídos em grande escala. Veja alguns exemplos:
Exemplos de cargas de trabalho para Hyperdisk Exapools:
- Cargas de trabalho de IA/ML que abrangem 4.000 VMs de TPU e usam 2 PiB do Hyperdisk Balanced com desempenho provisionado de 20.000.000 IOPS e capacidade de processamento de 3 TiB/s, impulsionando a capacidade de processamento agregado simultâneo de 500 GiB/s.
- Cargas de trabalho de treinamento de IA/ML com 15.000 instâncias de GPU usando o Hyperdisk Balanced para discos de inicialização e temporários com uma capacidade total de 8 PiB, gerando uma capacidade de processamento de pico agregada simultânea de 1 TiB/s.
- Sistema de arquivos paralelos com capacidade de 6 PiB ou mais e picos agregados simultâneos de 800 GiB/s de capacidade de leitura intensa.
Como os Exapools funcionam
Crie um Exapool com a capacidade agregada e o desempenho necessários para todos os discos da sua carga de trabalho em uma zona e, em seguida, crie discos no pool conforme necessário. É possível usar discos em um Exapool como discos de inicialização ou de dados para suas instâncias e contêineres do Compute Engine.
Ao criar um disco em um Exapool, você aloca alguns dos recursos do pool (tamanho e desempenho) para o disco. Quando você exclui um disco em um pool, os recursos alocados a ele são retornados ao pool para uso por outros discos.
Por exemplo, suponha que você crie um Hyperdisk Balanced Exapool com 50 PiB de capacidade. Se você criar 100 discos de 10 TiB no pool, a capacidade restante disponível do pool vai diminuir em 1.000 TiB.
Tipos de Exapool
Ao criar um Exapool, é preciso escolher um tipo de hiperdisco para os discos que estarão no pool. Os seguintes tipos estão disponíveis:
- Exapools do Hyperdisk Balanced: todos os discos no Exapool são volumes do Hyperdisk Balanced.
- Exapool do Hyperdisk Throughput: todos os discos no Exapool são volumes do Hyperdisk Throughput.
Para mais informações sobre como escolher um tipo de Hyperdisk, consulte Escolher um tipo de Hyperdisk para sua carga de trabalho.
Compatibilidade com séries de máquinas
Os Exapools Hyperdisk Throughput e Hyperdisk Balanced são compatíveis com a mesma série de máquinas que oferecem suporte a Hyperdisk Throughput e Hyperdisk Balanced, respectivamente. Para uma lista das séries de máquinas compatíveis, consulte Suporte a séries de máquinas para o Hyperdisk Throughput e Suporte a séries de máquinas para o Hyperdisk Balanced.
Provisionamento de desempenho e capacidade para Exapools
O tipo de provisionamento de um pool determina como os discos no pool consomem recursos.
Os exapools usam provisionamento avançado para capacidade e desempenho, o que oferece a maior economia de custo e tempo.
Provisionamento avançado de capacidade
Todos os Exapools usam o provisionamento de capacidade avançada, que oferece os seguintes benefícios:
- Provisionamento dinâmico: o Compute Engine aloca dados para discos no pool conforme necessário, não quando o disco é provisionado.
- Provisionamento excessivo: é possível provisionar os discos no pool com até 50 vezes mais capacidade do que você comprou para o Exapool. Isso simplifica o planejamento de capacidade e evita o tempo de inatividade para o redimensionamento manual do disco.
Para uma explicação detalhada sobre o provisionamento avançado de capacidade, consulte Provisionamento avançado de capacidade.
Provisionamento de desempenho avançado
Os Exapools usam o provisionamento de desempenho avançado, que oferece os seguintes benefícios:
- Provisionamento dinâmico: o Compute Engine aloca recursos de desempenho para os discos no pool conforme necessário. Apenas a quantidade de IOPS e capacidade de processamento usadas por um disco em um Exapool consomem desempenho.
- Provisionamento excessivo: o desempenho total de todos os discos em um pool pode ser até 50 vezes o desempenho de gravação provisionado do pool.
- Desempenho compartilhado: os discos em um Exapool compartilham o desempenho provisionado do pool até o limite de cada disco, economizando custos para discos com diferentes horários de pico de uso.
Para uma explicação detalhada do provisionamento de desempenho avançado, consulte Provisionamento de desempenho avançado.
Capacidade e performance de compra
O desempenho provisionado de um Exapool, ou seja, quantas IOPS e capacidade de processamento podem ser alocadas para discos no pool, depende dos seguintes fatores:
- O número de unidades de capacidade no pool
- O tipo de disco do Exapool.
Como as unidades de capacidade funcionam
Uma unidade de capacidade inclui 1 GiB de capacidade e uma quantidade fixa de desempenho (IOPS e capacidade de processamento) por GiB. Por exemplo, para adicionar 1 PiB de capacidade a um pool, compre 1.048.576 unidades de capacidade (1.048.576 GiB = 1 PiB). Os Exapools oferecem três tipos de unidades de capacidade para escolher. A quantidade de desempenho adicionada ao pool depende do tipo de unidades de capacidade:
- Unidades otimizadas para capacidade: oferecem uma taxa equilibrada de IOPS e capacidade de processamento para leituras e gravações.
- Unidades otimizadas para leitura: oferecem a maior taxa de operações de leitura e capacidade de processamento por GiB.
- Unidades otimizadas para gravação: oferecem a maior taxa de operações de gravação e capacidade de processamento por GiB.
Se a carga de trabalho tiver mais operações de leitura do que de gravação ou exigir mais capacidade de processamento de leitura do que de gravação, compre unidades otimizadas para leitura para ter o melhor custo-benefício.
É possível combinar diferentes tipos de unidades de capacidade ao provisionar ou expandir uma Exapool. O tipo e o número de unidades de capacidade que você compra para um pool são chamados de combinação de unidades de capacidade.
A combinação de unidades de uma Exapool não afeta o desempenho dos discos nela. A combinação de unidades afeta apenas os seguintes fatores:
- Como a cobrança é feita pelo Exapool.
- O desempenho provisionado máximo para o Exapool.
Escolher uma combinação de unidades de capacidade para uma Exapool
Para atender às necessidades da sua carga de trabalho da maneira mais econômica, trabalhe com sua equipe de conta e escolha uma combinação de unidades de capacidade que melhor se adapte à sua carga de trabalho. Por exemplo, você pode criar um Exapool com um grande número de unidades otimizadas para leitura para todos os discos com uso intensivo de leitura em um projeto.
Proporções de unidades de capacidade para Exapools do Hyperdisk Throughput
Os Exapools do Hyperdisk Throughput têm as seguintes proporções de desempenho com base na quantidade de capacidade comprada:
| Tipo de unidade de capacidade | Unidades de capacidade compradas | Capacidade do Exapool (TiB) | Capacidade de leitura (MiB/s) | Capacidade de gravação (MiB/s) |
|---|---|---|---|---|
| Otimização de capacidade | 1.024 | 1 | 0.97 | 0,10 |
| Otimizado para leitura | 1.024 | 1 | 3,38 | 0,10 |
| Otimizado para gravação | 1.024 | 1 | 0.97 | 1,84 |
Proporções de unidades de capacidade para o Exapool do Hyperdisk Balanced
Os Exapools do Hyperdisk Balanced têm as seguintes proporções de desempenho com base na quantidade de capacidade comprada:
| Tipo de unidade de capacidade | Unidades de capacidade compradas | Capacidade do Exapool (TiB) | Capacidade de leitura (MiB/s) | Capacidade de gravação (MiB/s) | Ler IOPS | Gravar IOPS |
|---|---|---|---|---|---|---|
| Otimização de capacidade | 1.024 | 1 | 5.12 | 1,02 | 275 | 102 |
| Otimizado para leitura | 1.024 | 1 | 378,88 | 30,72 | 21.311 | 3.072 |
| Otimizado para gravação | 1.024 | 1 | 220.16 | 71,68 | 12.288 | 6.656 |
Como as unidades de capacidade afetam o desempenho do disco
A combinação de unidades de capacidade de um Exapool não afeta o consumo de desempenho dos discos no Exapool. Você não recebe uma cobrança diferente pelas operações individuais de leitura e gravação dos discos no pool. A compra de unidades de um tipo específico não restringe os discos a uma quantidade fixa de IOPS de leitura ou gravação. Além disso, ao criar um disco em um Exapool, você não especifica um limite de IOPS de leitura ou gravação, apenas um limite de IOPS provisionadas.
Por exemplo, considere dois Hyperdisk Balanced Exapools, Pool-1 e Pool-2.. Ambos têm 100.000.000 unidades otimizadas para capacidade. Pool-1 também tem 5.000.000 unidades otimizadas para gravação, enquanto Pool-2 tem 5.000.000 unidades otimizadas para leitura.
Como os dois pools têm um total de 105.000.000 unidades, eles têm a mesma capacidade total de 100,1 PiB (105.000.000 GiB). No entanto, como eles têm tipos diferentes de unidades de capacidade, os pools têm limites máximos de desempenho e custos diferentes. Não há diferença de desempenho entre os discos nos dois pools.
Exemplo
Suponha que um Exapool Hyperdisk Balanced tenha 12.400.000 unidades de capacidade, consistindo em:
- 5.000.000 de unidades otimizadas para capacidade
- 2.400.000 unidades otimizadas para leitura
- 5.000.000 unidades otimizadas para gravação
O Exapool tem 12.109,4 TiB de capacidade (1 TiB para cada 1.024 unidades).
O Exapool tem 151.488.476 IOPS, calculado da seguinte forma:
IOPS de 5.000.000 unidades otimizadas para capacidade: 1.840.820 (1.342.773 IOPS de leitura + 498.047 IOPS de gravação)
IOPS de 2.400.000 unidades otimizadas para leitura: 57.147.656 (49.947.656 IOPS de leitura + 7.200.000 IOPS de gravação)
IOPS de 5.000.000 unidades otimizadas para gravação: 92.500.000 (60.000.000 IOPS de leitura + 32.500.000 IOPS de gravação)
Analisar o desempenho e o uso da capacidade
O Compute Engine oferece métricas que podem ser usadas para monitorar seus Exapools. Essas métricas respondem a perguntas como:
- Quantas IOPS de leitura e gravação ainda restam na Exapool?
- Quanta capacidade foi alocada para os discos no Exapool?
- Quantos discos há no Exapool?
É possível visualizar essas métricas no Cloud Monitoring. Para saber mais, consulte Monitorar pools do Hyperdisk.
Limites de tamanho e desempenho para Exapools do Hyperdisk
Esta seção lista os limites para cada tipo de Exapool.
| Propriedade | Exapools do Hyperdisk Balanced | Exapools do Hyperdisk Throughput |
|---|---|---|
| Capacidade mínima | 500 TiB | 500 PiB |
| Capacidade máxima | 1 EiB | 5 EiB |
| Capacidade de processamento mínima | 1 TiB/s | 250 GiB/s |
| Capacidade máxima | 10 TiB/s | 10 TiB/s |
| Número máximo de discos por pool | 500.000 | 500.000 |
| Incrementos de capacidade | 1 TiB | 1 PiB |
| Máximo de Exapools por projeto e zona | 1 | 1 |
| Proporções de performance | Tamanho de E/S de 32 KB para capacidade de processamento de leitura e gravação; tamanho de E/S de 4 KB para IOPS de leitura e gravação | Tamanho de E/S de 1 MB para leituras e de 256 KB para gravações |
Limites de tamanho e desempenho para discos em uma Exapool
Os discos em um Exapool têm o mesmo tamanho e limites de desempenho dos discos que não estão em um pool, da seguinte forma:
| Tipo de Hyperdisk | Desempenho máximo que pode ser provisionado por disco | Capacidade de processamento personalizável | IOPS personalizáveis |
|---|---|---|---|
| Hiperdisco equilibrado | 160.000 IOPS; 2.400 MiB/s de capacidade de processamento |
Sim | Sim |
| Hyperdisk Throughput | Capacidade de processamento de 2.400 MiB/s | Sim | Não. 4 IOPS por MiB/s de capacidade de processamento, até 9.600 IOPS |
Você pode especificar um limite de desempenho para o disco no momento da criação e modificar o limite de desempenho enquanto o disco estiver em uso.
Para detalhes sobre os limites de tamanho e desempenho, consulte Limites de tamanho e desempenho do Hyperdisk Throughput e Limites de tamanho e desempenho do Hyperdisk Balanced.
Disponibilidade regional
Os Exapools do Hyperdisk Balanced e do Hyperdisk Throughput estão disponíveis em todas as zonas.
Criptografia
A criptografia de discos em um pool de hiperdisco funciona da mesma forma que a criptografia de discos fora de um pool.
Para mais informações, consulte Sobre a criptografia de disco.
Preços
Você recebe cobranças pelos Exapools com base no número e no tipo de unidades de capacidade e desempenho compradas para o pool. Não há cobranças pelas IOPS, capacidade de processamento ou capacidade provisionadas para os discos criados no pool.
Os Exapools do Hyperdisk são qualificados para descontos por compromisso de uso (CUDs) baseados em recursos com um compromisso mínimo de um ano ou até três anos. Ao comprar um Exapool de um ou três anos, você se qualifica automaticamente para CUDs com base em recursos em compromissos de um ou três anos.
Para mais informações, consulte Preços de disco.
Limitações
As seguintes limitações se aplicam aos Exapools.
- Entre em contato com sua equipe de conta para criar, modificar ou excluir um Hyperdisk Exapool.
- A quantidade de performance que você pode provisionar para um Exapool depende do tipo e do número de unidades de capacidade para o Exapool. No entanto, a performance dos discos criados em um Exapool é independente da combinação de unidades de capacidade do pool.
- Não é possível usar o modo confidencial para volumes do Hyperdisk Balanced em um Exapool.
- Os exapools usam apenas o provisionamento avançado de capacidade e desempenho. Eles não oferecem suporte ao provisionamento de capacidade ou desempenho padrão.
- Os Exapools não usam compactação de dados.
- Os Exapools não são compatíveis com o crescimento automático para performance ou capacidade. Você precisa monitorar por conta própria a utilização da performance e da capacidade da Exapool. Se você precisar aumentar o desempenho ou a capacidade do pool, entre em contato com sua equipe de conta.
- Não é possível mover discos atuais para dentro ou para fora de um Exapool. É necessário criar um snapshot padrão do disco e usá-lo para criar um novo disco.