Sobre os pools de armazenamento do Hyperdisk

Este documento discute os recursos e limites dos pools de armazenamento do Hyperdisk. Os pools de armazenamento são os pools de hiperdisco recomendados para a maioria das cargas de trabalho e ajudam a simplificar o gerenciamento de discos e reduzir custos.

Com os pools de armazenamento, você compra capacidade e desempenho em massa e cria discos no pool para consumir o armazenamento.

Se a carga de trabalho exigir mais de 5 PiB de capacidade ou 1 TiB/s ou mais de capacidade de processamento provisionada em um único projeto e zona, use um Hyperdisk Exapool.

Quando usar pools de armazenamento de hiperdisco

O Google recomenda pools de armazenamento para grandes cargas de trabalho empresariais, como apps empresariais ou SGBDs, que exigem 20 TiB ou mais de capacidade de disco provisionada em um único projeto e zona.

Exemplos de cargas de trabalho para pools de armazenamento do Hyperdisk:

• Cargas de trabalho de simulação de IA/ML e HPC com 1.000 instâncias de GPU usando volumes Hyperdisk Balanced em conjunto com SSD local como cache compartilhado.
• Carga de trabalho distribuída em vários bancos de dados e aplicativos, com 100 TiB de capacidade provisionada em vários volumes usados por bancos de dados e aplicativos.

Recursos do pool de armazenamento do Hyperdisk

Os pools de armazenamento têm os seguintes recursos:

• Capacidade e desempenho de provisionamento reduzido: a capacidade e o desempenho são alocados conforme necessário, em vez de alocar todos os recursos com antecedência. Isso ajuda a evitar baixas taxas de utilização de recursos de armazenamento, em que grandes quantidades de espaço em disco ou desempenho são alocadas, mas não usadas.
• Redução de dados: os pools de armazenamento usam várias tecnologias de redução de dados para aumentar a eficiência do armazenamento. A redução de dados depende muito do tipo de dados armazenados. Os dados que já estão compactados ou criptografados antes de serem armazenados em um disco em um pool de armazenamento do Hyperdisk não geram redução adicional.

Como funcionam os pools de armazenamento de hiperdisco

Crie um pool de armazenamento com a capacidade agregada e o desempenho necessários para suas cargas de trabalho e, em seguida, crie discos no pool de armazenamento. Depois, você pode anexar os discos às suas VMs. Ao criar os discos, é possível criá-los com um tamanho muito maior ou um limite de desempenho provisionado maior do que o necessário. Isso simplifica o planejamento e oferece espaço para crescimento posterior, sem a necessidade de mudar o tamanho provisionado ou o desempenho do disco para uma data posterior.

Se as cargas de trabalho aumentarem e os discos precisarem de mais capacidade ou desempenho, será possível aumentar a capacidade provisionada e o desempenho do pool de armazenamento. A quantidade de espaço em disco ou desempenho usada pelos discos individuais no pool de armazenamento pode aumentar até o limite especificado quando você criou o disco. Ao criar os discos em um pool de armazenamento de capacidade avançada ou desempenho avançado com um tamanho ou limite de desempenho muito maior inicialmente e alocar mais espaço e desempenho pelo pool de armazenamento, você consolida o gerenciamento de armazenamento em disco e reduz custos.

Se um pool de armazenamento de capacidade avançada atingir 100% de utilização e não houver espaço livre restante no pool de armazenamento, as gravações em todos os discos no pool de armazenamento vão falhar até que você reduza o espaço usado no pool de armazenamento excluindo dados ou discos. A maioria dos softwares comerciais interpreta os erros retornados quando o espaço na piscina se esgota de maneira semelhante às falhas de hardware.

É importante gerenciar e monitorar ativamente seu pool de armazenamento para evitar erros de espaço. Também é preciso entender como a carga de trabalho vai responder se encontrar um erro de falta de espaço em um disco em um pool de armazenamento.

Quando a utilização de desempenho agregado de todos os discos no pool de armazenamento atinge a quantidade total de desempenho provisionada para o pool de armazenamento, os discos podem encontrar uma disputa de desempenho. Se uma contenção por recursos de desempenho for detectada em um pool de armazenamento de desempenho avançado para quaisquer discos nos pools, o recurso de crescimento automático tentará aumentar automaticamente as IOPS disponíveis para os discos no pool de armazenamento para evitar problemas de desempenho.

Tipos de provisionamento para pools de armazenamento com hiperdisco

Ao criar um pool de armazenamento do Hyperdisk, é possível configurá-lo com o provisionamento avançado ou padrão para capacidade e desempenho.

Pools de armazenamento de capacidade padrão

Com o provisionamento de capacidade padrão, você cria discos no pool de armazenamento até que a capacidade provisionada total de todos os discos no pool de armazenamento atinja a capacidade provisionada. Os discos em um pool de armazenamento de capacidade padrão consomem capacidade de maneira semelhante aos discos que não são do pool de armazenamento.

Pools de armazenamento de capacidade avançada

Os discos em um pool de armazenamento de capacidade avançada consomem capacidade de maneira diferente dos discos em um pool de armazenamento de capacidade padrão e dos discos em pools que não são de armazenamento. Os pools de armazenamento de capacidade avançada oferecem provisionamento fino e redução de dados para capacidade, permitindo que você provisione discos com mais capacidade do que você comprou. Os discos em um pool de armazenamento de capacidade avançada consomem capacidade apenas com base no número de bytes gravados nos discos após a redução de dados, o que significa que é possível provisionar mais capacidade para usuários finais e aplicativos do que você comprou no pool de armazenamento.

Com a capacidade avançada, você cria discos no pool de armazenamento em que o tamanho cumulativo de todos os discos pode exceder a capacidade provisionada do pool em até 1.000%. A capacidade usada do pool de armazenamento é definida pela quantidade de dados gravados,e não pela capacidade de disco provisionada.

É possível preencher discos em um pool de armazenamento de capacidade avançada até o tamanho provisionado, desde que os dados gravados em todos os discos no pool de armazenamento não excedam a capacidade do pool. Se a utilização do pool de armazenamento atingir 80% da capacidade provisionada do pool, o recurso de crescimento automático tentará adicionar capacidade ao pool de armazenamento automaticamente. Se a capacidade do pool de armazenamento for totalmente usada, as gravações em todos os discos do pool de armazenamento vão falhar até que você exclua dados ou discos para reduzir a capacidade usada do pool de armazenamento.. A maioria dos aplicativos de software interpreta os erros retornados quando o espaço do pool é esgotado de maneira semelhante às falhas de hardware. Por isso, o seguinte deve ser observado:

• Monitore seu pool de armazenamento para evitar a falta de espaço em disco
• Entenda como sua carga de trabalho responde caso isso aconteça

Os pools de armazenamento não têm visibilidade do sistema de arquivos. Portanto, os dados excluídos são considerados como ainda em uso até que o sistema operacional (SO) os marque como não utilizados com um comando DISCARD ou TRIM. Todas as imagens do SO fornecidas pelo Google são configuradas para fazer isso por padrão, assim como as imagens de SO de terceiros mais comuns, mas confirme isso se você não estiver usando uma imagem do SO fornecida pelo Google. Mais informações sobre como verificar ou configurar esse recurso estão disponíveis em Desativar a inicialização lenta e ativar comandos DISCARD.

Pools de armazenamento de desempenho padrão

O provisionamento de desempenho padrão é a melhor opção para os seguintes tipos de cargas de trabalho:

• Cargas de trabalho que não podem ser concluídas se o desempenho for limitado pelos recursos do pool de armazenamento
• Cargas de trabalho em que os discos no pool de armazenamento provavelmente têm picos de desempenho correlacionados, por exemplo, discos de dados para bancos de dados que estão no pico de utilização todas as manhãs.

Com o provisionamento de desempenho padrão, o provisionamento fino não está disponível. Além disso, os discos criados em um pool de armazenamento de desempenho padrão não compartilham recursos de desempenho com o restante do pool de armazenamento. A quantidade agregada de performance de todos os discos criados no pool de armazenamento não pode exceder o total de IOPS provisionadas ou a capacidade de processamento do pool de armazenamento.

Ao criar o pool de armazenamento, você provisiona desempenho suficiente para cobrir as necessidades de pico de desempenho combinadas de todos os discos no pool. Ao criar discos no pool, você provisiona uma quantidade de desempenho que abrange os requisitos de pico de desempenho daquele disco. É possível continuar criando discos no pool até que o total de IOPS provisionadas de todos os discos atinja a quantidade provisionada do pool.

Em um pool de armazenamento de Hyperdisk Balanced com desempenho padrão, os primeiros 3.000 IOPS e 140 MiB/s de capacidade de processamento de cada disco no pool de armazenamento (o desempenho de referência) não consomem recursos do pool de armazenamento. Quando você cria discos no pool de armazenamento, as IOPS e a capacidade de processamento que excedem os valores de referência consomem IOPS e capacidade do pool de armazenamento.

Pools de armazenamento de desempenho avançado

O provisionamento avançado de desempenho é mais adequado para cargas de trabalho que não têm horários de pico de uso correlacionados. Se todas as cargas de trabalho atingirem o pico ao mesmo tempo, o pool de armazenamento de desempenho avançado poderá atingir os limites de desempenho do pool de armazenamento, o que resulta em contenção de recursos de desempenho.

O provisionamento de capacidade e as IOPS de desempenho avançados permitem que você compartilhe um pool de desempenho provisionado em todos os discos de um pool de armazenamento. O pool de armazenamento aloca dinamicamente recursos de desempenho como os discos que o pool de armazenamento lê e grava dados. Apenas a quantidade de IOPS e capacidade de processamento usadas por um disco no pool de armazenamento consome o desempenho do pool de armazenamento.

Como os pools de armazenamento de desempenho avançado são pouco provisionados, você pode alocar mais IOPS ou capacidade de processamento para os discos no pool de armazenamento do que você provisionou para o pool de armazenamento, até 500% das IOPS ou da capacidade de processamento provisionada para o pool de armazenamento. Por exemplo, se você provisionar 100.000 IOPS para um pool de armazenamento, poderá ter 10 discos no pool de armazenamento, cada um provisionado com 50.000 IOPS.

Em um pool de armazenamento Hyperdisk Balanced com provisionamento de desempenho avançado, os discos não têm valor de referência de desempenho. Cada operação de leitura e gravação de um disco do Hyperdisk Balanced no pool de armazenamento consome recursos provisionados do pool.

Em qualquer momento, quando o desempenho agregado usado por todos os discos no pool de armazenamento atinge a quantidade total de desempenho provisionado para o pool de armazenamento, os discos podem competir entre si pelos recursos de desempenho. Por isso, os discos não alcançam os níveis máximos de desempenho que você provisionou para os discos. Quando a contenção de recursos for detectada por um período prolongado, o Compute Engine tentará adicionar desempenho automaticamente ao pool de armazenamento. Ao usar pools de armazenamento de desempenho avançado, você precisa fazer o seguinte:

• Monitore seus pools de armazenamento para evitar o esgotamento do desempenho provisionado
• Entenda como sua carga de trabalho responde caso isso aconteça

Exemplo

Suponha que você tenha um pool de armazenamento Hyperdisk Balanced com 100.000 IOPS provisionadas.

Com o provisionamento de desempenho padrão:

• É possível provisionar até 100.000 IOPS agregados ao criar discos de Hyperdisk Balanced no pool de armazenamento.
• Você vai receber uma cobrança pelas 100.000 IOPS de desempenho provisionadas do pool de armazenamento Hyperdisk Balanced.

• Assim como os discos criados fora de um pool de armazenamento, os discos Hyperdisk Balanced em pools de armazenamento de desempenho padrão são provisionados automaticamente com até 3.000 IOPS de referência e 140 MiB/s de capacidade de processamento de valor de referência. O desempenho deste valor de referência não é contabilizado no desempenho provisionado para o pool de armazenamento. Somente quando você adiciona discos ao pool de armazenamento com desempenho provisionado acima do valor de referência é que ele é contabilizado para o desempenho provisionado do pool de armazenamento. Por exemplo:

  • Um disco provisionado com 3.000 IOPS usa 0 IOPS do pool, e o pool ainda tem 100.000 IOPS provisionadas disponíveis para outros discos.
  • Um disco provisionado com 13.000 IOPS usa 10.000 IOPS de pool, e o pool tem 90.000 IOPS provisionadas restantes que podem ser alocadas para outros discos no pool de armazenamento.

Com o provisionamento de desempenho avançado:

• É possível provisionar até 500.000 IOPS de desempenho agregado do Hyperdisk ao criar discos no pool de armazenamento.
• Você vai receber uma cobrança por 100.000 IOPS provisionadas pelo pool de armazenamento.
• Se você criar um único disco (Disk1) no pool de armazenamento com 5.000 IOPS, não vai consumir nenhuma IOPS das IOPS provisionadas do pool de armazenamento. No entanto, a quantidade de IOPS que você pode provisionar para novos discos criados no pool de armazenamento agora é de 495.000.
• Se Disk1 começar a ler e gravar dados e usar o máximo de 5.000 IOPS em um determinado minuto, 5.000 IOPS serão consumidas pelas IOPS provisionadas pelo pool de armazenamento. Todos os outros discos criados no mesmo pool de armazenamento podem usar um máximo agregado de 95.000 IOPS no mesmo minuto sem entrar em conflito.

Tipos de pools de armazenamento de hiperdisco

O tipo de pool de armazenamento do Hyperdisk criado determina o tipo de discos que é possível criar no pool de armazenamento.

• Pool de armazenamento Hyperdisk Throughput: ao criar o pool de armazenamento, você especifica a capacidade e a capacidade de processamento a serem provisionadas para o pool de armazenamento. Cada disco Hyperdisk Throughput criado no pool de armazenamento usa parte da capacidade e capacidade de processamento provisionada.
• Pool de armazenamento Hyperdisk Balanced: ao criar o pool de armazenamento, você especifica a capacidade, a capacidade de processamento e as IOPS a serem provisionadas para o pool de armazenamento. Cada disco Hyperdisk Balanced criado no pool de armazenamento com capacidade e desempenho provisionados acima dos valores de referência usa parte da capacidade e do desempenho provisionados do pool de armazenamento.

Pools de armazenamento Hyperdisk Throughput

É possível usar pools de armazenamento de capacidade de processamento de hiperdisco para gerenciar o uso desse disco.

Compatibilidade com tipos de máquina

Os pools de armazenamento do Hyperdisk Throughput são compatíveis com a mesma série de máquinas que oferece suporte ao Hyperdisk Throughput. Para uma lista das séries de máquinas compatíveis, consulte Suporte a tipos de máquinas para Hyperdisk Throughput.

Disponibilidade regional do pool de armazenamento Hyperdisk Throughput

Os pools de armazenamento do Hyperdisk Throughput podem ser usados em qualquer zona que ofereça discos do Hyperdisk Throughput. Para conferir uma lista de regiões disponíveis, consulte Disponibilidade regional do Hyperdisk Throughput.

Você também pode verificar as atualizações mais recentes das regiões e zonas disponíveis usando o seguinte comando:

gcloud compute storage-pool-types list --filter="name=hyperdisk-throughput"

Pools de armazenamento equilibrado de hiperdisco

É possível usar pools de armazenamento balanceado por hiperdisco para gerenciar o uso desse disco.

Nos pools de armazenamento equilibrado de hiperdisco com provisionamento de desempenho padrão, os discos Hyperdisk Balanced consomem apenas IOPS e capacidade de processamento que excedem os valores de referência de 3.000 IOPS e 140 MiB/s de capacidade de processamento por disco. Exemplo:

• Se você provisionar um disco Hyperdisk Balanced com 3.000 IOPS e 140 MiB/s de capacidade de processamento em um pool de armazenamento com provisionamento de desempenho padrão, o disco não vai consumir IOPS nem capacidade de processamento do pool de armazenamento.
• Se você provisionar um disco do Hyperdisk Balanced com 4.000 IOPS e 180 MiB/s de capacidade de processamento em um pool de armazenamento com provisionamento de desempenho padrão, o disco consumirá 1.000 IOPS e 40 MiB/s de capacidade de processamento do pool de armazenamento.

Compatibilidade com tipos de máquina

Os pools de armazenamento equilibrado de hiperdisco são compatíveis com a mesma série de máquinas que oferece suporte ao Hyperdisk Balanceado. Para uma lista das séries de máquinas compatíveis, consulte Suporte a séries de máquinas para o Hyperdisk Balanced.

Disponibilidade regional do pool de armazenamento equilibrado de hiperdisco

Os pools de armazenamento equilibrado de hiperdisco podem ser usados em qualquer zona que ofereça o Hyperdisk Balanced. Para conferir uma lista de regiões disponíveis, consulte Disponibilidade regional do Hyperdisk Balanced.

Você também pode verificar as atualizações mais recentes das regiões e zonas disponíveis usando o seguinte comando:

gcloud compute storage-pool-types list --filter="name=hyperdisk-balanced"

Limites para pools de armazenamento

As tabelas a seguir listam os limites dos diferentes tipos de pool de armazenamento.

Desempenho

O desempenho dos discos em um pool de armazenamento é igual ao dos discos que não foram criados em um pool de armazenamento.

Limitações dos pools de armazenamento

Os pools de armazenamento de hiperdisco têm as seguintes limitações:

Limites de recursos:

• É possível criar um pool de armazenamento do Hyperdisk com até 5 PiB de capacidade provisionada.
• É possível criar até cinco pools de armazenamento por hora.
• É possível criar até 10 pools de armazenamento por dia.
• É possível criar no máximo 20 pools de armazenamento por projeto e por região. Esse limite é compartilhado entre os pools de armazenamento Hyperdisk Balanced e os pools de armazenamento Hyperdisk Throughput de um projeto que estão na mesma região.
• Não é possível mudar o modelo de provisionamento de um pool. Por exemplo, não é possível mudar um pool de armazenamento de capacidade padrão para um de capacidade avançada ou um de desempenho avançado para um de desempenho padrão.
• Os pools são um recurso zonal.
• É possível criar até 10.000 discos em um pool de armazenamento.
• É possível usar pools de armazenamento de hiperdisco apenas com o Compute Engine. As instâncias do Cloud SQL não podem usar pools de armazenamento de hiperdisco.
• É possível mudar a capacidade ou o desempenho provisionado de um pool de armazenamento no máximo duas vezes em um período de 24 horas.
• Só é possível criar discos Hyperdisk Balanced em um pool Hyperdisk Balanced, e apenas discos Hyperdisk Throughput em um pool Hyperdisk Throughput.
• Entre em contato com sua equipe de conta para mudar a capacidade provisionada, as IOPS ou a taxa de transferência de uma Exapool.
• Entre em contato com sua equipe de conta para excluir uma Exapool.

Limites de discos em um pool de armazenamento:

• Somente novos discos no mesmo projeto e zona podem ser criados em um pool.
• Não é possível mover discos para dentro ou para fora de um pool. Para mover um disco para dentro ou fora de um pool, é necessário recriar o disco com base em um snapshot. Para mais informações, consulte Alterar o tipo de disco.
• Para criar discos de inicialização em um pool, use um pool de armazenamento Hyperdisk Balanced ou um exapool Hyperdisk Balanced.
• Os pools não oferecem suporte a discos regionais.
• Não é possível clonar, criar Instant Snapshots ou configurar a replicação assíncrona para discos em um pool.

Reservas

É possível usar o pool de armazenamento do Hyperdisk com reservas. É possível criar uma instância de computação que consuma uma reserva e também use um hiperdisco em um pool de armazenamento. Como alternativa, é possível criar a instância que consome uma reserva e, depois, anexar um hiperdisco criado em um pool de armazenamento à instância. Para mais informações, saiba como consumir reservas.

Preços

Os pools de armazenamento de hiperdisco são cobrados mensalmente pela capacidade, capacidade de processamento e IOPS provisionadas. Você não vai receber cobranças pelas IOPS, capacidade de processamento ou capacidade provisionadas dos discos criados no pool de armazenamento.

Com uma capacidade padrão e pools de armazenamento de desempenho padrão, a capacidade e o desempenho provisionado têm o mesmo preço do disco subjacente. Por exemplo, o preço da capacidade padrão de um pool de armazenamento equilibrado de hiperdisco é o mesmo que a capacidade do disco independente do Hyperdisk Balanced.

Os pools de armazenamento de capacidade e desempenho avançados têm um preço mais alto devido ao provisionamento fino e à redução de dados. Mesmo com esse premium, a economia com o provisionamento superficial e a redução de dados ainda pode reduzir os custos totais de armazenamento em blocos com o aumento da eficiência e da utilização.

Para ver mais informações sobre preços, consulte Preços de disco.

Descontos por compromisso de uso com pools de armazenamento de hiperdisco

Os pools de armazenamento de hiperdisco não estão qualificados para:

• Descontos por uso contínuo (CUDs) baseados em recursos
• Descontos por uso prolongado (SUDs)

A seguir

• Saiba como criar um pool de armazenamento do Hyperdisk.
• Aprenda a mover discos atuais para um pool de armazenamento, conforme descrito em Alterar o tipo de disco.
• Consulte as informações sobre preços de discos.