Questo documento descrive le funzionalità e i limiti di Exapool. I pool Hyperdisk Exapool sono pool Hyperdisk progettati per i workload in cui i pool di archiviazione Hyperdisk non forniscono spazio di archiviazione Hyperdisk sufficiente in una singola zona. Con gli exapool, acquisti spazio di archiviazione e prestazioni in blocco, quindi crei dischi nel pool per consumare lo spazio di archiviazione.
Quando utilizzare Hyperdisk Exapool
Gli exapool sono destinati a workload su larga scala con decine di migliaia di dischi in una singola zona che richiedono tra 500 TiB e 2,5 EiB di archiviazione a blocchi durevole. Se il tuo workload richiede una scala di capacità o prestazioni inferiore, utilizza un pool di archiviazione Hyperdisk o crea dischi al di fuori di un pool.
I pool Exa offrono spazio di archiviazione e prestazioni su scala più ampia disponibile in Compute Engine, oltre a un risparmio sui costi, consentendoti di eseguire il provisioning di prestazioni e capacità superiori a quelle necessarie, ma addebitando solo ciò che utilizzi.
Hyperdisk Exapool è ideale per workload di AI su larga scala, machine learning (ML) e file system paralleli distribuiti di grandi dimensioni. Ecco alcuni esempi di workload:
Esempi di workload per Hyperdisk Exapool:
- Workload AI/ML che coprono 4000 VM TPU e utilizzano 2 PiB di Hyperdisk bilanciato con prestazioni di provisioning di 20.000.000 di IOPS e un throughput di 3 TiB/s, con un throughput di picco aggregato simultaneo di 500 GiB/s.
- Workload di addestramento AI/ML con 15.000 istanze GPU che utilizzano Hyperdisk Balanced per i dischi di avvio e temporanei con una capacità totale di 8 PiB, che generano un throughput di picco aggregato simultaneo di 1 TiB/s.
- File system parallelo con almeno 6 PiB di capacità e picchi aggregati simultanei di 800 GiB/s di throughput di lettura elevato.
Come funzionano gli Exapool
Crea un Exapool con la capacità e le prestazioni aggregate necessarie per tutti i dischi del workload all'interno di una zona, quindi crea i dischi nel pool in base alle esigenze. Puoi utilizzare i dischi in un Exapool come dischi di avvio o dischi di dati per le tue istanze e i tuoi container Compute Engine.
Quando crei un disco in un Exapool, assegni al disco alcune delle risorse del pool (dimensioni e prestazioni). Quando elimini un disco in un pool, le risorse allocate al disco vengono restituite al pool per essere utilizzate da altri dischi.
Ad esempio, supponiamo che tu crei un Hyperdisk Balanced Exapool con una capacità di 50 PiB. Se crei 100 dischi da 10 TiB nel pool, la capacità disponibile rimanente del pool diminuisce di 1000 TiB.
Tipi di exapool
Quando crei un Exapool, devi scegliere un tipo di Hyperdisk per i dischi che faranno parte del pool. Sono disponibili i seguenti tipi:
- Exapool Hyperdisk bilanciato: tutti i dischi nell'Exapool sono volumi Hyperdisk bilanciato.
- Hyperdisk Throughput Exapool: tutti i dischi nell'Exapool sono volumi Hyperdisk Throughput.
Per saperne di più sulla scelta di un tipo di Hyperdisk, consulta Scegli un tipo di Hyperdisk per il tuo workload.
Supporto delle serie di macchine
Hyperdisk Throughput Exapools e Hyperdisk Balanced Exapools sono supportati con le stesse serie di macchine che supportano rispettivamente Hyperdisk Throughput e Hyperdisk bilanciato. Per un elenco delle serie di macchine supportate, consulta Supporto delle serie di macchine per Hyperdisk Throughput e Supporto delle serie di macchine per Hyperdisk bilanciato.
Provisioning di prestazioni e capacità per gli exapool
Il tipo di provisioning di un pool determina il modo in cui i dischi nel pool utilizzano le risorse.
Exapool utilizza il provisioning avanzato sia per la capacità che per le prestazioni, il che offre il massimo risparmio di costi e tempo.
Provisioning della capacità avanzata
Tutti gli Exapool utilizzano il provisioning della capacità avanzato, che offre i seguenti vantaggi:
- Thin provisioning: Compute Engine alloca i dati ai dischi nel pool in base alle necessità, non quando viene eseguito il provisioning del disco.
- Overprovisioning: puoi eseguire il provisioning dei dischi nel pool con una capacità fino a 50 volte superiore a quella acquistata per l'Exapool. In questo modo, la pianificazione della capacità viene semplificata e si evitano tempi di inattività per il ridimensionamento manuale dei dischi.
Per una spiegazione dettagliata del provisioning della capacità avanzata, consulta Provisioning della capacità avanzata.
Provisioning di Prestazioni avanzate
Gli exapool utilizzano il provisioning delle prestazioni avanzate, che offre i seguenti vantaggi:
- Thin provisioning: Compute Engine alloca le risorse di prestazioni ai dischi nel pool in base alle necessità. Solo la quantità di IOPS e throughput utilizzata da un disco in un Exapool consuma le prestazioni.
- Overprovisioning: le prestazioni totali di tutti i dischi di un pool possono essere fino a 50 volte superiori alle prestazioni di scrittura sottoposte a provisioning del pool.
- Prestazioni condivise: i dischi di un Exapool condividono le prestazioni di cui è stato eseguito il provisioning per il pool fino al limite di ciascun disco, risparmiando sui costi per i dischi con tempi di utilizzo di picco diversi.
Per una spiegazione dettagliata del provisioning delle prestazioni avanzate, consulta Provisioning delle prestazioni avanzate.
Capacità e prestazioni di acquisto
Le prestazioni di cui è stato eseguito il provisioning di un Exapool, ovvero la quantità di IOPS e throughput che puoi allocare ai dischi all'interno del pool, dipendono dai seguenti fattori:
- Il numero di unità di capacità nel pool
- Il tipo di disco dell'Exapool
Come funzionano le unità di capacità
Un'unità di capacità include 1 GiB di capacità e una quantità fissa di prestazioni (IOPS e throughput) per GiB. Ad esempio, per aggiungere 1 PiB di capacità a un pool, acquisti 1.048.576 unità di capacità (1.048.576 GiB = 1 PiB). I pool exa offrono tre tipi di unità di capacità tra cui scegliere. La quantità di prestazioni aggiunte al pool dipende dal tipo di unità di capacità:
- Unità ottimizzate per la capacità: offrono una frequenza bilanciata di IOPS e throughput sia per le letture che per le scritture.
- Unità ottimizzate per la lettura: offrono la frequenza più elevata di operazioni di lettura e throughput per GiB.
- Unità ottimizzate per la scrittura: offrono la frequenza più elevata di operazioni di scrittura e throughput per GiB.
Se il tuo workload ha più operazioni di lettura che di scrittura o se richiede un throughput di lettura maggiore rispetto a quello di scrittura, otterrai il miglior valore acquistando unità ottimizzate per la lettura.
Puoi combinare diversi tipi di unità di capacità quando esegui il provisioning o l'espansione di un exapool. Il tipo e il numero di unità di capacità che acquisti per un pool sono definiti combinazione di unità di capacità.
La combinazione di unità di un exapool non influisce sulle prestazioni dei dischi nell'exapool. La combinazione di unità influisce solo sui seguenti fattori:
- Come viene fatturato l'exapool.
- Le prestazioni massime di cui è stato eseguito il provisioning per l'Exapool.
Scegli una combinazione di unità di capacità per un Exapool
Per soddisfare le esigenze del tuo workload nel modo più conveniente, collabora con il tuo team dedicato all'account per scegliere una combinazione di unità di capacità più adatta al tuo workload. Ad esempio, puoi creare un Exapool con un numero elevato di unità ottimizzate per la lettura per tutti i dischi con un'elevata intensità di lettura in un progetto.
Rapporti delle unità di capacità per i pool di Hyperdisk Throughput
I pool di Hyperdisk Throughput Exapool hanno i seguenti rapporti di prestazioni in base alla capacità acquistata:
| Tipo di unità di capacità | Unità di capacità acquistate | Capacità Exapool (TiB) | Velocità effettiva di lettura (MiB/s) | Velocità effettiva di scrittura (MiB/s) |
|---|---|---|---|---|
| Ottimizzata per la capacità | 1024 | 1 | 0,97 | 0,10 |
| Ottimizzato per la lettura | 1024 | 1 | 3,38 | 0,10 |
| Ottimizzato per la scrittura | 1024 | 1 | 0,97 | 1,84 |
Rapporti delle unità di capacità per Hyperdisk bilanciato Exapool
I pool Hyperdisk bilanciato Exapool hanno i seguenti rapporti di prestazioni in base alla quantità di capacità acquistata:
| Tipo di unità di capacità | Unità di capacità acquistate | Capacità Exapool (TiB) | Velocità effettiva di lettura (MiB/s) | Velocità effettiva di scrittura (MiB/s) | IOPS di lettura | IOPS di scrittura |
|---|---|---|---|---|---|---|
| Ottimizzata per la capacità | 1024 | 1 | 5.12 | 1,02 | 275 | 102 |
| Ottimizzato per la lettura | 1024 | 1 | 378,88 | 30,72 | 21.311 | 3072 |
| Ottimizzato per la scrittura | 1024 | 1 | 220.16 | 71,68 | 12.288 | 6656 |
In che modo le unità di capacità influiscono sulle prestazioni del disco
La combinazione di unità di capacità di un exapool non influisce sul modo in cui i dischi nell'exapool consumano le prestazioni. Non ti verranno addebitati costi diversi per le singole operazioni di lettura e scrittura dei dischi nel pool. L'acquisto di unità di un tipo specifico non limita i dischi a una quantità fissa di IOPS di lettura o scrittura. Inoltre, quando crei un disco in un Exapool, non specifichi un limite di IOPS di lettura o di scrittura, ma solo un limite di IOPS sottoposte a provisioning.
Ad esempio, considera due Hyperdisk Balanced Exapool, Pool-1 e Pool-2.
Entrambi hanno 100.000.000 di unità ottimizzate per la capacità. Pool-1 ha anche 5.000.000 di unità ottimizzate per la scrittura, mentre Pool-2 ha 5.000.000 di unità ottimizzate per la lettura.
Poiché entrambi i pool hanno un totale di 105.000.000 di unità, avranno la stessa capacità totale di 100,1 PiB (105.000.000 GiB). Tuttavia, poiché hanno tipi diversi di unità di capacità, i pool hanno limiti di prestazioni massime e costi diversi. Non esiste alcuna differenza di prestazioni tra i dischi di entrambi i pool.
Esempio
Supponiamo che un Hyperdisk bilanciato Exapool abbia 12.400.000 unità di capacità, costituite da:
- 5.000.000 di unità ottimizzate per la capacità
- 2.400.000 unità ottimizzate per la lettura
- 5.000.000 di unità ottimizzate per la scrittura
L'Exapool ha una capacità di 12.109,4 TiB (1 TiB per ogni 1024 unità).
L'Exapool ha 151.488.476 IOPS, calcolate come segue:
IOPS da 5.000.000 di unità ottimizzate per la capacità: 1.840.820 (1.342.773 IOPS di lettura + 498.047 IOPS di scrittura)
IOPS da 2.400.000 unità ottimizzate per la lettura: 57.147.656 (49.947.656 IOPS di lettura + 7.200.000 IOPS di scrittura)
IOPS da 5.000.000 di unità ottimizzate per la scrittura: 92.500.000 (60.000.000 di IOPS di lettura + 32.500.000 di IOPS di scrittura)
Esamina le prestazioni e l'utilizzo della capacità
Compute Engine offre metriche che puoi utilizzare per monitorare i tuoi Exapool. Queste metriche rispondono a domande come:
- Quante IOPS di lettura e scrittura rimangono nell'Exapool?
- Quanta capacità è stata allocata ai dischi nell'Exapool?
- Quanti dischi sono presenti nell'Exapool?
Puoi visualizzare queste metriche in Cloud Monitoring. Per saperne di più, consulta Monitora i pool di Hyperdisk.
Limiti di dimensioni e prestazioni per gli exapool Hyperdisk
Questa sezione elenca i limiti per ogni tipo di Exapool.
| Proprietà | Hyperdisk Balanced Exapool | Hyperdisk Throughput Exapool |
|---|---|---|
| Capacità minima | 500 TiB | 500 PiB |
| Capacità massima | 1 EiB | 5 EiB |
| Velocità effettiva massima | 10 TiB/s | 10 TiB/s |
| Numero massimo di dischi per pool | 500.000 | 500.000 |
| Incrementi della capacità | 1 TiB | 1 PiB |
| Numero massimo di Exapool per progetto per zona | 1 | 1 |
| Rapporti di rendimento | Dimensione I/O di 32 KB per il throughput di lettura e scrittura; dimensione I/O di 4 KB per le IOPS di lettura e scrittura | Dimensione I/O di 1 MB per le letture, dimensione I/O di 256 K per le scritture |
Limiti di dimensioni e prestazioni per i dischi all'interno di un Exapool
I dischi in un Exapool hanno gli stessi limiti di dimensioni e prestazioni dei dischi che non si trovano in un pool, come segue:
| Tipo di Hyperdisk | Prestazioni massime di cui è possibile eseguire il provisioning per disco | Throughput personalizzabile | IOPS personalizzabili |
|---|---|---|---|
| Hyperdisk bilanciato | 160.000 IOPS; throughput di 2400 MiB/s |
Sì | Sì |
| Hyperdisk Throughput | Throughput di 2400 MiB/s | Sì | No; 4 IOPS per MiB/s di throughput, fino a 9600 IOPS |
Puoi specificare un limite di prestazioni per il disco al momento della creazione e modificarlo mentre il disco è in uso.
Per informazioni dettagliate sui limiti di dimensioni e prestazioni, consulta Limiti di dimensioni e prestazioni per Hyperdisk Throughput e Limiti di dimensioni e prestazioni per Hyperdisk Balanced.
Disponibilità a livello di regione
Hyperdisk Balanced Exapool e Hyperdisk Throughput Exapool sono disponibili in tutte le zone.
Crittografia
La crittografia dei dischi in un pool Hyperdisk funziona allo stesso modo della crittografia dei dischi al di fuori di un pool.
Per saperne di più, consulta le informazioni sulla crittografia dei dischi.
Prenotazioni
Puoi prenotare la capacità degli Exapool insieme alle istanze di computing utilizzando le prenotazioni future per i blocchi di capacità. Puoi anche collegare i dischi di un Exapool alle istanze di computing che utilizzano una prenotazione.
Per saperne di più, consulta Prenotazioni per i pool.
Prezzi
La fatturazione per gli exapool si basa sul numero e sul tipo di unità di capacità e prestazioni acquistate per il pool. Non ti viene addebitato alcun costo per IOPS, throughput o capacità sottoposti a provisioning per i dischi creati nel pool.
Compute Engine offre sconti per impegno di utilizzo (CUD) basati sulle risorse per i tuoi Hyperdisk Exapool. Puoi ricevere questi sconti acquistando impegni di archiviazione a blocchi di 1 o 3 anni. Per scoprire di più su come funzionano gli impegni di archiviazione a blocchi, consulta Impegni di archiviazione a blocchi nella documentazione sugli sconti per impegno di utilizzo (CUD) basati sulle risorse. Per istruzioni su come acquistare un impegno di archiviazione a blocchi, consulta Acquista impegni di archiviazione a blocchi.
Per confrontare i prezzi on demand con i prezzi con CUD di 1 e 3 anni, consulta Prezzi dei dischi.
Limitazioni
A Exapool si applicano le seguenti limitazioni.
- Devi contattare il team dedicato all'account per creare, modificare o eliminare un Hyperdisk Exapool.
- Le prestazioni di cui puoi eseguire il provisioning per un Exapool dipendono dal tipo e dal numero di unità di capacità dell'Exapool. Tuttavia, le prestazioni dei dischi creati in un Exapool sono indipendenti dalla combinazione di unità di capacità del pool.
- Non puoi utilizzare la modalità riservata per i volumi Hyperdisk Balanced in un Exapool.
- Gli exapool utilizzano solo il provisioning della capacità avanzata e delle prestazioni avanzate. Non supportano il provisioning di capacità standard o prestazioni standard.
- Gli exapool non utilizzano la compressione dei dati.
- Gli exapool non supportano la crescita automatica per le prestazioni o la capacità. Devi monitorare autonomamente l'utilizzo delle prestazioni e della capacità dell'Exapool. Per aumentare le prestazioni o la capacità del pool, devi contattare il team dedicato all'account.
- In un pool è possibile creare nuovi dischi solo nello stesso progetto e nella stessa zona.
- Non puoi spostare i dischi all'interno o all'esterno di un pool; devi ricreare il disco da uno snapshot standard. Per ulteriori informazioni, consulta Cambia il tipo di disco.
- Per creare dischi di avvio in un pool, devi utilizzare un pool di archiviazione Hyperdisk bilanciato o un Hyperdisk Balanced Exapool.
- I pool non supportano dischi a livello di regione.
- Non puoi clonare, creare snapshot istantanei o configurare la replica asincrona per i dischi in un pool.