Cloud Storage FUSE applica automaticamente i valori di configurazione predefiniti ottimizzati quando viene eseguito su tipi di macchine Compute Engine ad alte prestazioni, come le serie A3, A4 e TPU v6e. Queste impostazioni predefinite ti aiutano a ottenere un throughput elevato per workload impegnativi senza ottimizzazione manuale. I valori impostati manualmente al momento del montaggio hanno la precedenza.
Tipi di macchina
I valori di configurazione sono automatizzati per i seguenti tipi di macchine Compute Engine ad alte prestazioni:
| Tipo di serie | Tipo di macchina |
|---|---|
| Serie di macchine A2 |
|
| Serie di macchine A3 |
|
| Serie di macchine A4 |
|
| Serie di macchine A4X | |
a4x-highgpu-4g |
|
| TPU v5e |
|
| TPU v5p |
|
| TPU v6e (Trillium) |
|
| TPU 7x (Ironwood) | |
tpu7x-standard-4t |
Valori di configurazione automatizzati
Quando viene rilevato un tipo di macchina supportato, Cloud Storage FUSE applica automaticamente i seguenti valori di configurazione:
| Campo del file di configurazione di Cloud Storage FUSE | Opzione CLI di Cloud Storage FUSE | Valore di configurazione automatizzato |
|---|---|---|
metadata-cache:negative-ttl-secs |
--metadata-cache-negative-ttl-secs |
0 |
metadata-cache:ttl-secs1 |
--metadata-cache-ttl-secs1 |
|
metadata-cache:stat-cache-max-size-mb |
--stat-cache-max-size-mb |
1024 |
implicit-dirs |
--implicit-dirs |
true |
file-system:rename-dir-limit |
--rename-dir-limit |
200000 |
write:global-max-blocks |
--write-global-max-blocks |
1600 |
1L'impostazione di questa configurazione su -1 migliora notevolmente le prestazioni, poiché i file vengono sempre forniti dalla cache. Tieni presente che questa configurazione bypassa i controlli di coerenza, il che può portare alla pubblicazione di dati obsoleti. Per maggiori dettagli sulla gestione della coerenza dei dati, consulta Panoramica della memorizzazione nella cache in Cloud Storage FUSE.
Ulteriore ottimizzazione delle prestazioni
Quando utilizzi un tipo di macchina Cloud de Confiance by S3NS ad alte prestazioni, i valori di configurazione descritti in questa pagina vengono applicati automaticamente. Tuttavia, puoi ottimizzare ulteriormente la macchina per ottenere prestazioni ottimali utilizzando i seguenti metodi:
Utilizza la guida alle best practice per l'ottimizzazione delle prestazioni per migliorare Cloud Storage FUSE utilizzando le funzionalità e le configurazioni chiave di Cloud Storage FUSE per ottenere il massimo throughput e prestazioni ottimali.
Se esegui workload di addestramento, distribuzione o checkpoint e cache Just-In-Time (JIT) su cluster Google Kubernetes Engine che utilizzano Cloud GPU o Cloud TPU per accedere a set di dati di grandi dimensioni in Cloud Storage, puoi semplificare la configurazione utilizzando file YAML preconfigurati per montare i bucket Cloud Storage direttamente nei pod in modo più efficiente. Per ulteriori informazioni e istruzioni su come utilizzare i file YAML di GKE preconfigurati, consulta Utilizza i file YAML di GKE preconfigurati per ottimizzare le prestazioni di Cloud Storage FUSE.
Se esegui workload di addestramento, distribuzione o checkpoint utilizzando Cloud Storage FUSE, puoi utilizzare il campo
profileo l'opzione di comando--profileper regolare automaticamente configurazioni specifiche di Cloud Storage FUSE per prestazioni ottimali in base al tipo di workload specifico. Per saperne di più, consulta Configurazioni basate su profili per i workload AI/ML.
Passaggi successivi
Scopri come ottimizzare Cloud Storage FUSE per prestazioni ottimali.
Utilizza un file YAML GKE preconfigurato per configurare le best practice di ottimizzazione.