Valores de configuración automatizados para tipos de máquinas de alto rendimiento

En este documento, se describe cómo establecer automáticamente los valores predeterminados de Cloud Storage FUSE que se usan para los tipos de máquinas de Compute Engine de alto rendimiento, que están diseñados para optimizar el rendimiento de las cargas de trabajo exigentes y de alto rendimiento. Los valores que se establecen de forma manual en el momento del montaje anularán estos valores predeterminados.

Tipos de máquina

Los valores de configuración se automatizan para los siguientes tipos de máquinas de Compute Engine de alto rendimiento:

Tipo de serie	Tipo de máquina
Serie de máquinas A2	a2-megagpu-16g a2-ultragpu-8g
Serie de máquinas A3	a3-edgegpu-8g a3-highgpu-8g a3-megagpu-8g a3-ultragpu-8g
Serie de máquinas A4	a4-highgpu-8g-lowmem
Serie de máquinas A4X
	a4x-highgpu-4g
TPU v5e	ct5l-hightpu-8t ct5lp-hightpu-8t
TPU v5p	ct5p-hightpu-4t ct5p-hightpu-4t-tpu
TPU v6e (Trillium)	ct6e-standard-4t ct6e-standard-4t-tpu ct6e-standard-8t ct6e-standard-8t-tpu
TPU 7x (Ironwood)
	tpu7x-standard-4t

Valores de configuración automatizados

Cuando se detecta un tipo de máquina compatible, Cloud Storage FUSE aplica automáticamente los siguientes valores de configuración:

Campo del archivo de configuración de Cloud Storage FUSE	Opción de la CLI de Cloud Storage FUSE	Valor de configuración automatizado
metadata-cache:negative-ttl-secs	--metadata-cache-negative-ttl-secs	0
metadata-cache:ttl-secs1	--metadata-cache-ttl-secs1	-1
metadata-cache:stat-cache-max-size-mb	--stat-cache-max-size-mb	1024
implicit-dirs	--implicit-dirs	true
file-system:rename-dir-limit	--rename-dir-limit	200000
write:global-max-blocks	--write-global-max-blocks	1600

¹Si configuras este parámetro en -1, se mejora significativamente el rendimiento, ya que siempre se entregan archivos desde la caché. Ten en cuenta que esta configuración omite las verificaciones de coherencia, lo que puede provocar la entrega de datos desactualizados. Para obtener detalles sobre la administración de la coherencia de los datos, consulta Descripción general del almacenamiento en caché en Cloud Storage FUSE.

Ajustes de rendimiento adicionales

Cuando usas un tipo de máquina de alto rendimiento Cloud de Confiance by S3NS , los valores de configuración que se detallan en esta página se aplican automáticamente. Sin embargo, puedes ajustar aún más tu máquina para obtener un rendimiento óptimo con los siguientes métodos:

• Usa la guía de prácticas recomendadas para el ajuste de rendimiento para mejorar Cloud Storage FUSE con las funciones y configuraciones clave de Cloud Storage FUSE para lograr la máxima capacidad de procesamiento y un rendimiento óptimo.

• Si ejecutas cargas de trabajo de entrenamiento, entrega o punto de control y caché Just in Time (JIT) en clústeres de Google Kubernetes Engine que usan Cloud GPUs o Cloud TPU para acceder a conjuntos de datos grandes en Cloud Storage, puedes optimizar tu configuración con archivos YAML preconfigurados para montar tus buckets de Cloud Storage directamente en tus pods de manera más eficiente. Para obtener más información y las instrucciones para usar archivos YAML de GKE preconfigurados, consulta Usa archivos YAML de GKE preconfigurados para optimizar el rendimiento de Cloud Storage FUSE.

• Si ejecutas cargas de trabajo de entrenamiento, entrega o punto de control con Cloud Storage FUSE, puedes usar el profile campo o --profile la opción de comando para ajustar automáticamente configuraciones específicas de Cloud Storage FUSE para obtener un rendimiento óptimo según el tipo de carga de trabajo específico. Para obtener más información, consulta Configuraciones basadas en perfiles para cargas de trabajo de IA/ML.

¿Qué sigue?

• Obtén información para ajustar Cloud Storage FUSE para obtener un rendimiento óptimo.

• Usa un archivo YAML de GKE preconfigurado para configurar las prácticas recomendadas de ajuste.