El almacenamiento en caché de listas en Cloud Storage FUSE acelera las operaciones de listas de directorios, ya que entrega listas repetidas del mismo directorio desde una caché en la memoria. El almacenamiento en caché de listas te ayuda a acelerar el recorrido de directorios para las cargas de trabajo que enumeran con frecuencia todo el contenido de un directorio, como los trabajos que iteran en un conjunto grande de archivos al comienzo del procesamiento.
Beneficios del almacenamiento en caché de listas
Operaciones de fichas de directorio más rápidas: El almacenamiento en caché de listas proporciona un mejor rendimiento para las operaciones que enumeran el contenido de los directorios. Cuando se habilita el almacenamiento en caché de listas, los resultados de las listas de objetos de Cloud Storage para un directorio se almacenan en caché en la memoria. Las listas posteriores del mismo directorio se pueden entregar directamente desde esta caché.
Latencia reducida: Cuando se entregan los resultados de la lista desde la caché local, Cloud Storage evita los viajes de ida y vuelta de red a Cloud Storage para recuperar la lista de objetos, lo que reduce de forma significativa la latencia de las operaciones de enumeración de directorios, en especial para los directorios que contienen muchos objetos o cuando la latencia de red es alta.
Rendimiento mejorado para cargas de trabajo repetitivas: Las cargas de trabajo que analizan de forma repetida los mismos directorios, como los trabajos de entrenamiento de inteligencia artificial y aprendizaje automático (IA/AA), los procesos de compilación o las herramientas de sincronización de archivos, pueden ver mejoras en el rendimiento.
Almacenamiento en memoria: La caché de listas se mantiene en la memoria caché de la página, que el kernel controla según la disponibilidad de la memoria, a diferencia de la caché de estadísticas, que se mantiene en la memoria de tu máquina y la controla Cloud Storage FUSE.
Configura el almacenamiento en caché de listas
Puedes habilitar el almacenamiento en caché de listas con uno de los siguientes métodos:
- Opción
gcsfuse:--kernel-list-cache-ttl-secs - Campo del archivo de configuración:
file-system:kernel-list-cache-ttl-secs
Enumera la invalidación de caché
La invalidación de caché de listas se establece especificando un valor mayor que 0 con uno
de los siguientes métodos:
gcsfuse option:--kernel-list-cache-ttl-secs- Campo del archivo de configuración:
file-system:kernel-list-cache-ttl-secs
La respuesta de la lista de directorios se mantiene en la caché de la página del kernel y sigue siendo válida
durante el tiempo que especificaste. Cuando especificas un valor de -1,
Cloud Storage FUSE inhabilita el vencimiento de la caché de la lista y muestra la respuesta de la lista de la caché
cuando está disponible. Si especificas un valor de 0, se inhabilita la caché de listas.
¿Qué sigue?
Revisa las consideraciones para el almacenamiento en caché en Cloud Storage FUSE.
Obtén más información para mejorar el rendimiento.