O armazenamento em cache de listas no Cloud Storage FUSE acelera as operações de listagem de diretórios exibindo listagens repetidas do mesmo diretório de um cache em memória. O armazenamento em cache de listas ajuda a acelerar a travessia de diretórios para cargas de trabalho que listam com frequência todo o conteúdo de um diretório, como jobs que iteram em um grande conjunto de arquivos no início do processamento.
Benefícios do armazenamento em cache de listas
Operações de listagem de diretórios mais rápidas: o armazenamento em cache de lista melhora o desempenho das operações que listam o conteúdo dos diretórios. Quando o armazenamento em cache de listas está ativado, os resultados das listagens de objetos do Cloud Storage para um diretório são armazenados em cache na memória. As listagens subsequentes do mesmo diretório podem ser veiculadas diretamente desse cache.
Latência reduzida: ao exibir resultados de lista do cache local, o Cloud Storage evita idas e voltas de rede para buscar a lista de objetos, reduzindo significativamente a latência das operações de listagem de diretórios, especialmente para diretórios que contêm muitos objetos ou quando a latência de rede é alta.
Melhor desempenho para cargas de trabalho repetitivas: cargas de trabalho que verificam repetidamente os mesmos diretórios, como jobs de treinamento de inteligência artificial e machine learning (IA/ML), processos de build ou ferramentas de sincronização de arquivos, podem ter ganhos de desempenho.
Armazenamento na memória: o cache de lista é mantido na memória no cache de página, que é controlado pelo kernel com base na disponibilidade de memória, ao contrário do cache de estatísticas, que é mantido na memória da máquina e controlado pelo Cloud Storage FUSE.
Configurar o armazenamento em cache de listas
É possível ativar o armazenamento em cache de listas usando um dos seguintes métodos:
- Opção
gcsfuse:--kernel-list-cache-ttl-secs - Campo do arquivo de configuração:
file-system:kernel-list-cache-ttl-secs
Listar invalidação de cache
A invalidação do cache de lista é definida especificando um valor maior que 0 usando um
dos seguintes métodos:
gcsfuse option:--kernel-list-cache-ttl-secs- Campo do arquivo de configuração:
file-system:kernel-list-cache-ttl-secs
A resposta da lista de diretórios é mantida no cache de páginas do kernel e permanece válida
pelo período especificado. Quando você especifica um valor de -1, o Cloud Storage FUSE desativa a expiração do cache de lista e retorna a resposta da lista do cache quando ela está disponível. Especificar um valor de 0 desativa o cache de lista.
A seguir
Analise as considerações sobre armazenamento em cache no Cloud Storage FUSE.
Saiba mais sobre como melhorar a performance.