O Cloud Storage FUSE oferece três tipos de armazenamento em cache opcional que ajudam a melhorar o desempenho da recuperação de dados: armazenamento em cache de arquivos, de listas e de estatísticas. Neste documento, descrevemos cada tipo de cache e como configurá-lo.
A tabela a seguir descreve cada tipo de armazenamento em cache:
| Tipo de armazenamento em cache | Descrição |
|---|---|
| Armazenamento em cache de arquivos | Acelera as leituras de dados de arquivos para cargas de trabalho com muitas leituras que acessam dados repetidamente, especialmente o treinamento de inteligência artificial e machine learning, em que os mesmos arquivos grandes são lidos várias vezes, reduzindo significativamente a latência. |
| Armazenamento em cache de listas | Acelera as operações de listagem de diretórios para cargas de trabalho que listam com frequência todo o conteúdo de um diretório, como a iteração em um grande conjunto de arquivos no início de um job de processamento, melhorando a velocidade de travessia do diretório. |
| Armazenamento de estatísticas em cache | Acelera as operações de metadados de arquivos para aplicativos que verificam com frequência os atributos de arquivos, o que é comum para muitos aplicativos que verificam repetidamente se um arquivo foi alterado, reduzindo o número de chamadas "GetMetadata" para o Cloud Storage. |
Considerações
Ativar o armazenamento em cache pode aumentar o desempenho, mas reduzir a consistência, o que geralmente ocorre quando você acessa o mesmo bucket usando vários clientes com uma alta taxa de alteração. Para reduzir o impacto na consistência, recomendamos montar buckets como somente leitura. Para saber mais sobre o comportamento de armazenamento em cache, consulte Semântica do Cloud Storage FUSE na documentação do Cloud Storage FUSE no GitHub.
Para evitar a sobrecarga do cache, verifique se todo o conjunto de dados se ajusta à capacidade do cache. Considere também a capacidade máxima e o desempenho que a mídia de cache pode fornecer. Se você atingir o desempenho máximo do cache provisionado, o limite de capacidade ou ambos, leia diretamente do Cloud Storage, que tem limites muito maiores do que o Cloud Storage FUSE.
Caminho de leitura para dados em cache
O cache do Cloud Storage FUSE acelera leituras repetidas após a ingestão no cache. Tanto as leituras iniciais quanto as ausências no cache vão diretamente para o Cloud Storage e estão sujeitas às latências de rede normais do Cloud Storage. Para melhorar o desempenho da leitura pela primeira vez, consulte Pré-preencher o cache de metadados.
A seguir
Saiba mais sobre cada tipo de armazenamento em cache: