Otimizar a performance em buckets com namespace hierárquico ativado

Nesta página, oferecemos orientações sobre como otimizar a performance em buckets com namespace hierárquico ativado.

Como listar objetos

Confira a seguir as considerações de desempenho para listar objetos:

  • Em buckets com namespace hierárquico ativado, listar todos os objetos do bucket inteiro ou com um prefixo exige muitos recursos, já que a operação precisa percorrer cada pasta e subpasta, semelhante ao comando ls -r em um sistema de arquivos. Consequentemente, quanto mais pastas houver no bucket, mais lenta será a listagem de objetos. Um grande número de pastas vazias também pode afetar negativamente o desempenho da listagem de objetos. Para evitar um impacto negativo no desempenho, recomendamos que você maximize o número de objetos em cada pasta e exclua regularmente as pastas vazias.
  • Listar ou recuperar objetos e subpastas em uma pasta específica usando um delimitador e um prefixo específico é mais eficiente em buckets com namespace hierárquico ativado, já que os objetos são organizados em uma estrutura de pastas. Para otimizar a performance da listagem ao usar um delimitador e um prefixo específico, defina o parâmetro includeFoldersAsPrefixes. Caso contrário, o Cloud Storage realiza outras verificações para excluir pastas vazias, o que pode deixar a operação mais lenta. Para mais informações sobre como usar o includeFoldersAsPrefixes ao listar objetos, consulte Como listar objetos.

Gerenciamento de pastas

Para uma gestão eficiente de pastas, recomendamos o seguinte:

  • Pré-criação da estrutura de pastas:em vez de depender da criação automática de pastas durante as operações de upload, reescrita e composição de objetos, use a operação de criação de pastas para obter a estrutura desejada com antecedência. A pré-criação da estrutura de pastas melhora a consistência e a previsibilidade do desempenho.
  • Maximize a proporção de objetos por pasta:procure uma proporção alta de objetos por pasta, já que isso reduz a sobrecarga associada à criação e ao gerenciamento de pastas.
  • Limite as solicitações de criação e exclusão de pastas:criar ou excluir pastas exige mais recursos do que trabalhar com objetos individuais devido à natureza hierárquica delas. Para garantir um desempenho adequado, o Cloud Storage limita essas operações a 1.000 solicitações por segundo para cada bucket. As solicitações que excedem esse limite não são explicitamente restritas, mas a disponibilidade de recursos determina se elas podem ser processadas com êxito.
  • Exclua pastas vazias regularmente:elas podem se acumular, principalmente ao usar o gerenciamento do ciclo de vida de objetos ou excluir objetos sem excluir explicitamente as pastas mãe. As pastas acumuladas podem afetar o desempenho da operação de listagem de objetos e outras operações relacionadas a pastas. Confira a seguir alguns dos métodos que podem ser usados para excluir pastas vazias:
    • Ao usar o Cloud Storage FUSE ou o conector do Cloud Storage para interagir com um bucket ativado com namespace hierárquico, a exclusão de um diretório exclui a pasta correspondente no bucket.
    • É possível usar uma exclusão recursiva para excluir pastas automaticamente ao usar o console Trusted Cloud ou a Google Cloud CLI.
    • É possível usar o script delete_empty_folders.py para excluir periodicamente pastas vazias usando o processamento paralelo. O script oferece uma opção para segmentar um prefixo de caminho de pasta específico, o que permite que ele execute exclusões de pastas em um subconjunto da estrutura de diretório do bucket. Além disso, o script exclui todas as pastas vazias (criadas implícita ou explicitamente), incluindo pastas gerenciadas e as políticas do IAM associadas. Para detalhes sobre como usar o script, consulte o README no GitHub (em inglês).

A seguir