Listen-Caching in Cloud Storage FUSE

Das Listen-Caching in Cloud Storage FUSE beschleunigt Verzeichnisauflistungsvorgänge, indem wiederholte Auflistungen desselben Verzeichnisses aus einem In-Memory-Cache bereitgestellt werden. Mit dem Caching von Listen können Sie die Verzeichnisdurchsuchung für Arbeitslasten beschleunigen, die häufig den gesamten Inhalt eines Verzeichnisses auflisten, z. B. Jobs, die zu Beginn der Verarbeitung eine große Anzahl von Dateien durchlaufen.

Vorteile des Listen-Caching

  • Schnellere Vorgänge zum Auflisten von Verzeichnissen: Das Listen-Caching bietet eine verbesserte Leistung für Vorgänge, bei denen der Inhalt von Verzeichnissen aufgelistet wird. Wenn das Caching von Listen aktiviert ist, werden die Ergebnisse von Cloud Storage-Objektlisten für ein Verzeichnis im Arbeitsspeicher zwischengespeichert. Nachfolgende Auflistungen desselben Verzeichnisses können direkt aus diesem Cache bereitgestellt werden.

  • Geringere Latenz: Durch die Bereitstellung von Listenergebnissen aus dem lokalen Cache vermeidet Cloud Storage Netzwerk-Roundtrips zu Cloud Storage, um die Objektliste abzurufen. Dadurch wird die Latenz von Verzeichnisauflistungsvorgängen erheblich reduziert, insbesondere bei Verzeichnissen mit vielen Objekten oder bei hoher Netzwerklatenz.

  • Verbesserte Leistung bei sich wiederholenden Arbeitslasten: Bei Arbeitslasten, die wiederholt dieselben Verzeichnisse scannen, z. B. Trainingsjobs für künstliche Intelligenz und maschinelles Lernen (KI/ML), Build-Prozesse oder Tools zur Dateisynchronisierung, kann die Leistung verbessert werden.

  • In-Memory-Speicher: Der Listen-Cache wird im Arbeitsspeicher des Seitencache gespeichert. Dieser wird vom Kernel basierend auf der Arbeitsspeicherverfügbarkeit gesteuert. Im Gegensatz dazu wird der Statistik-Cache im Arbeitsspeicher Ihres Computers gespeichert und von Cloud Storage FUSE gesteuert.

Listen-Caching konfigurieren

Sie können das Listen-Caching mit einer der folgenden Methoden aktivieren:

Cache-Entwertung auflisten

Die Entwertung des Listen-Cache wird festgelegt, indem Sie mit einer der folgenden Methoden einen Wert größer als 0 angeben:

  • gcsfuse option: --kernel-list-cache-ttl-secs
  • Feld in der Konfigurationsdatei: file-system:kernel-list-cache-ttl-secs

Die Antwort der Verzeichnisliste wird im Seiten-Cache des Kernels gespeichert und bleibt für die von Ihnen angegebene Zeit gültig. Wenn Sie den Wert -1 angeben, deaktiviert Cloud Storage FUSE den Ablauf des Listen-Cache und gibt die Listenantwort aus dem Cache zurück, wenn sie verfügbar ist. Wenn Sie den Wert 0 angeben, wird der Listen-Cache deaktiviert.

Nächste Schritte