Cloud Storage FUSE bietet drei Arten von optionalem Caching, mit denen Sie die Leistung des Datenabrufs verbessern können: Datei-Caching, Listen-Caching und Statistik-Caching. In diesem Dokument werden die einzelnen Cache-Typen und ihre Konfiguration beschrieben.
In der folgenden Tabelle werden die einzelnen Caching-Typen beschrieben:
| Caching-Typ | Beschreibung |
|---|---|
| Datei-Caching | Beschleunigt das Lesen von Dateidaten für leseintensive Arbeitslasten, die wiederholt auf Daten zugreifen, insbesondere für das Training von künstlicher Intelligenz und maschinellem Lernen, bei dem dieselben großen Dateien mehrmals gelesen werden. Dadurch wird die Latenz erheblich reduziert. |
| Listen-Caching | Beschleunigt Vorgänge zur Verzeichnisauflistung für Arbeitslasten, die häufig den gesamten Inhalt eines Verzeichnisses auflisten, z. B. das Iterieren über eine große Anzahl von Dateien zu Beginn eines Verarbeitungsjobs, wodurch die Geschwindigkeit der Verzeichnisdurchsuchung verbessert wird. |
| Stat-Caching | Beschleunigt Dateimetadatenvorgänge für Anwendungen, die häufig Dateiattribute prüfen. Dies ist bei vielen Anwendungen üblich, die wiederholt prüfen, ob sich eine Datei geändert hat. Dadurch wird die Anzahl der „GetMetadata“-Aufrufe für Cloud Storage reduziert. |
Hinweise
Wenn Sie das Caching aktivieren, kann sich die Leistung verbessern, aber die Konsistenz verringern. Dies ist in der Regel der Fall, wenn Sie mit mehreren Clients mit einer hohen Änderungsrate auf denselben Bucket zugreifen. Um die Auswirkungen auf die Konsistenz zu minimieren, empfehlen wir, Buckets als schreibgeschützt bereitzustellen. Weitere Informationen zum Caching-Verhalten finden Sie unter Cloud Storage FUSE-Semantik in der GitHub-Dokumentation zu Cloud Storage FUSE.
Achten Sie darauf, dass Ihr gesamtes Dataset in den Cache passt, um einen Cache-Überlauf zu vermeiden. Berücksichtigen Sie auch die maximale Kapazität und Leistung, die Ihre Cache-Medien bieten können. Wenn Sie die maximale Leistung, das Kapazitätslimit oder beides des bereitgestellten Caches erreichen, ist es vorteilhaft, direkt aus Cloud Storage zu lesen, da dort die Limits viel höher sind als bei Cloud Storage FUSE.
Lesepfad für im Cache gespeicherte Daten
Der Cloud Storage FUSE-Cache beschleunigt wiederholte Lesevorgänge, nachdem sie in den Cache aufgenommen wurden. Sowohl erstmalige Lesevorgänge als auch Cache-Fehler werden direkt an Cloud Storage übertragen und unterliegen den normalen Cloud Storage-Netzwerklatenzen. Informationen zur Verbesserung der Leistung beim ersten Lesen finden Sie unter Metadaten-Cache vorab ausfüllen.
Nächste Schritte
Weitere Informationen zu den einzelnen Caching-Typen: