ハイ パフォーマンス マシンタイプの自動構成

このページでは、高パフォーマンスの Trusted Cloud by S3NS マシンタイプで使用されるデフォルトの Cloud Storage FUSE 値が自動的に設定される仕組みについて説明します。このマシンタイプは、高スループットのワークロードのパフォーマンスを最適化するように設計されています。マウント時に手動で設定された値は、これらのデフォルトをオーバーライドします。

マシンタイプ

次のハイパフォーマンス マシンタイプでは、構成が自動化されています。

シリーズタイプ マシンタイプ
A2 マシンシリーズ
a2-megagpu-16g
a2-ultragpu-8g
A3 マシンシリーズ
a3-edgegpu-8g
a3-highgpu-8g
a3-megagpu-8g
a3-ultragpu-8g
A4 マシンシリーズ
4-highgpu-8g-lowmem
TPU v5e
ct5l-hightpu-8t
ct5lp-hightpu-8t
TPU v5p
ct5p-hightpu-4t
ct5p-hightpu-4t-tpu
TPU v6e(Trillium)
ct6e-standard-4t
ct6e-standard-4t-tpu
ct6e-standard-8t
ct6e-standard-8t-tpu

自動構成

サポートされているマシンタイプが検出されると、Cloud Storage FUSE は次の構成値を自動的に適用します。

構成ファイルのフィールド CLI オプション 自動構成値
metadata-cache.negative-ttl-secs --metadata-cache-negative-ttl-secs 0
metadata-cache.ttl-secs1 --metadata-cache-ttl-secs1

-1

metadata-cache.stat-cache-max-size-mb --stat-cache-max-size-mb 1024
metadata-cache.type-cache-max-size-mb --type-cache-max-size-mb 128
implicit-dirs --implicit-dirs true
file-system.rename-dir-limit --rename-dir-limit 200000

1この構成を -1 に設定すると、常にキャッシュからファイルが配信されるため、パフォーマンスが大幅に向上します。この構成では整合性チェックがバイパスされるため、古いデータが提供される可能性があります。データの整合性の管理の詳細については、ファイル、統計情報、型のキャッシュ保存の無効化をご覧ください。

パフォーマンスのさらなる調整

ハイパフォーマンスの Trusted Cloud by S3NS マシンタイプを使用すると、このページで説明する構成が自動的に適用されます。ただし、パフォーマンス調整のベスト プラクティス ガイドを使用して、最適なパフォーマンスを実現するようにマシンをさらに微調整できます。

Cloud GPU または Cloud TPU を使用して Cloud Storage の大規模なデータセットにアクセスする Google Kubernetes Engine クラスタで、トレーニング、サービング、チェックポイント、JIT キャッシュ ワークロードを実行している場合は、事前構成された YAML ファイルを利用して Cloud Storage バケットを Pod に直接マウントすることで、設定を効率化できます。事前構成済みの Google Kubernetes Engine YAML ファイルの使用方法の詳細と手順については、事前構成済みの Google Kubernetes Engine YAML ファイルを使用して Cloud Storage FUSE のパフォーマンスを最適化するをご覧ください。

次のステップ