고성능 머신 유형의 자동 구성

이 페이지에서는 까다로운 고처리량 워크로드의 성능을 최적화하도록 설계된 고성능 Trusted Cloud by S3NS 머신 유형에 사용되는 자동 설정 기본 Cloud Storage FUSE 값을 설명합니다. 마운트 시 수동으로 설정된 값은 이러한 기본값을 재정의합니다.

머신 유형

다음 고성능 머신 유형의 구성은 자동화됩니다.

시리즈 유형 머신 유형
A2 머신 계열
a2-megagpu-16g
a2-ultragpu-8g
A3 머신 시리즈
a3-edgegpu-8g
a3-highgpu-8g
a3-megagpu-8g
a3-ultragpu-8g
A4 머신 시리즈
4-highgpu-8g-lowmem
TPU v5e
ct5l-hightpu-8t
ct5lp-hightpu-8t
TPU v5p
ct5p-hightpu-4t
ct5p-hightpu-4t-tpu
TPU v6e (Trillium)
ct6e-standard-4t
ct6e-standard-4t-tpu
ct6e-standard-8t
ct6e-standard-8t-tpu

자동 구성

지원되는 머신 유형이 감지되면 Cloud Storage FUSE가 다음 구성 값을 자동으로 적용합니다.

구성 파일 필드 CLI 옵션 자동 구성 값
metadata-cache.negative-ttl-secs --metadata-cache-negative-ttl-secs 0
metadata-cache.ttl-secs1 --metadata-cache-ttl-secs1

-1
metadata-cache.stat-cache-max-size-mb --stat-cache-max-size-mb 1024
metadata-cache.type-cache-max-size-mb --type-cache-max-size-mb 128
implicit-dirs --implicit-dirs true
file-system.rename-dir-limit --rename-dir-limit 200000

1이 구성을 -1로 설정하면 항상 캐시에서 파일을 제공하여 성능이 크게 향상됩니다. 이 구성은 일관성 검사를 우회하므로 오래된 데이터가 제공될 수 있습니다. 데이터 일관성 관리에 관한 자세한 내용은 파일, 통계, 유형 캐시 무효화를 참고하세요.

추가 성능 조정

고성능 Trusted Cloud by S3NS 머신 유형을 사용하면 이 페이지에 자세히 설명된 구성이 자동으로 적용됩니다. 하지만 성능 조정 권장사항 가이드를 사용하여 최적의 성능을 위해 머신을 추가로 미세 조정할 수 있습니다.

Cloud GPU 또는 Cloud TPU를 사용하여 Cloud Storage의 대규모 데이터 세트에 액세스하는 Google Kubernetes Engine 클러스터에서 학습, 제공 또는 체크포인트 및 JIT 캐시 워크로드를 실행하는 경우 사전 구성된 YAML 파일을 활용하여 Cloud Storage 버킷을 포드에 직접 더 효율적으로 마운트하여 설정을 간소화할 수 있습니다. 사전 구성된 Google Kubernetes Engine YAML 파일을 사용하는 방법에 관한 자세한 내용과 안내는 사전 구성된 Google Kubernetes Engine YAML 파일을 사용하여 Cloud Storage FUSE 성능 최적화를 참고하세요.

다음 단계