טעינת קטגוריות של Cloud Storage כנפחי אחסון זמניים של CSI

יוצרים מניפסט YAML של Pod עם המפרט הבא:

apiVersion: v1
kind: Pod
metadata:
  name: gcs-fuse-csi-example-ephemeral 
  namespace: NAMESPACE
  annotations:
    gke-gcsfuse/volumes: "true" 
spec:
  terminationGracePeriodSeconds: 60
  containers:
  - image: busybox
    name: busybox
    command: ["sleep"]
    args: ["infinity"] 
    volumeMounts:
    - name: gcs-fuse-csi-ephemeral
      mountPath: /data
      readOnly: true
  serviceAccountName: KSA_NAME
  volumes:
  - name: gcs-fuse-csi-ephemeral
    csi:
      driver: gcsfuse.csi.storage.gke.io
      readOnly: true
      volumeAttributes:
        bucketName: BUCKET_NAME
        mountOptions: "implicit-dirs" 

מחליפים את הערכים הבאים:

• ‫NAMESPACE: מרחב השמות של Kubernetes שבו רוצים לפרוס את ה-Pod.
• ‫KSA_NAME: השם של חשבון השירות ב-Kubernetes שציינתם כשהגדרתם גישה לקטגוריות של Cloud Storage.
• ‫BUCKET_NAME: שם הקטגוריה ב-Cloud Storage שציינתם כשקבעתם את הגישה לקטגוריות ב-Cloud Storage. אפשר לציין קו תחתון (_) כדי לטעון את כל הקטגוריות שחשבון השירות של Kubernetes יכול לגשת אליהן. מידע נוסף זמין במאמר Dynamic mounting במאמרי העזרה של Cloud Storage FUSE.

בדוגמה למניפסט מוצגות ההגדרות הנדרשות האלה:

• ‫metadata.annotations: ההערה gke-gcsfuse/volumes: "true" נדרשת. במאמר הגדרת קונטיינר sidecar מוסבר איך להוסיף הערות אופציונליות.
• ‫spec.volumes[n].csi.driver: משתמשים ב-gcsfuse.csi.storage.gke.io כשם של מנהל התקן CSI.

אפשר גם לשנות את המשתנים האלה:

• ‫spec.terminationGracePeriodSeconds: כברירת מחדל, הערך הזה מוגדר ל-30. אם אתם צריכים לכתוב קבצים גדולים לקטגוריה של Cloud Storage, כדאי להגדיל את הערך הזה כדי לוודא של-Cloud Storage FUSE יהיה מספיק זמן לרוקן מידע (Flush) אחרי שהאפליקציה תצא. מידע נוסף זמין במאמר שיטות מומלצות ל-Kubernetes: סיום פעולה בצורה תקינה.
• ‫spec.volumes[n].csi.volumeAttributes.mountOptions: העברת אפשרויות טעינה אל Cloud Storage FUSE. מציינים את הדגלים במחרוזת אחת שמופרדת באמצעות פסיקים, ללא רווחים.
• ‫spec.volumes[n].csi.volumeAttributes: העברת מאפייני נפח נוספים אל Cloud Storage FUSE.
• ‫spec.volumes[n].csi.readOnly: מציינים true אם כל הנפחים המותקנים הם לקריאה בלבד.
• ‫spec.containers[n].volumeMounts[m].readOnly: מציינים true אם רק נקודת טעינה ספציפית של נפח היא לקריאה בלבד.

מריצים את הפקודה הבאה כדי להחיל את המניפסט על האשכול:

kubectl apply -f FILE_PATH

מחליפים את FILE_PATH בנתיב לקובץ ה-YAML.

יוצרים אשכול או מאגר צמתים עם אחסון זמני שמגובה על ידי SSD מקומי, לפי השלבים במאמר יצירת אשכול או מאגר צמתים עם אחסון זמני שמגובה על ידי SSD מקומי.

יוצרים מניפסט YAML של Pod עם המפרט הבא:

apiVersion: v1
kind: Pod
metadata:
  name: gcs-fuse-csi-file-cache-example 
  namespace: NAMESPACE
  annotations:
    gke-gcsfuse/volumes: "true"
    gke-gcsfuse/ephemeral-storage-limit: "50Gi" 
spec:
  nodeSelector:
    cloud.google.com/gke-ephemeral-storage-local-ssd: "true"
  restartPolicy: Never
  initContainers:
  - name: data-loader
    image: gcr.io/google.com/cloudsdktool/google-cloud-cli:slim
    resources:
      limits:
        cpu: 500m
        memory: 1Gi
      requests:
        cpu: 500m
        memory: 1Gi
    command:
      - "/bin/sh"
      - "-c"
      - |
        mkdir -p /test_files
        for i in $(seq 1 1000); do dd if=/dev/zero of=/test_files/file_$i.txt bs=1024 count=64; done
        gcloud storage cp /test_files gs://BUCKET_NAME --recursive
  containers:
  - name: data-validator
    image: busybox
    resources:
      limits:
        cpu: 500m
        memory: 512Mi
      requests:
        cpu: 500m
        memory: 512Mi
    command:
      - "/bin/sh"
      - "-c"
      - |
        echo "first read with cache miss"
        time cat /data/test_files/file_* > /dev/null

        echo "second read from local cache"
        time cat /data/test_files/file_* > /dev/null 
    volumeMounts:
    - name: gcs-fuse-csi-ephemeral
      mountPath: /data
  serviceAccountName: KSA_NAME
  volumes:
  - name: gcs-fuse-csi-ephemeral
    csi:
      driver: gcsfuse.csi.storage.gke.io
      volumeAttributes:
        bucketName: BUCKET_NAME
        mountOptions: "implicit-dirs,file-cache:max-size-mb:-1"

מחליפים את הערכים הבאים:

• ‫NAMESPACE: מרחב השמות של Kubernetes שבו רוצים לפרוס את ה-Pod.
• ‫KSA_NAME: השם של KubernetesServiceAccount שציינתם כשקבעתם את הגישה לקטגוריות של Cloud Storage.

• ‫BUCKET_NAME: שם הקטגוריה ב-Cloud Storage שציינתם כשקבעתם את הגישה לקטגוריות ב-Cloud Storage. אפשר לציין קו תחתון (_) כדי לטעון את כל הקטגוריות שחשבון השירות של Kubernetes יכול לגשת אליהן. מידע נוסף זמין במאמר Dynamic mounting במאמרי העזרה של Cloud Storage FUSE.

  במניפסט לדוגמה, קובץ ה-init container data-loader יוצר 1,000 קבצים בגודל 64 KiB, ומעלה את הקבצים לקטגוריה של Cloud Storage. הקונטיינר הראשי data-validator קורא את כל הקבצים מה-bucket פעמיים, ומתעד את משך הזמן.

מריצים את הפקודה הבאה כדי להחיל את המניפסט על האשכול:

kubectl apply -f FILE_PATH

מחליפים את FILE_PATH בנתיב לקובץ ה-YAML.

כדי לראות את הפלט של היומן, מריצים את הפקודה הבאה:

kubectl logs -n NAMESPACE gcs-fuse-csi-file-cache-example -c data-validator

מחליפים את NAMESPACE במרחב השמות של עומס העבודה.

הפלט אמור להיראות כך:

first read with cache miss
real    0m 54.68s
...
second read from local cache
real    0m 0.38s
...

הפלט מראה שהקריאה השנייה עם מטמון מקומי מהירה בהרבה מהקריאה הראשונה עם אי מציאה במטמון.

יוצרים מניפסט YAML של Pod עם המפרט הבא:

apiVersion: v1
kind: Pod
metadata:
  name: gcs-fuse-csi-example-ephemeral 
  namespace: NAMESPACE
  annotations:
    gke-gcsfuse/volumes: "true"
    gke-gcsfuse/ephemeral-storage-limit: "50Gi" 
spec:
  containers:
  ...
  volumes:
  - name: gcs-fuse-csi-ephemeral 
    csi:
      driver: gcsfuse.csi.storage.gke.io
      volumeAttributes:
        bucketName: BUCKET_NAME
        mountOptions: "implicit-dirs,file-cache:enable-parallel-downloads:true,file-cache:max-size-mb:-1"
        fileCacheCapacity: "-1"

מחליפים את הערכים הבאים:

• ‫NAMESPACE: מרחב השמות של Kubernetes שבו רוצים לפרוס את ה-Pod.
• ‫BUCKET_NAME: שם הקטגוריה ב-Cloud Storage שציינתם כשקבעתם את הגישה לקטגוריות ב-Cloud Storage. אפשר לציין קו תחתון (_) כדי לטעון את כל הקטגוריות שחשבון השירות של Kubernetes יכול לגשת אליהן. מידע נוסף זמין במאמר Dynamic mounting במאמרי העזרה של Cloud Storage FUSE.

מריצים את הפקודה הבאה כדי להחיל את המניפסט על האשכול:

kubectl apply -f FILE_PATH

מחליפים את FILE_PATH בנתיב לקובץ ה-YAML.

יוצרים קובץ מניפסט של משרה ב-YAML עם המפרט הבא:

apiVersion: batch/v1
kind: Job
metadata:
  name: gcs-fuse-csi-job-example 
  namespace: NAMESPACE 
spec:
  template:
    metadata: 
      annotations:
        gke-gcsfuse/volumes: "true"
    spec:
      serviceAccountName: KSA_NAME 
      containers:
      - name: writer
        image: busybox
        command:
          - "/bin/sh"
          - "-c"
          - touch /data/test && echo $(date) >> /data/test && sleep 10
        volumeMounts:
        - name: gcs-fuse-csi-ephemeral
          mountPath: /data
      - name: reader
        image: busybox
        command:
          - "/bin/sh"
          - "-c"
          - sleep 10 && cat /data/test 
        volumeMounts:
        - name: gcs-fuse-csi-ephemeral
          mountPath: /data
          readOnly: true
      volumes:
      - name: gcs-fuse-csi-ephemeral
        csi:
          driver: gcsfuse.csi.storage.gke.io
          volumeAttributes:
            bucketName: BUCKET_NAME
      restartPolicy: Never 
  backoffLimit: 1

מחליפים את הערכים הבאים:

• ‫NAMESPACE: מרחב השמות של Kubernetes שבו פורס ה-Pod.
• ‫KSA_NAME: השם של KubernetesServiceAccount שציינתם כשקבעתם את הגישה לקטגוריות של Cloud Storage.
• ‫BUCKET_NAME: שם הקטגוריה ב-Cloud Storage שציינתם כשקבעתם את הגישה לקטגוריות ב-Cloud Storage. אפשר לציין קו תחתון (_) כדי לטעון את כל הקטגוריות שלחשבון שירות Kubernetes יש גישה אליהן. מידע נוסף זמין במאמר Dynamic mounting במאמרי העזרה של Cloud Storage FUSE.

בדוגמה למניפסט מוצגות ההגדרות הנדרשות האלה:

• ‫metadata.annotations: נדרשת ההערה gke-gcsfuse/volumes: "true". במאמר הגדרת קונטיינר sidecar מוסבר איך מוסיפים הערות אופציונליות.
• ‫spec.volumes[n].csi.driver: שימוש ב-gcsfuse.csi.storage.gke.io כשם של מנהל ההתקן של CSI.

אפשר גם לשנות את המשתנים האלה:

• ‫spec.volumes[n].csi.volumeAttributes.mountOptions: העברת אפשרויות טעינה אל Cloud Storage FUSE. מציינים את הדגלים במחרוזת אחת שמופרדת באמצעות פסיקים, ללא רווחים.
• ‫spec.volumes[n].csi.volumeAttributes: העברת מאפייני נפח נוספים אל Cloud Storage FUSE.
• ‫spec.volumes[n].csi.readOnly: מציינים true אם כל הנפחים המחוברים הם לקריאה בלבד.
• ‫spec.containers[n].volumeMounts[m].readOnly: מציינים true אם רק נקודת טעינה ספציפית של נפח היא לקריאה בלבד.

מריצים את הפקודה הבאה כדי להחיל את המניפסט על האשכול:

kubectl apply -f FILE_PATH

מחליפים את FILE_PATH בנתיב לקובץ ה-YAML.