טעינת קטגוריות של Cloud Storage כנפחי אחסון זמניים של CSI

יוצרים מניפסט YAML של Pod עם המפרט הבא:

apiVersion: v1
kind: Pod
metadata:
  name: gcs-fuse-csi-example-ephemeral 
  namespace: NAMESPACE
  annotations:
    gke-gcsfuse/volumes: "true" 
spec:
  terminationGracePeriodSeconds: 60
  containers:
  - image: busybox
    name: busybox
    command: ["sleep"]
    args: ["infinity"] 
    volumeMounts:
    - name: gcs-fuse-csi-ephemeral
      mountPath: /data
      readOnly: true
  serviceAccountName: KSA_NAME
  volumes:
  - name: gcs-fuse-csi-ephemeral
    csi:
      driver: gcsfuse.csi.storage.gke.io
      readOnly: true
      volumeAttributes:
        bucketName: BUCKET_NAME
        mountOptions: "implicit-dirs" 

מחליפים את הערכים הבאים:

• ‫NAMESPACE: מרחב השמות של Kubernetes שבו רוצים לפרוס את ה-Pod.
• ‫KSA_NAME: השם של חשבון השירות ב-Kubernetes שציינתם כשהגדרתם את הגישה לקטגוריות של Cloud Storage.
• ‫BUCKET_NAME: השם של הקטגוריה ב-Cloud Storage שציינתם כשהגדרתם את הגישה לקטגוריות ב-Cloud Storage. אפשר לציין קו תחתון (_) כדי לטעון את כל הקטגוריות שחשבון השירות של Kubernetes יכול לגשת אליהן. מידע נוסף זמין במאמר טעינה דינמית במסמכי התיעוד של Cloud Storage FUSE.

בדוגמה למניפסט מוצגות ההגדרות הנדרשות האלה:

• ‫metadata.annotations: חובה לציין את ההערה gke-gcsfuse/volumes: "true". במאמר הגדרת קונטיינר משני (sidecar) מפורטות הערות אופציונליות.
• ‫spec.volumes[n].csi.driver: משתמשים ב-gcsfuse.csi.storage.gke.io כשם של מנהל התקן CSI.

אפשר גם לשנות את המשתנים האלה:

• ‫spec.terminationGracePeriodSeconds: כברירת מחדל, הערך הזה מוגדר ל-30. אם אתם צריכים לכתוב קבצים גדולים לקטגוריה של Cloud Storage, כדאי להגדיל את הערך הזה כדי לוודא של-Cloud Storage FUSE יהיה מספיק זמן לנקות את הנתונים אחרי שהאפליקציה תצא. למידע נוסף, קראו את המאמר שיטות מומלצות ל-Kubernetes: סיום בצורה תקינה.
• ‫spec.volumes[n].csi.volumeAttributes.mountOptions: העברת אפשרויות טעינה אל Cloud Storage FUSE. מציינים את הדגלים במחרוזת אחת, מופרדים בפסיקים, בלי רווחים.
• ‫spec.volumes[n].csi.volumeAttributes: העברת מאפייני נפח נוספים ל-Cloud Storage FUSE.
• ‫spec.volumes[n].csi.readOnly: צריך לציין true אם כל נקודות הטעינה של אמצעי האחסון הן לקריאה בלבד.
• ‫spec.containers[n].volumeMounts[m].readOnly: צריך לציין true אם רק נקודת טעינה ספציפית של אמצעי אחסון היא לקריאה בלבד.

מריצים את הפקודה הבאה כדי להחיל את המניפסט על האשכול:

kubectl apply -f FILE_PATH

מחליפים את FILE_PATH בנתיב לקובץ ה-YAML.

יוצרים אשכול או מאגר צמתים עם אחסון זמני שמגובה על ידי SSD מקומי, לפי השלבים במאמר יצירת אשכול או מאגר צמתים עם אחסון זמני שמגובה על ידי SSD מקומי.

יוצרים מניפסט YAML של Pod עם המפרט הבא:

apiVersion: v1
kind: Pod
metadata:
  name: gcs-fuse-csi-file-cache-example 
  namespace: NAMESPACE
  annotations:
    gke-gcsfuse/volumes: "true"
    gke-gcsfuse/ephemeral-storage-limit: "50Gi" 
spec:
  nodeSelector:
    cloud.google.com/gke-ephemeral-storage-local-ssd: "true"
  restartPolicy: Never
  initContainers:
  - name: data-loader
    image: gcr.io/google.com/cloudsdktool/google-cloud-cli:slim
    resources:
      limits:
        cpu: 500m
        memory: 1Gi
      requests:
        cpu: 500m
        memory: 1Gi
    command:
      - "/bin/sh"
      - "-c"
      - |
        mkdir -p /test_files
        for i in $(seq 1 1000); do dd if=/dev/zero of=/test_files/file_$i.txt bs=1024 count=64; done
        gcloud storage cp /test_files gs://BUCKET_NAME --recursive
  containers:
  - name: data-validator
    image: busybox
    resources:
      limits:
        cpu: 500m
        memory: 512Mi
      requests:
        cpu: 500m
        memory: 512Mi
    command:
      - "/bin/sh"
      - "-c"
      - |
        echo "first read with cache miss"
        time cat /data/test_files/file_* > /dev/null

        echo "second read from local cache"
        time cat /data/test_files/file_* > /dev/null 
    volumeMounts:
    - name: gcs-fuse-csi-ephemeral
      mountPath: /data
  serviceAccountName: KSA_NAME
  volumes:
  - name: gcs-fuse-csi-ephemeral
    csi:
      driver: gcsfuse.csi.storage.gke.io
      volumeAttributes:
        bucketName: BUCKET_NAME
        mountOptions: "implicit-dirs,file-cache:max-size-mb:-1"

מחליפים את הערכים הבאים:

• ‫NAMESPACE: מרחב השמות של Kubernetes שבו רוצים לפרוס את ה-Pod.
• ‫KSA_NAME: השם של חשבון השירות ב-Kubernetes שציינתם כשהגדרתם את הגישה לקטגוריות של Cloud Storage.

• ‫BUCKET_NAME: השם של הקטגוריה ב-Cloud Storage שציינתם כשקבעתם את הגישה לקטגוריות ב-Cloud Storage. אפשר לציין קו תחתון (_) כדי לטעון את כל הקטגוריות שחשבון השירות של Kubernetes יכול לגשת אליהן. מידע נוסף זמין במאמר Dynamic mounting במאמרי העזרה של Cloud Storage FUSE.

  במניפסט לדוגמה, מאגר ה-init‏ data-loader יוצר 1,000 קבצים בגודל 64KiB ומעלה אותם לקטגוריה של Cloud Storage. הקונטיינר הראשי data-validator קורא את כל הקבצים מה-bucket פעמיים, ומתעד את משך הזמן.

מריצים את הפקודה הבאה כדי להחיל את המניפסט על האשכול:

kubectl apply -f FILE_PATH

מחליפים את FILE_PATH בנתיב לקובץ ה-YAML.

כדי לראות את הפלט של היומן, מריצים את הפקודה הבאה:

kubectl logs -n NAMESPACE gcs-fuse-csi-file-cache-example -c data-validator

מחליפים את NAMESPACE במרחב השמות של עומס העבודה.

הפלט אמור להיראות כך:

first read with cache miss
real    0m 54.68s
...
second read from local cache
real    0m 0.38s
...

הפלט מראה שהקריאה השנייה עם מטמון מקומי מהירה בהרבה מהקריאה הראשונה עם אי מציאה במטמון.

יוצרים מניפסט YAML של Pod עם המפרט הבא:

apiVersion: v1
kind: Pod
metadata:
  name: gcs-fuse-csi-example-ephemeral 
  namespace: NAMESPACE
  annotations:
    gke-gcsfuse/volumes: "true"
    gke-gcsfuse/ephemeral-storage-limit: "50Gi" 
spec:
  containers:
  ...
  volumes:
  - name: gcs-fuse-csi-ephemeral 
    csi:
      driver: gcsfuse.csi.storage.gke.io
      volumeAttributes:
        bucketName: BUCKET_NAME
        mountOptions: "implicit-dirs,file-cache:enable-parallel-downloads:true,file-cache:max-size-mb:-1"
        fileCacheCapacity: "-1"

מחליפים את הערכים הבאים:

• ‫NAMESPACE: מרחב השמות של Kubernetes שבו רוצים לפרוס את ה-Pod.
• ‫BUCKET_NAME: השם של הקטגוריה ב-Cloud Storage שציינתם כשקבעתם את הגישה לקטגוריות ב-Cloud Storage. אפשר לציין קו תחתון (_) כדי לטעון את כל הקטגוריות שלחשבון השירות של Kubernetes יש גישה אליהן. מידע נוסף זמין במאמר Dynamic mounting במאמרי העזרה של Cloud Storage FUSE.

מריצים את הפקודה הבאה כדי להחיל את המניפסט על האשכול:

kubectl apply -f FILE_PATH

מחליפים את FILE_PATH בנתיב לקובץ ה-YAML.

יוצרים קובץ מניפסט של Job ב-YAML עם המפרט הבא:

apiVersion: batch/v1
kind: Job
metadata:
  name: gcs-fuse-csi-job-example 
  namespace: NAMESPACE 
spec:
  template:
    metadata: 
      annotations:
        gke-gcsfuse/volumes: "true"
    spec:
      serviceAccountName: KSA_NAME 
      containers:
      - name: writer
        image: busybox
        command:
          - "/bin/sh"
          - "-c"
          - touch /data/test && echo $(date) >> /data/test && sleep 10
        volumeMounts:
        - name: gcs-fuse-csi-ephemeral
          mountPath: /data
      - name: reader
        image: busybox
        command:
          - "/bin/sh"
          - "-c"
          - sleep 10 && cat /data/test 
        volumeMounts:
        - name: gcs-fuse-csi-ephemeral
          mountPath: /data
          readOnly: true
      volumes:
      - name: gcs-fuse-csi-ephemeral
        csi:
          driver: gcsfuse.csi.storage.gke.io
          volumeAttributes:
            bucketName: BUCKET_NAME
      restartPolicy: Never 
  backoffLimit: 1

מחליפים את הערכים הבאים:

• ‫NAMESPACE: מרחב השמות ב-Kubernetes שבו אתם פורסים את ה-Pod.
• ‫KSA_NAME: השם של KubernetesServiceAccount שציינתם כשקבעתם את הגישה לקטגוריות של Cloud Storage.
• ‫BUCKET_NAME: השם של הקטגוריה ב-Cloud Storage שציינתם כשקבעתם את הגישה לקטגוריות ב-Cloud Storage. אפשר לציין קו תחתון (_) כדי לטעון את כל הקטגוריות שלחשבון שירות Kubernetes יש גישה אליהן. מידע נוסף זמין במאמר Dynamic mounting במאמרי העזרה של Cloud Storage FUSE.

בדוגמה למניפסט מוצגות ההגדרות הנדרשות האלה:

• ‫metadata.annotations: חובה לציין את ההערה gke-gcsfuse/volumes: "true". במאמר הגדרת מאגר sidecar מוסבר על הערות אופציונליות.
• ‫spec.volumes[n].csi.driver: משתמשים ב-gcsfuse.csi.storage.gke.io בתור השם של מנהל ההתקן של CSI.

אפשר גם לשנות את המשתנים האלה:

• ‫spec.volumes[n].csi.volumeAttributes.mountOptions: מעבירים אפשרויות טעינה ל-Cloud Storage FUSE. מציינים את הדגלים במחרוזת אחת שמופרדת בפסיקים, ללא רווחים.
• ‫spec.volumes[n].csi.volumeAttributes: העברת מאפייני נפח נוספים אל Cloud Storage FUSE.
• ‫spec.volumes[n].csi.readOnly: צריך לציין true אם כל נקודות הטעינה של אמצעי האחסון הן לקריאה בלבד.
• ‫spec.containers[n].volumeMounts[m].readOnly: מציינים true אם רק נקודת טעינה ספציפית היא לקריאה בלבד.

מריצים את הפקודה הבאה כדי להחיל את המניפסט על האשכול:

kubectl apply -f FILE_PATH

מחליפים את FILE_PATH בנתיב לקובץ ה-YAML.