הגדרת מנהל התקן ה-CSI של Cloud Storage FUSE ל-GKE

בדף הזה מוסבר איך להגדיר את הדרייבר של Cloud Storage FUSE CSI ל-GKE ולהכין אותו לשימוש.

כדי להשתמש במנהל התקן ה-CSI של Cloud Storage FUSE, מבצעים את השלבים הבאים:

• יצירת הקטגוריה של Cloud Storage
• הפעלת הנהג
• הגדרת גישה לקטגוריה של Cloud Storage

יצירת קטגוריה של Cloud Storage

אם עדיין לא עשיתם זאת, יוצרים את קטגוריות Cloud Storage. תתבצע העמסה של הדליים האלה כנפחים באשכול GKE. כדי לשפר את הביצועים, מגדירים את Location type ל-Region ובוחרים אזור שתואם לאשכול GKE.

הפעלת מנהל התקן ה-CSI של Cloud Storage FUSE

צריך לפעול לפי השלבים הבאים, בהתאם לסוג האשכולות שבהם אתם משתמשים: GKE Autopilot או אשכולות רגילים. כדי ליהנות מחוויית Kubernetes מנוהלת באופן מלא, מומלץ להשתמש באשכול Autopilot. כדי לבחור את המצב שהכי מתאים לעומסי העבודה שלכם, אפשר לעיין במאמר בחירת מצב פעולה של GKE.

gcloud container clusters create CLUSTER_NAME \
    --addons GcsFuseCsiDriver \
    --cluster-version=VERSION \
    --location=LOCATION \
    --workload-pool=PROJECT_ID.s3ns.svc.id.goog

gcloud container clusters update CLUSTER_NAME \
    --update-addons GcsFuseCsiDriver=ENABLED \
    --location=LOCATION

כדי לוודא שמנהל התקן ה-CSI של Cloud Storage FUSE מופעל באשכול, מריצים את הפקודה הבאה:

gcloud container clusters describe CLUSTER_NAME \
    --location=LOCATION \
    --project=PROJECT_ID \
    --format="value(addonsConfig.gcsFuseCsiDriverConfig.enabled)"

הגדרת גישה לקטגוריות של Cloud Storage

מנהל התקן ה-CSI של Cloud Storage FUSE משתמש באיחוד שירותי אימות הזהות של עומסי עבודה ב-GKE כדי שתוכלו להגדיר הרשאות מפורטות לגבי האופן שבו רכיבי ה-Pod של GKE יכולים לגשת לנתונים שמאוחסנים ב-Cloud Storage.

כדי להפוך את קטגוריות Cloud Storage לנגישות לאשכול GKE, צריך לבצע אימות באמצעות איחוד שירותי אימות הזהות של עומסי עבודה ב-GKE עם קטגוריית Cloud Storage שרוצים לטעון במפרט ה-Pod:

1. אם לא הפעלתם איחוד זהויות של עומסי עבודה ל-GKE, אתם צריכים לפעול לפי השלבים האלה כדי להפעיל אותו. אם רוצים להשתמש במאגר צמתים קיים, צריך להפעיל באופן ידני את איחוד הזהויות של עומסי עבודה ל-GKE במאגר הצמתים אחרי שמפעילים את איחוד הזהויות של עומסי עבודה ל-GKE באשכול.

2. קבלת פרטי הכניסה לאשכול:

   gcloud container clusters get-credentials CLUSTER_NAME \
       --location=LOCATION
   

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫CLUSTER_NAME: השם של האשכול שבו מופעל איחוד זהויות של עומסי עבודה ל-GKE.
   • ‫LOCATION: האזור או התחום של Compute Engine שבו נמצא האשכול.

3. יוצרים מרחב שמות לשימוש ב-Kubernetes ServiceAccount. אפשר גם להשתמש במרחב השמות default או בכל מרחב שמות קיים.

   kubectl create namespace NAMESPACE
   

   מחליפים את NAMESPACE בשם של מרחב השמות ב-Kubernetes בשביל חשבון השירות ב-Kubernetes.

4. יוצרים Kubernetes ServiceAccount לשימוש באפליקציה. אפשר גם להשתמש בכל חשבון שירות קיים של Kubernetes בכל מרחב שמות, כולל default חשבון השירות של Kubernetes.

   kubectl create serviceaccount KSA_NAME \
       --namespace NAMESPACE
   

   מחליפים את KSA_NAME בשם של חשבון השירות של Kubernetes.

5. מקצים לחשבון השירות ב-Kubernetes אחד מתפקידי ה-IAM ל-Cloud Storage. פועלים לפי השלבים הבאים, בהתאם להרשאת הגישה שרוצים לתת לחשבון השירות של Kubernetes: גישה רק לקטגוריה ספציפית ב-Cloud Storage או גישה גלובלית לכל הקטגוריות בפרויקט.

   גישה לקטגוריה ספציפית

   gcloud storage buckets add-iam-policy-binding gs://BUCKET_NAME \
       --member "principal://iam.googleapis.com/projects/PROJECT_NUMBER/locations/global/workloadIdentityPools/PROJECT_ID.s3ns.svc.id.goog/subject/ns/NAMESPACE/sa/KSA_NAME" \
       --role "ROLE_NAME"
   

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫BUCKET_NAME: שם הקטגוריה שלכם ב-Cloud Storage.
   • ‫PROJECT_NUMBER: מספר הפרויקט של אשכול GKE. כדי למצוא את מספר הפרויקט, אפשר להיעזר במאמר זיהוי פרויקטים.
   • ‫PROJECT_ID: מזהה הפרויקט של אשכול GKE.
   • ‫NAMESPACE: השם של מרחב השמות ב-Kubernetes עבור חשבון השירות ב-Kubernetes.
   • ‫KSA_NAME: השם של חשבון השירות החדש של Kubernetes.
   • ‫ROLE_NAME: תפקיד ה-IAM להקצאה לחשבון השירות של Kubernetes.
     • לעומסי עבודה של קריאה בלבד, משתמשים בתפקיד Storage Object Viewer‏ (roles/storage.objectViewer).
     • עבור עומסי עבודה של קריאה וכתיבה, משתמשים בתפקיד Storage Object User ‏ (roles/storage.objectUser).

   גישה גלובלית לקטגוריות

   gcloud projects add-iam-policy-binding GCS_PROJECT \
       --member "principal://iam.googleapis.com/projects/PROJECT_NUMBER/locations/global/workloadIdentityPools/PROJECT_ID.s3ns.svc.id.goog/subject/ns/NAMESPACE/sa/KSA_NAME" \
       --role "ROLE_NAME"
   

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫GCS_PROJECT: מזהה הפרויקט של דלי ה-Cloud Storage.
   • ‫PROJECT_NUMBER: מספר הפרויקט של אשכול GKE. כדי למצוא את מספר הפרויקט, אפשר להיעזר במאמר זיהוי פרויקטים.
   • ‫PROJECT_ID: מזהה הפרויקט של אשכול GKE.
   • ‫NAMESPACE: השם של מרחב השמות ב-Kubernetes עבור חשבון השירות ב-Kubernetes.
   • ‫KSA_NAME: השם של חשבון השירות החדש של Kubernetes.
   • ‫ROLE_NAME: תפקיד ה-IAM להקצאה לחשבון השירות של Kubernetes.
     • לעומסי עבודה של קריאה בלבד, משתמשים בתפקיד Storage Object Viewer‏ (roles/storage.objectViewer).
     • עבור עומסי עבודה של קריאה וכתיבה, משתמשים בתפקיד Storage Object User ‏ (roles/storage.objectUser).

הגדרת גישה ל-Pods עם רשת מארחת

בגרסאות של אשכול GKE שקודמות לגרסה 1.33.3-gke.1226000, מנהל התקן ה-CSI של Cloud Storage FUSE לא תומך ב-Pods שפועלים ברשת המארח (hostNetwork: true) בגלל מגבלות של איחוד זהויות של עומסי עבודה ל-GKE. עם זאת, בגרסאות מאוחרות יותר של GKE, אפשר להגדיר אימות מאובטח ל-Pods מופעלים כשמשתמשים במנהל התקן ה-CSI של Cloud Storage FUSE כדי לטעון קטגוריות של Cloud Storage.hostNetwork התמיכה ברשת המארחת זמינה רק באשכולות GKE רגילים.

חשוב לוודא שקלאסטר GKE עומד בדרישות הבאות:

• גם רמת הבקרה וגם מאגרי הצמתים באשכול GKE Standard צריכים להיות בגרסה 1.33.3-gke.1226000 ומעלה.
• מפעילים את Workload Identity באשכול.
• נותנים את הרשאות ה-IAM הנדרשות לחשבון השירות של Kubernetes שבו הפוד עם hostNetwork מופעל משתמש כדי לגשת לקטגוריה של Cloud Storage. מידע נוסף זמין במאמר בנושא אימות ל-Cloud Storage FUSE.

כדי לאפשר לקבוצות ה-Pod שלכם HostNetwork לגשת לנפחי אחסון ב-Cloud Storage, אתם מציינים את מאפיין נפח האחסון hostNetworkPodKSA: "true" בהגדרת ה-Pod או ה-PersistentVolume. ההגדרה המדויקת משתנה בהתאם לאופן שבו אתם מנהלים את קובץ ה-sidecar של Cloud Storage FUSE.

קבצים נלווים מנוהלים

הקטע הזה רלוונטי אם GKE מחדיר ומנהל באופן אוטומטי את קובץ ה-sidecar של Cloud Storage FUSE ב-Pods. האפשרות הזו היא ברירת המחדל וההגדרה המומלצת למנהל התקן ה-CSI של Cloud Storage FUSE.

apiVersion: v1
kind: Pod
metadata:
  name: test-pod
  namespace: ns1
  annotations:
    gke-gcsfuse/volumes: "true"
spec:
  serviceAccountName: test-ksa-ns1
  hostNetwork: true
  containers:
  - image: busybox
    name: busybox
    command:
      - sleep
      - "3600"
    volumeMounts:
    - name: gcs-fuse-csi-ephemeral
      mountPath: /data
  volumes:
  - name: gcs-fuse-csi-ephemeral
    csi:
      driver: gcsfuse.csi.storage.gke.io
      volumeAttributes:
        bucketName: test-bucket
        hostNetworkPodKSA: "true"

apiVersion: v1
kind: PersistentVolume
metadata:
name: gcp-cloud-storage-csi-pv
spec:
accessModes:
- ReadWriteMany
capacity:
  storage: 5Gi
persistentVolumeReclaimPolicy: Retain
# storageClassName does not need to refer to an existing StorageClass object.
storageClassName: test-storage-class
mountOptions:
  - uid=1001
  - gid=3003
csi:
  driver: gcsfuse.csi.storage.gke.io
  volumeHandle: test-wi-host-network-2
  volumeAttributes:
    hostNetworkPodKSA: "true"

סיידקאר פרטי

הקטע הזה רלוונטי אם אתם מנהלים באופן ידני את קונטיינר ה-sidecar של Cloud Storage FUSE בתוך ה-Pods או משתמשים בתמונת sidecar בהתאמה אישית.

קובץ האימג' של ה-sidecar צריך להתבסס על מנהל התקן ה-CSI של Cloud Storage FUSE בגרסה v1.17.2 ואילך.

apiVersion: v1
kind: Pod
metadata:
  name: test-pod
  namespace: ns1
  annotations:
    gke-gcsfuse/volumes: "true"
spec:
  serviceAccountName: test-ksa-ns1
  hostNetwork: true
  containers:
  - image: busybox
    name: busybox
    command:
      - sleep
      - "3600"
    volumeMounts:
    - name: gcs-fuse-csi-ephemeral
      mountPath: /data
  volumes:
  - name: gcs-fuse-csi-ephemeral
    csi:
      driver: gcsfuse.csi.storage.gke.io
      volumeAttributes:
        bucketName: test-bucket
        hostNetworkPodKSA: "true"
        identityProvider: "https://container.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/clusters/CLUSTER_NAME"

apiVersion: v1
kind: PersistentVolume
metadata:
name: gcp-cloud-storage-csi-pv
spec:
accessModes:
- ReadWriteMany
capacity:
  storage: 5Gi
persistentVolumeReclaimPolicy: Retain
# storageClassName does not need to refer to an existing StorageClass object.
storageClassName: test-storage-class
mountOptions:
  - uid=1001
  - gid=3003
csi:
  driver: gcsfuse.csi.storage.gke.io
  volumeHandle: test-wi-host-network-2
  volumeAttributes:
    hostNetworkPodKSA: "true"
    identityProvider: "https://container.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/clusters/CLUSTER_NAME"

המאמרים הבאים

• פתרון בעיות ב-Cloud Storage FUSE
• איך לטעון קטגוריות של Cloud Storage על ידי ציון הקטגוריות בשורה עם מפרט ה-Pod
• איך לטעון קטגוריות של Cloud Storage באמצעות משאב PersistentVolume
• מידע נוסף על הגדרת אפליקציות לשימוש באיחוד שירותי אימות הזהות של עומסי עבודה ב-GKE
• אופטימיזציה אוטומטית של הביצועים באמצעות פרופילים של Cloud Storage FUSE.
• אופטימיזציה ידנית של Cloud Storage FUSE לשיפור הביצועים.