אימון מודל עם מעבדי GPU במצב GKE Autopilot

שכפול המאגר לדוגמה

ב-Cloud Shell, מריצים את הפקודה הבאה:

git clone https://github.com/GoogleCloudPlatform/ai-on-gke && \
cd ai-on-gke/tutorials-and-examples/gpu-examples/training-single-gpu

יצירת אשכול

1. נכנסים לדף Create an Autopilot cluster במסוף Cloud de Confiance :

   כניסה לדף Create an Autopilot cluster

2. בשדה שם מזינים gke-gpu-cluster.

3. ברשימה Region בוחרים באזור us-central1.

4. לוחצים על יצירה.

יצירת קטגוריה של Cloud Storage

1. נכנסים לדף Create a bucket במסוף Cloud de Confiance :

   כניסה לדף Create a bucket

2. בקטע Get started (תחילת העבודה), מזינים שם ייחודי גלובלית לקטגוריה:

   PROJECT_ID-gke-gpu-bucket
   

   מחליפים את PROJECT_ID במזהה הפרויקט ב- Cloud de Confiance.

3. לוחצים על Continue.

4. בקטע Location type, בוחרים באפשרות Region.

5. ברשימה אזור בוחרים באפשרות us-central1 (Iowa) ולוחצים על המשך.

6. בקטע Choose a storage class for your data (בחירת סוג אחסון לנתונים), לוחצים על Continue (המשך).

7. בקטע Choose how to control access to objects, בוחרים באפשרות Uniform בשביל בקרת גישה.

8. לוחצים על יצירה.

9. בתיבת הדו-שיח Public access will be prevented, מוודאים שתיבת הסימון Enforce public access prevention on this bucket מסומנת, ולוחצים על Confirm.

הגדרת גישה לדלי באמצעות איחוד זהויות של עומסי עבודה ל-GKE

כדי לאפשר ל-cluster לגשת לקטגוריה של Cloud Storage, מבצעים את הפעולות הבאות:

1. יוצרים ServiceAccount של Kubernetes באשכול.
2. יוצרים מדיניות הרשאה ב-IAM שמאפשרת ל-ServiceAccount לגשת לקטגוריה.

יצירת חשבון שירות של Kubernetes באשכול

ב-Cloud Shell, מבצעים את הפעולות הבאות:

1. מתחברים לאשכול:

   gcloud container clusters get-credentials gke-gpu-cluster \
       --location=us-central1
   

2. יוצרים מרחב שמות של Kubernetes:

   kubectl create namespace gke-gpu-namespace
   

3. יוצרים חשבון שירות של Kubernetes במרחב השמות:

   kubectl create serviceaccount gpu-k8s-sa --namespace=gke-gpu-namespace
   

יצירת מדיניות הרשאה של IAM בקטגוריה

מקצים את התפקיד Storage Object Admin (roles/storage.objectAdmin) בקטגוריה לחשבון השירות של Kubernetes:

gcloud storage buckets add-iam-policy-binding gs://PROJECT_ID-gke-gpu-bucket \
    --member=principal://iam.googleapis.com/projects/PROJECT_NUMBER/locations/global/workloadIdentityPools/PROJECT_ID.s3ns.svc.id.goog/subject/ns/gke-gpu-namespace/sa/gpu-k8s-sa \
    --role=roles/storage.objectAdmin \
    --condition=None

מחליפים את PROJECT_NUMBER במספר הפרויקט ב- Cloud de Confiance.

בדיקה אם ל-Pods יש גישה לקטגוריה של Cloud Storage

1. ב-Cloud Shell, יוצרים את משתני הסביבה הבאים:

   export K8S_SA_NAME=gpu-k8s-sa
   export BUCKET_NAME=PROJECT_ID-gke-gpu-bucket
   

   מחליפים את PROJECT_ID במזהה הפרויקט ב- Cloud de Confiance.

2. יוצרים Pod עם קונטיינר TensorFlow:

   envsubst < src/gke-config/standard-tensorflow-bash.yaml | kubectl --namespace=gke-gpu-namespace apply -f -
   

   הפקודה הזו מוסיפה את משתני הסביבה שיצרתם להפניות המתאימות במניפסט. אפשר גם לפתוח את המניפסט בכלי לעריכת טקסט ולהחליף את $K8S_SA_NAME ואת $BUCKET_NAME בערכים המתאימים.

3. יוצרים קובץ לדוגמה בקטגוריה:

   touch sample-file
   gcloud storage cp sample-file gs://PROJECT_ID-gke-gpu-bucket
   

4. מחכים שה-Pod יהיה מוכן:

   kubectl wait --for=condition=Ready pod/test-tensorflow-pod -n=gke-gpu-namespace --timeout=180s
   

   כשה-Pod מוכן, הפלט הוא:

   pod/test-tensorflow-pod condition met
   

   אם פסק הזמן של הפקודה יחלוף, יכול להיות ש-GKE עדיין ייצור צמתים חדשים להפעלת ה-Pods. מריצים שוב את הפקודה ומחכים שה-Pod יהיה מוכן.

5. פותחים מעטפת במאגר TensorFlow:

   kubectl -n gke-gpu-namespace exec --stdin --tty test-tensorflow-pod --container tensorflow -- /bin/bash
   

6. מנסים לקרוא את קובץ הדוגמה שיצרתם:

   ls /data
   

   הפלט מציג את קובץ הדוגמה.

7. בודקים את היומנים כדי לזהות את ה-GPU שמצורף ל-Pod:

   python -c "import tensorflow as tf; print(tf.config.list_physical_devices('GPU'))"
   

   הפלט מציג את ה-GPU שמצורף ל-Pod, באופן דומה לזה:

   ...
   PhysicalDevice(name='/physical_device:GPU:0',device_type='GPU')
   

8. יוצאים מהקונטיינר:

   exit
   

9. מוחקים את ה-Pod לדוגמה:

   kubectl delete -f src/gke-config/standard-tensorflow-bash.yaml \
       --namespace=gke-gpu-namespace
   

אימון וחיזוי באמצעות מערך הנתונים MNIST

בקטע הזה מריצים עומס עבודה של אימון על מערך הנתונים לדוגמה MNIST.

1. מעתיקים את הנתונים לדוגמה לקטגוריה של Cloud Storage:

   gcloud storage cp src/tensorflow-mnist-example gs://PROJECT_ID-gke-gpu-bucket/ --recursive
   

2. יוצרים את משתני הסביבה הבאים:

   export K8S_SA_NAME=gpu-k8s-sa
   export BUCKET_NAME=PROJECT_ID-gke-gpu-bucket
   

3. בודקים את משימת האימון:

   # Copyright 2023 Google LLC
   #
   # Licensed under the Apache License, Version 2.0 (the "License");
   # you may not use this file except in compliance with the License.
   # You may obtain a copy of the License at
   #
   #      http://www.apache.org/licenses/LICENSE-2.0
   #
   # Unless required by applicable law or agreed to in writing, software
   # distributed under the License is distributed on an "AS IS" BASIS,
   # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
   # See the License for the specific language governing permissions and
   # limitations under the License.
   
   apiVersion: batch/v1
   kind: Job
   metadata:
     name: mnist-training-job
   spec:
     template:
       metadata:
         name: mnist
         annotations:
           gke-gcsfuse/volumes: "true"
       spec:
         nodeSelector:
           cloud.google.com/gke-accelerator: nvidia-tesla-t4
         tolerations:
         - key: "nvidia.com/gpu"
           operator: "Exists"
           effect: "NoSchedule"
         containers:
         - name: tensorflow
           image: tensorflow/tensorflow:latest-gpu 
           command: ["/bin/bash", "-c", "--"]
           args: ["cd /data/tensorflow-mnist-example; pip install -r requirements.txt; python tensorflow_mnist_train_distributed.py"]
           resources:
             limits:
               nvidia.com/gpu: 1
               cpu: 1
               memory: 3Gi
           volumeMounts:
           - name: gcs-fuse-csi-vol
             mountPath: /data
             readOnly: false
         serviceAccountName: $K8S_SA_NAME
         volumes:
         - name: gcs-fuse-csi-vol
           csi:
             driver: gcsfuse.csi.storage.gke.io
             readOnly: false
             volumeAttributes:
               bucketName: $BUCKET_NAME
               mountOptions: "implicit-dirs"
         restartPolicy: "Never"

4. פורסים את משימת האימון:

   envsubst < src/gke-config/standard-tf-mnist-train.yaml | kubectl -n gke-gpu-namespace apply -f -
   

   הפקודה הזו מחליפה את משתני הסביבה שיצרתם בהפניות המתאימות במניפסט. אפשר גם לפתוח את המניפסט בכלי לעריכת טקסט ולהחליף את $K8S_SA_NAME ואת $BUCKET_NAME בערכים המתאימים.

5. מחכים עד שהסטטוס של העבודה יהיה Completed:

   kubectl wait -n gke-gpu-namespace --for=condition=Complete job/mnist-training-job --timeout=180s
   

   כשהעבודה מוכנה, הפלט אמור להיראות כך:

   job.batch/mnist-training-job condition met
   

   אם פסק הזמן של הפקודה יחלוף, יכול להיות ש-GKE עדיין ייצור צמתים חדשים להפעלת ה-Pods. מריצים שוב את הפקודה ומחכים שהסטטוס של העבודה יהיה מוכן.

6. בודקים את היומנים מהקונטיינר של TensorFlow:

   kubectl logs -f jobs/mnist-training-job -c tensorflow -n gke-gpu-namespace
   

   בפלט מוצגים האירועים הבאים:

   • התקנת חבילות Python נדרשות
   • הורדת מערך הנתונים MNIST
   • אימון המודל באמצעות GPU
   • שמירת המודל
   • הערכת המודל

   ...
   Epoch 12/12
   927/938 [============================>.] - ETA: 0s - loss: 0.0188 - accuracy: 0.9954
   Learning rate for epoch 12 is 9.999999747378752e-06
   938/938 [==============================] - 5s 6ms/step - loss: 0.0187 - accuracy: 0.9954 - lr: 1.0000e-05
   157/157 [==============================] - 1s 4ms/step - loss: 0.0424 - accuracy: 0.9861
   Eval loss: 0.04236088693141937, Eval accuracy: 0.9861000180244446
   Training finished. Model saved
   

7. מחיקת עומס העבודה של האימון:

   kubectl -n gke-gpu-namespace delete -f src/gke-config/standard-tf-mnist-train.yaml
   

פריסת עומס עבודה של הסקה

בקטע הזה תפרסו עומס עבודה של היקשים שמקבל מערך נתונים לדוגמה כקלט ומחזיר חיזויים.

1. מעתיקים את התמונות לחיזוי לקטגוריה:

   gcloud storage cp data/mnist_predict gs://PROJECT_ID-gke-gpu-bucket/ --recursive
   

2. בודקים את עומס העבודה של ההסקה:

   # Copyright 2023 Google LLC
   #
   # Licensed under the Apache License, Version 2.0 (the "License");
   # you may not use this file except in compliance with the License.
   # You may obtain a copy of the License at
   #
   #      http://www.apache.org/licenses/LICENSE-2.0
   #
   # Unless required by applicable law or agreed to in writing, software
   # distributed under the License is distributed on an "AS IS" BASIS,
   # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
   # See the License for the specific language governing permissions and
   # limitations under the License.
   
   apiVersion: batch/v1
   kind: Job
   metadata:
     name: mnist-batch-prediction-job
   spec:
     template:
       metadata:
         name: mnist
         annotations:
           gke-gcsfuse/volumes: "true"
       spec:
         nodeSelector:
           cloud.google.com/gke-accelerator: nvidia-tesla-t4
         tolerations:
         - key: "nvidia.com/gpu"
           operator: "Exists"
           effect: "NoSchedule"
         containers:
         - name: tensorflow
           image: tensorflow/tensorflow:latest-gpu 
           command: ["/bin/bash", "-c", "--"]
           args: ["cd /data/tensorflow-mnist-example; pip install -r requirements.txt; python tensorflow_mnist_batch_predict.py"]
           resources:
             limits:
               nvidia.com/gpu: 1
               cpu: 1
               memory: 3Gi
           volumeMounts:
           - name: gcs-fuse-csi-vol
             mountPath: /data
             readOnly: false
         serviceAccountName: $K8S_SA_NAME
         volumes:
         - name: gcs-fuse-csi-vol
           csi:
             driver: gcsfuse.csi.storage.gke.io
             readOnly: false
             volumeAttributes:
               bucketName: $BUCKET_NAME
               mountOptions: "implicit-dirs"
         restartPolicy: "Never"

3. פריסת עומס העבודה של ההסקה:

   envsubst < src/gke-config/standard-tf-mnist-batch-predict.yaml | kubectl -n gke-gpu-namespace apply -f -
   

   הפקודה הזו מחליפה את משתני הסביבה שיצרתם בהפניות התואמות במניפסט. אפשר גם לפתוח את המניפסט בכלי לעריכת טקסט ולהחליף את $K8S_SA_NAME ואת $BUCKET_NAME בערכים המתאימים.

4. מחכים עד שהסטטוס של העבודה יהיה Completed:

   kubectl wait -n gke-gpu-namespace --for=condition=Complete job/mnist-batch-prediction-job --timeout=180s
   

   הפלט אמור להיראות כך:

   job.batch/mnist-batch-prediction-job condition met
   

5. בודקים את היומנים מהקונטיינר של TensorFlow:

   kubectl logs -f jobs/mnist-batch-prediction-job -c tensorflow -n gke-gpu-namespace
   

   הפלט הוא החיזוי לכל תמונה ורמת הסמך של המודל בחיזוי, בדומה למה שמוצג כאן:

   Found 10 files belonging to 1 classes.
   1/1 [==============================] - 2s 2s/step
   The image /data/mnist_predict/0.png is the number 0 with a 100.00 percent confidence.
   The image /data/mnist_predict/1.png is the number 1 with a 99.99 percent confidence.
   The image /data/mnist_predict/2.png is the number 2 with a 100.00 percent confidence.
   The image /data/mnist_predict/3.png is the number 3 with a 99.95 percent confidence.
   The image /data/mnist_predict/4.png is the number 4 with a 100.00 percent confidence.
   The image /data/mnist_predict/5.png is the number 5 with a 100.00 percent confidence.
   The image /data/mnist_predict/6.png is the number 6 with a 99.97 percent confidence.
   The image /data/mnist_predict/7.png is the number 7 with a 100.00 percent confidence.
   The image /data/mnist_predict/8.png is the number 8 with a 100.00 percent confidence.
   The image /data/mnist_predict/9.png is the number 9 with a 99.65 percent confidence.