Addestra Llama2 con Megatron-LM su macchine virtuali A3 Mega

Configura l'ambiente

1. Crea variabili di ambiente per alcuni parametri comuni

   export CLUSTER_NAME=CLUSTER_NAME
   export CONTROL_PLANE_LOCATION=CONTROL_PLANE_LOCATION
   export PROJECT_ID=PROJECT_ID
   

   Sostituisci quanto segue:

   • CLUSTER_NAME: il nome del cluster GKE A3 Mega in cui sono abilitati GPUDirect-TCPXO e il networking multiplo.
   • CONTROL_PLANE_LOCATION: la posizione di Compute Engine del control plane del cluster. Specifica una regione per i cluster a livello di regione o una zona per i cluster a livello di zona.
   • PROJECT_ID: il tuo ID progetto Cloud de Confiance .

2. Configura Google Cloud CLI in modo da utilizzare le tue credenziali Cloud de Confiance by S3NS per l'autenticazione:

   gcloud auth login
   

   Per saperne di più, consulta Autenticati per Google Cloud CLI.

3. Installa kubectl e il plug-in gcloud CLI per GKE:

   sudo apt-get install kubectl
   sudo apt-get install google-cloud-cli-gke-gcloud-auth-plugin
   

4. Recupera le credenziali per il tuo cluster GKE:

   gcloud container clusters get-credentials ${CLUSTER_NAME} \
     --location=${CONTROL_PLANE_LOCATION} \
     --project=${PROJECT_ID}
   

5. Se non è già installato, installa Helm:

   curl -fsSL -o get_helm.sh https://raw.githubusercontent.com/helm/helm/main/scripts/get-helm-3
   chmod 700 get_helm.sh
   ./get_helm.sh && rm get_helm.sh
   sudo chmod +x /usr/local/bin/helm
   

Utilizzare lo scheduler topologia consapevole per eseguire il deployment dei pod

Puoi utilizzare lo scheduler topologia per eseguire il deployment dei pod GKE sui nodi con una topologia GPU specificata.

Nei seguenti comandi kubectl, utilizzerai i file direttamente da un repository. In alternativa, puoi clonare il repository in locale e i comandi kubectl possono fare riferimento ai file locali.

Per saperne di più, consulta Pianificatore della topologia.

1. Configura il account di servizio:

   kubectl apply -f https://raw.githubusercontent.com/GoogleCloudPlatform/container-engine-accelerators/master/gpudirect-tcpxo/topology-scheduler/service-account.yaml
   

2. Installa gli script dello scheduler di topologia in un oggetto ConfigMap:

   curl -OL  https://raw.githubusercontent.com/GoogleCloudPlatform/container-engine-accelerators/master/gpudirect-tcpxo/topology-scheduler/schedule-daemon.py
   curl -OL  https://raw.githubusercontent.com/GoogleCloudPlatform/container-engine-accelerators/master/gpudirect-tcpxo/topology-scheduler/label-nodes-daemon.py
   
   kubectl -n kube-system create configmap topology-scheduler-scripts \
       --from-file=schedule-daemon.py=schedule-daemon.py \
       --from-file=label-nodes-daemon.py=label-nodes-daemon.py
   

3. Installa il DaemonSet dell'etichetta di topologia e il pod dello scheduler di topologia:

   kubectl apply -f https://raw.githubusercontent.com/GoogleCloudPlatform/container-engine-accelerators/master/gpudirect-tcpxo/topology-scheduler/label-nodes-daemon.yaml
   $ kubectl apply -f https://raw.githubusercontent.com/GoogleCloudPlatform/container-engine-accelerators/master/gpudirect-tcpxo/topology-scheduler/schedule-daemon.yaml
   

4. Osserva le azioni dello scheduler della topologia:

   kubectl -n kube-system logs topology-scheduler-pod
   

Esegui il workload

Crea il Dockerfile ed esegui il push in Cloud de Confiance by S3NS Artifact Registry

1. Crea un bucket Cloud Storage e un repository Docker. In scripts/setup-and-configure-resources.sh script, sostituisci i nomi del bucket e del repository con quelli che hai creato, quindi esegui lo script:

   bash scripts/setup-and-configure-resources.sh
   

2. Crea ed esegui il push dell'immagine pytorch-megatron:23.11-py3 nel repository. Assicurati che il nome del repository Docker nel file scripts/build-and-push-docker-image.sh corrisponda al nome del repository utilizzato nello script scripts/setup-and-configure-resources.sh. Puoi anche modificare il nome del tag dell'immagine Docker prima di eseguire il push.

   bash scripts/build-and-push-docker-image.sh
   

Avvia il benchmark Megatron-LM Llama2

1. Modifica il file helm/values.yaml per specificare il bucket Cloud Storage e l'immagine Docker creati nelle sezioni precedenti. Per alcuni esempi di configurazioni, consulta sample-configurations.

2. (Facoltativo) Puoi anche modificare il file selected-configuration.sh per specificare eventuali modifiche apportate alla configurazione Helm predefinita.

   helm install HELM_EXPERIMENT_NAME helm/ --values helm/values.yaml
   

   Sostituisci HELM_EXPERIMENT_NAME con un nome arbitrario per l'esperimento.

L'esperimento scrive le metriche dello strumento di profilazione Nsight Systems nel bucket Cloud Storage specificato nella directory megatron-experiments.