מילו בקשות של Mistral Small 4 באמצעות יחידות GPU ב-GKE עם vLLM

כדי להכניס לשימוש בסביבת הייצור מודלי שפה גדולים (LLM) של Mistral ב-Google Kubernetes Engine‏ (GKE) עם ה-framework של vLLM באמצעות GPUs, צריך להקצות אשכול GKE עם מאיצים נתמכים, כמו NVIDIA H100 GPUs.

כדי להכניס לשימוש בסביבת הייצור את מודל Mistral Small 4, קונטיינר vLLM המובנה מראש מוגדר לטעינת משקלי המודל. המשקלים ייטענו מקטגוריות של Cloud Storage (שמצוינות על ידי הארגומנט --model).

אחרי שהמשקלים נטענים, מאגר vLLM חושף נקודת קצה של API שתואמת ל-OpenAI, להסקת מסקנות עם תפוקה גבוהה.

המדריך הזה מיועד למהנדסי למידת מכונה (ML), לאדמינים ולאופרטורים של פלטפורמות ולמומחי נתונים ו-AI שרוצים להשתמש ביכולות של Kubernetes לארגון קונטיינרים כדי להפעיל עומסי עבודה של AI/ML בחומרת GPU מסוג H100.

לפני שקוראים את הדף הזה, חשוב לוודא שמכירים את הנושאים הבאים:

מטרות

המדריך הזה מספק בסיס להבנה ולבדיקה של פריסת מודלים גדולים של שפה (LLM) למסקנות בסביבת Kubernetes מנוהלת.

  1. מכינים את הסביבה עם אשכול GKE במצב Autopilot.
  2. פורסים קונטיינר vLLM לאשכול.
  3. משתמשים ב-vLLM כדי להפעיל את מודל Mistral דרך ממשק curl.

לפני שמתחילים

  • In the Cloud de Confiance console, on the project selector page, select or create a Cloud de Confiance project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  • Verify that billing is enabled for your Cloud de Confiance project.

  • Enable the required API.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the API

  • צריך לוודא שיש לכם בפרויקט את התפקיד או התפקידים הבאים: roles/container.admin, roles/iam.serviceAccountAdmin

    בדיקת התפקידים

    1. נכנסים לדף IAM במסוף Cloud de Confiance .

      כניסה לדף IAM
    2. בוחרים את הפרויקט.

    3. בעמודה Principal (חשבון המשתמש), מוצאים את כל השורות שבהן מופיע השם שלכם או של קבוצה שאתם נכללים בה. כדי לברר באילו קבוצות אתם נכללים, פנו לאדמין.

    4. בודקים את העמודה Role בכל השורות שבהן מצוין או מופיע השם שלכם, כדי לראות אם רשימת התפקידים כוללת את התפקידים הנדרשים.

    מתן התפקידים

    1. נכנסים לדף IAM במסוף Cloud de Confiance .

      כניסה לדף IAM
    2. בוחרים את הפרויקט.
    3. לוחצים על Grant access.

    4. בשדה New principals, מזינים את מזהה המשתמש. ‫ בדרך כלל זה המזהה של משתמש במאגר זהויות של כוח עבודה. למידע נוסף, קראו את המאמר ייצוג המשתמשים במאגרי כוח עבודה בכללי מדיניות IAM או פנו לאדמין שלכם.

    5. לוחצים על Select a role ומחפשים את התפקיד.
    6. כדי לתת עוד תפקידים, לוחצים על Add another role ומוסיפים אותם.
    7. לוחצים על Save.

הכנת הסביבה

במדריך הזה נשתמש ב-kubectl וב-ה-CLI של gcloud כדי לנהל משאבים שמתארחים ב-Cloud de Confiance by S3NS. אפשר לתת הרשאה באמצעות ה-CLI של gcloud כדי לגשת אל Cloud de Confiance by S3NS.

כדי להגדיר את הסביבה באמצעות ה-CLI של gcloud, מגדירים את משתני הסביבה שמוגדרים כברירת מחדל ב-CLI של gcloud:

gcloud config set project PROJECT_ID
gcloud config set billing/quota_project PROJECT_ID
export PROJECT_ID=$(gcloud config get project)
export REGION=u-france-east1
export CLUSTER_NAME=CLUSTER_NAME
export GSA_NAME=GSA_NAME
export KSA_NAME=KSA_NAME
export NAMESPACE=NAMESPACE
export PROJECT_NUMBER=$(gcloud projects describe PROJECT_ID --format="value(projectNumber)")
export MODEL_BUCKET_NAME=MODEL_BUCKET_NAME

מחליפים את הערכים הבאים:

  • ‫PROJECT_ID: מזהה הפרויקט ב- Cloud de Confiance.
  • ‫REGION: u-france-east1 אזור שתומך ב-GPU מדגם H100. כאן אפשר לראות אילו מעבדי GPU זמינים בכל אזור.
  • ‫CLUSTER_NAME: השם של האשכול.
  • ‫GSA_NAME: השם של חשבון השירות של Google, לדוגמה, mistral-small-gsa.
  • ‫KSA_NAME: השם של חשבון השירות ב-Kubernetes, לדוגמה, mistral-small-ksa.
  • ‫NAMESPACE: מרחב השמות של Kubernetes, לדוגמה, default.
  • ‫MODEL_BUCKET_NAME: השם של קטגוריית Cloud Storage שבה יישמרו משקלי המודל. השם יכול להיות זהה לשם הדגם שנבחר, למשל mistral-small-4-119b-weights.

יצירה והגדרה של Cloud de Confiance משאבים

כדי ליצור את המשאבים הנדרשים, פועלים לפי ההוראות הבאות.

יצירת אשכול GKE ומאגר צמתים

אפשר להפעיל את Mistral במעבדים גרפיים באשכול GKE Autopilot. אשכול Autopilot מספק חוויית Kubernetes מנוהלת לחלוטין.

ב-CLI של gcloud, מריצים את הפקודה הבאה:

gcloud container clusters create-auto CLUSTER_NAME \
    --project=PROJECT_ID \
    --location=REGION \
    --release-channel=rapid

מחליפים את הערכים הבאים:

  • ‫PROJECT_ID: מזהה הפרויקט ב- Cloud de Confiance.
  • ‫CLUSTER_NAME: השם של האשכול.
  • ‫REGION: האזור שבו נמצא האשכול.

‫GKE יוצר אשכול Autopilot עם צמתים של מעבד ו-GPU לפי הבקשה של עומסי העבודה שנפרסו.

יצירת קטגוריה של Cloud Storage

  1. ב-CLI של gcloud, מריצים את הפקודה הבאה:

    gcloud storage buckets create gs://${MODEL_BUCKET_NAME} \
  --project=${PROJECT_ID} \
  --location=${REGION} \
  --uniform-bucket-level-access

    פעולה זו יוצרת קטגוריה של Cloud Storage לאחסון קובצי המודל שהורדתם מ-Hugging Face.

  2. הורדה והעלאה של משקלי המודל:

    צריך להשיג את משקלי המודל Mistral Small 4 לגרסאות שאתם מתכוונים להכניס לשימוש בסביבת הייצור (לדוגמה, מ-Hugging Face או ממקורות רשמיים אחרים). לארגן את הקבצים שהורדתם בספריות באופן מקומי. לדוגמה:

    • ‫./mistral-small-4-119b-weights-local/ (שמכיל את כל הקבצים של מודל Mistral Small 4)

    מעלים את הספריות האלה לקטגוריה של Cloud Storage עם הקידומות הספציפיות שצפויות במניפסטים של הפריסה:

    # Upload files for the mistral-small-4 model
gcloud storage cp --recursive ./mistral-small-4-119b-weights-local/* gs://${MODEL_BUCKET_NAME}

    מבנה הפקודה הזה מבטיח שקובצי המודל ימוקמו בנתיבים כמו gs://${MODEL_BUCKET_NAME}/config.json וכו'.

הגדרת איחוד שירותי אימות הזהות של עומסי עבודה ל-GKE לצורך גישה ל-Cloud Storage

כדי לאפשר ל-Pods של Kubernetes לגשת באופן מאובטח לקטגוריה של Cloud Storage שמכילה את משקלי המודל, צריך להגדיר איחוד זהויות של עומסי עבודה ל-GKE.

  1. יוצרים את חשבון השירות של Google ‏ (GSA):

    gcloud iam service-accounts create ${GSA_NAME} \
  --project=${PROJECT_ID}

  2. קביעה וייצוא של אימייל GSA:

    הפורמט של כתובת האימייל תלוי בהיקף של ${PROJECT_ID} (אם הוא מכיל נקודתיים).

    if [[ $PROJECT_ID == *:* ]]; then
  DOMAIN=$(echo $PROJECT_ID | cut -d: -f1)
  PROJ_NAME=$(echo $PROJECT_ID | cut -d: -f2)
  export GSA_EMAIL="${GSA_NAME}@${PROJ_NAME}.${DOMAIN}.s3ns.iam.gserviceaccount.com"
else
  export GSA_EMAIL="${GSA_NAME}@${PROJECT_ID}.s3ns.iam.gserviceaccount.com"
fi
  echo "Using GSA Email: ${GSA_EMAIL}"

  3. יוצרים את חשבון השירות של Kubernetes ‏ (KSA):

    הידע, הכישורים והיכולות האלה מופיעים במניפסט הפריסה שלכם.

    kubectl create serviceaccount ${KSA_NAME} --namespace ${NAMESPACE}

    מריצים את הפקודה הבאה כדי לוודא שהיצירה בוצעה

    kubectl get serviceaccounts --namespace ${NAMESPACE}

  4. מוסיפים הערות ל-KSA כדי לקשר אותו ל-GSA:

    ההערה הזו מציינת ל-GKE את חשבון ה-GSA שחשבון ה-KSA יכול להתחזות אליו.

    kubectl annotate serviceaccount ${KSA_NAME} \
  --namespace ${NAMESPACE} \
  iam.gke.io/gcp-service-account=${GSA_EMAIL}

  5. נותנים ל-KSA הרשאה להתחזות ל-GSA:

    הקישור הזה של IAM ב-GSA מאפשר ל-KSA לפעול כ-GSA.

    if [[ $PROJECT_ID == *:* ]]; then
  DOMAIN=$(echo $PROJECT_ID | cut -d: -f1)
  PROJ_NAME=$(echo $PROJECT_ID | cut -d: -f2)
  export WI_MEMBER="serviceAccount:${PROJ_NAME}.${DOMAIN}.s3ns.svc.id.goog[${NAMESPACE}/${KSA_NAME}]"
else
  export WI_MEMBER="serviceAccount:${PROJECT_ID}.s3ns.svc.id.goog[${NAMESPACE}/${KSA_NAME}]"
fi

gcloud iam service-accounts add-iam-policy-binding ${GSA_EMAIL} \
  --role roles/iam.workloadIdentityUser \
  --member="${WI_MEMBER}" \
  --project=${PROJECT_ID}

  6. נותנים ל-GSA הרשאה לקרוא מהקטגוריה:

    מקצים ל-GSA את התפקיד storage.objectViewer בקטגוריה. 

    gcloud storage buckets add-iam-policy-binding gs://${MODEL_BUCKET_NAME} \
  --member="serviceAccount:${GSA_EMAIL}" \
  --role="roles/storage.objectViewer" \
  --project=${PROJECT_ID}

פריסת מודל Mistral Small 4 ב-vLLM

כדי לפרוס את מודל Mistral Small 4, צריך ליצור קטגוריות של Cloud Storage לכל מודל כדי לאחסן את משקלי המודל, ולהחיל מניפסט של Kubernetes Deployment לגודל המודל שנבחר. פריסה היא אובייקט Kubernetes API שמאפשר להפעיל כמה רפליקות של Pods שמפוזרות בין הצמתים באשכול.

התהליך

החלת המניפסט הזה מושכת את קובץ האימג' של הקונטיינר vLLM, שולחת בקשה ל-GPU של NVIDIA ומתחברת אוטומטית למשקלי המודל מקטגוריות של Cloud Storage כדי להפעיל את מנוע ההסקה של vLLM.

Mistral Small 4

כדי לפרוס את המודל Mistral Small 4 instruction tuned, פועלים לפי ההוראות הבאות.

  1. יוצרים את קובץ המניפסט vllm-mistral-small.yaml הבא:

    apiVersion: cloud.google.com/v1
kind: ComputeClass
metadata:
  name: a3-edgegpu-8g-nolssd
spec:
  priorities:
  - machineType: a3-edgegpu-8g-nolssd
    gpu:
      count: 8
      type: nvidia-h100-80gb
  nodePoolAutoCreation:
    enabled: true
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: vllm-mistral-deployment
spec:
  replicas: 1
  selector:
    matchLabels:
      app: mistral-server
  template:
    metadata:
      labels:
        app: mistral-server
        ai.gke.io/model: mistral-small-4-119b-weights
        ai.gke.io/inference-server: vllm
        examples.ai.gke.io/source: user-guide
    spec:
      containers:
      - name: inference-server
        image: us-docker.pkg.dev/vertex-ai/vertex-vision-model-garden-dockers/pytorch-vllm-serve:gemma4
        resources:
          requests:
            cpu: "48"
            memory: "200Gi"
            ephemeral-storage: "250Gi"
            nvidia.com/gpu: "2"
          limits:
            cpu: "48"
            memory: "200Gi"
            ephemeral-storage: "250Gi"
            nvidia.com/gpu: "2"
        command: ["./entrypoint.sh"] # Use the image's entrypoint
        args:
        - "python"
        - "-m"
        - "vllm.entrypoints.api_server"
        - "--host=0.0.0.0"
        - "--port=8080"
        - "--model=gs://mistral-small-4-119b-weights" # YOUR Cloud Storage PATH
        - "--tensor-parallel-size=2"
        - "--enable-log-requests"
        - "--enable-chunked-prefill"
        - "--enable-prefix-caching"
        - "--enable-auto-tool-choice"
        - "--generation-config=auto"
        - "--tool-call-parser=mistral"
        - "--dtype=bfloat16"
        - "--max-num-seqs=256"
        - "--max-model-len=8192"
        - "--gpu-memory-utilization=0.90"
        - "--reasoning-parser=mistral"
        - "--trust-remote-code"
        ports:
        - containerPort: 8080
        env:
        - name: GOOGLE_CLOUD_UNIVERSE_DOMAIN
          value: ""
        - name: CLOUDSDK_CORE_UNIVERSE_DOMAIN
          value: ""
        - name: GCS_URI_ARG_KEY
          value: "model"
        - name: GCS_URI_ENV_KEY
          value: "AIP_STORAGE_URI"
        - name: LORA_ADAPTER_ARG_KEY
          value: "lora-modules"
        - name: HF_HUB_ENABLE_HF_TRANSFER
          value: "1"
        volumeMounts:
        - mountPath: /dev/shm
          name: dshm
      volumes:
      - name: dshm
        emptyDir:
          medium: Memory
      nodeSelector:
        cloud.google.com/compute-class: a3-edgegpu-8g-nolssd
---
apiVersion: v1
kind: Service
metadata:
  name: llm-service
spec:
  selector:
    app: mistral-server
  type: ClusterIP
  ports:
    - protocol: TCP
      port: 8080
      targetPort: 8080

  2. החלת המניפסט:

    kubectl apply -f vllm-mistral-small.yaml

    אם רוצים, אפשר להגביל את גודל חלון ההקשר ל-16K באמצעות האפשרות --max-model-len=16384 של vLLM. אם אתם רוצים להגדיל את גודל חלון ההקשר (עד 128K), אתם צריכים לשנות את ההגדרה של קובץ המניפסט ושל מאגר הצמתים כדי להגדיל את קיבולת ה-GPU.

אימות

  1. ממתינים עד שהפריסה תהיה זמינה:

    kubectl wait --for=condition=Available --timeout=1800s deployment/vllm-mistral-deployment

  2. צפייה ביומנים מהפריסה הפעילה:

    kubectl logs -f -l app=mistral-server

    משאב הפריסה מוריד את נתוני המודל Mistral Small 4. התהליך הזה יכול לקחת כמה דקות. הפלט אמור להיראות כך:

      ...
  ...
  (APIServer pid=1) INFO:     Started server process [1]
  (APIServer pid=1) INFO:     Waiting for application startup.
  (APIServer pid=1) INFO:     Application startup complete.

אחרי שהפריסה זמינה, מגדירים העברת יציאות כדי ליצור אינטראקציה עם המודל.

פרסום המודל

בקטע הזה אתם מנהלים אינטראקציה עם המודל. לפני שממשיכים, צריך לוודא שהמודל הורד במלואו.

הגדרת העברה ליציאה אחרת

מריצים את הפקודה הבאה כדי להגדיר העברת נתונים (פורט פורוורדינג) למודל:

kubectl port-forward svc/llm-service 8080:8080 --namespace default &

הפלט אמור להיראות כך:

Forwarding from 127.0.0.1:8080 -> 8080

אינטראקציה עם המודל באמצעות curl

בקטע הזה מוסבר איך לבצע בדיקת עשן בסיסית כדי לוודא שהמודלים של Mistral שעברו כוונון לפי הוראות נפרסו. במודלים אחרים, מחליפים את mistral-small-4-119b-weights בשם המודל הרלוונטי.

בדוגמה הזו תוכלו לראות איך בודקים את המודל המכוונן של Mistral עם קלט של טקסט בלבד.

בסשן חדש של מסוף, משתמשים ב-curl כדי לשוחח עם המודל:

curl http://127.0.0.1:8080/v1/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "mistralai/Mistral-Small-4-119B-2603-eagle",
    "prompt": "What is the capital of France?",
    "max_tokens": 50,
    "temperature": 0.7
  }'

הפלט אמור להיראות כך:

{
  "id": "cmpl-b5d649b6a2d7a330",
  "object": "text_completion",
  "created": 1781137490,
  "model": "openapi",
  "choices": [
    {
      "index": 0,
      "text": " This question is likely to have been asked millions of times, 
      and the answer is always the same: Paris. But why is Paris the capital 
      of France? The answer to this question is not as simple as 
      it may seem, as it involves a complex",
      "logprobs": null,
      "finish_reason": "length",
      "stop_reason": null,
      "token_ids": null,
      "prompt_logprobs": null,
      "prompt_token_ids": null
    }
  ],
  "service_tier": null,
  "system_fingerprint": null,
  "usage": {
    "prompt_tokens": 8,
    "total_tokens": 58,
    "completion_tokens": 50,
    "prompt_tokens_details": null
  },
  "kv_transfer_params": null
}

פתרון בעיות

מעקב אחר ביצועי המודל

כדי לראות את לוחות הבקרה של מדדי יכולת הצפייה של מודל, פועלים לפי השלבים הבאים:

  1. במסוף Cloud de Confiance , נכנסים לדף Deployed Models.

    מעבר אל 'מודלים שנפרסו'

  2. כדי לראות פרטים על הפריסה הספציפית, כולל המדדים, היומנים ולוחות הבקרה שלה, לוחצים על שם המודל ברשימה.

  3. בדף פרטי המודל, לוחצים על הכרטיסייה Observability כדי להציג את לוחות הבקרה הבאים. אם מוצגת בקשה, לוחצים על הפעלה כדי להפעיל את איסוף המדדים באשכול.

    • בלוח הבקרה Infrastructure usage מוצגים מדדי השימוש.
    • בלוח הבקרה DCGM מוצגים מדדי DCGM.
    • אם אתם משתמשים ב-vLLM, לוח הבקרה Model performance זמין ומציג מדדים של ביצועי מודל vLLM.

אפשר גם לראות מדדים בשילוב של לוח הבקרה vLLM ב-Cloud Monitoring. המדדים האלה מצטברים לכל הפריסות של vLLM ללא מסננים מוגדרים מראש

‫vLLM חושף מדדים בפורמט Prometheus כברירת מחדל, כך שלא צריך להתקין כלי נוסף לייצוא נתונים. מידע על שימוש בשירות המנוהל של Google Cloud ל-Prometheus כדי לאסוף מדדים מהמודל זמין במאמר בנושא vLLM בתיעוד של Cloud Monitoring.

הסרת המשאבים

כדי להימנע מחיובים בחשבון Google Cloud בגלל השימוש במשאבים שנעשה במסגרת המדריך הזה, אפשר למחוק את הפרויקט שמכיל את המשאבים, או להשאיר את הפרויקט ולמחוק את המשאבים בנפרד.

מחיקת המשאבים שנפרסו

כדי להימנע מחיובים בחשבון Cloud de Confiance על המשאבים שיצרתם במדריך הזה, מריצים את הפקודה הבאה:

gcloud container clusters delete CLUSTER_NAME \
    --location=REGION

מחליפים את הערכים הבאים:

  • ‫REGION: האזור של האשכול.
  • ‫CLUSTER_NAME: השם של האשכול.

המאמרים הבאים