מילו בקשות של Mistral Small 4 באמצעות יחידות GPU ב-GKE עם vLLM

כדי להכניס לשימוש בסביבת הייצור מודלי שפה גדולים (LLM) של Mistral ב-Google Kubernetes Engine‏ (GKE) באמצעות ה-framework‏ vLLM עם GPUs, צריך להקצות אשכול GKE עם מאיצים נתמכים, כמו NVIDIA H100 GPUs.

כדי להפעיל את מודל Mistral Small 4, מאגר ה-vLLM המובנה מראש מוגדר לטעינת משקלי המודל. המשקלים ייטענו מקטגוריות של Cloud Storage (שמצוינות בארגומנט --model).

אחרי שהמשקלים נטענים, מאגר vLLM חושף נקודת קצה של API שתואמת ל-OpenAI, להסקת מסקנות עם תפוקה גבוהה.

המדריך הזה מיועד למהנדסי למידת מכונה (ML), לאדמינים ולאופרטורים של פלטפורמות ולמומחי נתונים ו-AI שרוצים להשתמש ביכולות של Kubernetes לארגון קונטיינרים כדי להפעיל עומסי עבודה של AI/ML בחומרת GPU מסוג H100.

לפני שקוראים את הדף הזה, חשוב לוודא שמכירים את הנושאים הבאים:

מטרות

המדריך הזה מספק בסיס להבנה ולבדיקה של פריסת מודלים גדולים של שפה (LLM) למסקנות בסביבת Kubernetes מנוהלת.

  1. מכינים את הסביבה עם אשכול GKE במצב Autopilot.
  2. פריסת קונטיינר vLLM באשכול.
  3. משתמשים ב-vLLM כדי להפעיל את מודל Mistral דרך ממשק curl.

לפני שמתחילים

  • In the Cloud de Confiance console, on the project selector page, select or create a Cloud de Confiance project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  • Verify that billing is enabled for your Cloud de Confiance project.

  • Enable the required API, if it is not already enabled.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the API

  • צריך לוודא שיש לכם בפרויקט את התפקיד או התפקידים הבאים: roles/container.admin, roles/iam.serviceAccountAdmin

    בדיקת התפקידים

    1. נכנסים לדף IAM במסוף Cloud de Confiance .

      כניסה לדף IAM
    2. בוחרים את הפרויקט.

    3. בעמודה Principal, מחפשים את כל השורות שמזהות אתכם או קבוצה שאתם נכללים בה. כדי לדעת באילו קבוצות אתם נכללים, פנו לאדמין.

    4. בודקים את העמודה Role בכל השורות שבהן מצוין או מופיע השם שלכם, כדי לראות אם רשימת התפקידים כוללת את התפקידים הנדרשים.

    מתן התפקידים

    1. נכנסים לדף IAM במסוף Cloud de Confiance .

      כניסה לדף IAM
    2. בוחרים את הפרויקט.
    3. לוחצים על Grant access.

    4. בשדה New principals, מזינים את מזהה המשתמש. ‫ בדרך כלל זה המזהה של משתמש במאגר זהויות של כוח עבודה. למידע נוסף, קראו את המאמר ייצוג המשתמשים במאגרי כוח עבודה בכללי מדיניות IAM או פנו לאדמין שלכם.

    5. לוחצים על Select a role ומחפשים את התפקיד.
    6. כדי לתת עוד תפקידים, לוחצים על Add another role ומוסיפים אותם.
    7. לוחצים על Save.

הכנת הסביבה

במדריך הזה נשתמש ב-kubectl וב-ה-CLI של gcloud כדי לנהל משאבים שמתארחים ב-Cloud de Confiance by S3NS. אפשר לתת הרשאה באמצעות ה-CLI של gcloud כדי לגשת אל Cloud de Confiance by S3NS.

כדי להגדיר את הסביבה באמצעות ה-CLI של gcloud, מגדירים את משתני הסביבה שמוגדרים כברירת מחדל ב-CLI של gcloud:

gcloud config set project PROJECT_ID
gcloud config set billing/quota_project PROJECT_ID
export PROJECT_ID=$(gcloud config get project)
export REGION=u-france-east1
export CLUSTER_NAME=CLUSTER_NAME
export KUBERNETES_SERVICEACCOUNT=KUBERNETES_SERVICEACCOUNT
export NAMESPACE=NAMESPACE
export PROJECT_NUMBER=$(gcloud projects describe PROJECT_ID --format="value(projectNumber)")
export MODEL_BUCKET_NAME=MODEL_BUCKET_NAME

מחליפים את הערכים הבאים:

  • ‫PROJECT_ID: Cloud de Confiance מזהה הפרויקט.
  • ‫REGION: u-france-east1 אזור שתומך ב-GPU מדגם H100. כאן אפשר לראות אילו מעבדים גרפיים זמינים בכל אזור.
  • ‫CLUSTER_NAME: השם של האשכול.
  • ‫KUBERNETES_SERVICEACCOUNT: השם של חשבון השירות ב-Kubernetes, לדוגמה, mistral-small-sa.
  • ‫NAMESPACE: מרחב השמות של Kubernetes, לדוגמה, default.
  • ‫MODEL_BUCKET_NAME: השם של קטגוריית Cloud Storage שבה יישמרו משקלי המודל. השם יכול להיות זהה לשם של המודל שנבחר, למשל mistral-small-4-119b-weights.

יצירה והגדרה של Cloud de Confiance משאבים

כדי ליצור את המשאבים הנדרשים, פועלים לפי ההוראות הבאות.

יצירת אשכול GKE ומאגר צמתים

אפשר להפעיל את Mistral במעבדים גרפיים באשכול GKE Autopilot. אשכול Autopilot מספק חוויית Kubernetes מנוהלת לחלוטין.

ב-CLI של gcloud, מריצים את הפקודה הבאה:

gcloud container clusters create-auto CLUSTER_NAME \
    --project=PROJECT_ID \
    --location=REGION \
    --release-channel=rapid

מחליפים את הערכים הבאים:

  • ‫PROJECT_ID: מזהה הפרויקט ב- Cloud de Confiance.
  • ‫CLUSTER_NAME: השם של האשכול.
  • ‫REGION: האזור שבו נמצא האשכול.

‫GKE יוצר אשכול Autopilot עם צמתים של מעבד ו-GPU לפי בקשת עומסי העבודה שנפרסו.

יצירת קטגוריה של Cloud Storage

  1. ב-CLI של gcloud, מריצים את הפקודה הבאה:

    gcloud storage buckets create gs://${MODEL_BUCKET_NAME} \
  --project=${PROJECT_ID} \
  --location=${REGION} \
  --uniform-bucket-level-access

    פעולה זו יוצרת קטגוריה של Cloud Storage לאחסון קובצי המודל שהורדתם מ-Hugging Face.

  2. הורדה והעלאה של משקלי המודל:

    צריך להשיג את משקלי המודל Mistral Small 4 לגרסאות שאתם מתכוונים להכניס לשימוש בסביבת הייצור (למשל מ-Hugging Face או ממקורות רשמיים אחרים). מאחסנים את הקבצים שהורדתם בספריות מקומיות. לדוגמה:

    • ‫./mistral-small-4-119b-weights-local/ (מכיל את כל הקבצים של מודל Mistral Small 4)

    מעלים את הספריות האלה לקטגוריה של Cloud Storage עם הקידומות הספציפיות שצפויות במניפסטים של הפריסה:

    # Upload files for the mistral-small-4 model
gcloud storage cp --recursive ./mistral-small-4-119b-weights-local/* gs://${MODEL_BUCKET_NAME}

    מבנה הפקודה הזה מבטיח שקובצי המודל ימוקמו בנתיבים כמו gs://${MODEL_BUCKET_NAME}/config.json וכו'.

הגדרת גישה ל-Cloud Storage

כדי לאפשר לקבוצות ה-Pod של Kubernetes לגשת לקטגוריה של Cloud Storage שמכילה את משקלי המודל, צריך להגדיר איחוד זהויות של עומסי עבודה ל-GKE.

  1. יוצרים את חשבון השירות של Kubernetes:

    kubectl create serviceaccount ${KUBERNETES_SERVICEACCOUNT} --namespace ${NAMESPACE}

  2. מוודאים שחשבון השירות קיים:

    kubectl get serviceaccounts --namespace ${NAMESPACE}

  3. מקצים לחשבון השירות של Kubernetes את התפקיד 'צפייה באובייקט אחסון' (roles/storage.objectViewer) בקטגוריה:

    if [[ $PROJECT_ID == *:* ]]; then
  DOMAIN=$(echo $PROJECT_ID | cut -d: -f1)
  PROJ_NAME=$(echo $PROJECT_ID | cut -d: -f2)
  export WI_MEMBER="principal://iam.googleapis.com/projects/${PROJECT_NUMBER}/locations/global/workloadIdentityPools/${PROJ_NAME}.${DOMAIN}.s3ns.svc.id.goog/subject/ns/${NAMESPACE}/sa/${KUBERNETES_SERVICEACCOUNT}"
else
  export WI_MEMBER="principal://iam.googleapis.com/projects/${PROJECT_NUMBER}/locations/global/workloadIdentityPools/${PROJECT_ID}.s3ns.svc.id.goog/subject/ns/${NAMESPACE}/sa/${KUBERNETES_SERVICEACCOUNT}"
fi

gcloud storage buckets add-iam-policy-binding gs://${MODEL_BUCKET_NAME} \
  --member="${WI_MEMBER}" \
  --role="roles/storage.objectViewer" \
  --project=${PROJECT_ID} \
  --condition=None

פריסת מודל Mistral Small 4 ב-vLLM

כדי לפרוס את מודל Mistral Small 4, צריך ליצור קטגוריות של Cloud Storage לכל מודל כדי לאחסן את משקלי המודל, ולהחיל מניפסט של פריסת Kubernetes לגודל המודל שנבחר. פריסה היא אובייקט Kubernetes API שמאפשר להפעיל כמה עותקים של Pods שמפוזרים בין הצמתים באשכול.

התהליך

הפעלת המניפסט הזה תמשוך את קובץ האימג' של הקונטיינר של vLLM, תבקש GPU של NVIDIA ותתחבר אוטומטית למשקלי המודל מקטגוריות של Cloud Storage כדי להפעיל את מנוע ההסקה של vLLM.

Mistral Small 4

כדי לפרוס את המודל Mistral Small 4 instruction tuned, פועלים לפי ההוראות הבאות.

  1. יוצרים את קובץ המניפסט vllm-mistral-small.yaml הבא:

    apiVersion: cloud.google.com/v1
kind: ComputeClass
metadata:
  name: a3-edgegpu-8g-nolssd
spec:
  priorities:
  - machineType: a3-edgegpu-8g-nolssd
    gpu:
      count: 8
      type: nvidia-h100-80gb
  nodePoolAutoCreation:
    enabled: true
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: vllm-mistral-deployment
spec:
  replicas: 1
  selector:
    matchLabels:
      app: mistral-server
  template:
    metadata:
      labels:
        app: mistral-server
        ai.gke.io/model: mistral-small-4-119b-weights
        ai.gke.io/inference-server: vllm
        examples.ai.gke.io/source: user-guide
    spec:
      containers:
      - name: inference-server
        image: us-docker.pkg.dev/vertex-ai/vertex-vision-model-garden-dockers/pytorch-vllm-serve:gemma4
        resources:
          requests:
            cpu: "48"
            memory: "200Gi"
            ephemeral-storage: "250Gi"
            nvidia.com/gpu: "2"
          limits:
            cpu: "48"
            memory: "200Gi"
            ephemeral-storage: "250Gi"
            nvidia.com/gpu: "2"
        command: ["./entrypoint.sh"] # Use the image's entrypoint
        args:
        - "python"
        - "-m"
        - "vllm.entrypoints.api_server"
        - "--host=0.0.0.0"
        - "--port=8080"
        - "--model=gs://mistral-small-4-119b-weights" # YOUR Cloud Storage PATH
        - "--tensor-parallel-size=2"
        - "--enable-log-requests"
        - "--enable-chunked-prefill"
        - "--enable-prefix-caching"
        - "--enable-auto-tool-choice"
        - "--generation-config=auto"
        - "--tool-call-parser=mistral"
        - "--dtype=bfloat16"
        - "--max-num-seqs=256"
        - "--max-model-len=8192"
        - "--gpu-memory-utilization=0.90"
        - "--reasoning-parser=mistral"
        - "--trust-remote-code"
        ports:
        - containerPort: 8080
        env:
        - name: GOOGLE_CLOUD_UNIVERSE_DOMAIN
          value: ""
        - name: CLOUDSDK_CORE_UNIVERSE_DOMAIN
          value: ""
        - name: GCS_URI_ARG_KEY
          value: "model"
        - name: GCS_URI_ENV_KEY
          value: "AIP_STORAGE_URI"
        - name: LORA_ADAPTER_ARG_KEY
          value: "lora-modules"
        - name: HF_HUB_ENABLE_HF_TRANSFER
          value: "1"
        volumeMounts:
        - mountPath: /dev/shm
          name: dshm
      volumes:
      - name: dshm
        emptyDir:
          medium: Memory
      nodeSelector:
        cloud.google.com/compute-class: a3-edgegpu-8g-nolssd
---
apiVersion: v1
kind: Service
metadata:
  name: llm-service
spec:
  selector:
    app: mistral-server
  type: ClusterIP
  ports:
    - protocol: TCP
      port: 8080
      targetPort: 8080

  2. החלת המניפסט:

    kubectl apply -f vllm-mistral-small.yaml

    אם רוצים, אפשר להגביל את גודל חלון ההקשר ל-16 K באמצעות האפשרות --max-model-len=16384 של vLLM. אם רוצים להגדיל את גודל חלון ההקשר (עד 128K), צריך לשנות את ההגדרה של קובץ המניפסט ושל מאגר הצמתים כדי להגדיל את קיבולת ה-GPU.

אימות

  1. מחכים שהפריסה תהיה זמינה:

    kubectl wait --for=condition=Available --timeout=1800s deployment/vllm-mistral-deployment

  2. צפייה ביומנים מהפריסה הפעילה:

    kubectl logs -f -l app=mistral-server

    משאב הפריסה מוריד את נתוני המודל Mistral Small 4. התהליך הזה יכול לקחת כמה דקות. הפלט אמור להיראות כך:

      ...
  ...
  (APIServer pid=1) INFO:     Started server process [1]
  (APIServer pid=1) INFO:     Waiting for application startup.
  (APIServer pid=1) INFO:     Application startup complete.

אחרי שהפריסה תהיה זמינה, מגדירים העברת נתונים מיציאה ליציאה כדי ליצור אינטראקציה עם המודל.

פרסום המודל

בקטע הזה אתם תנהלו אינטראקציה עם המודל. לפני שממשיכים, צריך לוודא שהמודל הורד במלואו.

הגדרת העברה ליציאה אחרת

מריצים את הפקודה הבאה כדי להגדיר העברת נתונים (forwarding) של יציאה למודל:

kubectl port-forward svc/llm-service 8080:8080 --namespace default &

הפלט אמור להיראות כך:

Forwarding from 127.0.0.1:8080 -> 8080

אינטראקציה עם המודל באמצעות curl

בקטע הזה מוסבר איך לבצע בדיקת עשן בסיסית כדי לוודא שהמודלים של Mistral שעברו כוונון לפי הוראות נפרסו. לגבי מודלים אחרים, מחליפים את mistral-small-4-119b-weights בשם של המודל הרלוונטי.

בדוגמה הזו אפשר לראות איך בודקים את המודל של Mistral שעבר התאמה להוראות, עם קלט של טקסט בלבד.

בסשן חדש של מסוף, משתמשים ב-curl כדי לשוחח עם המודל:

curl http://127.0.0.1:8080/v1/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "mistralai/Mistral-Small-4-119B-2603-eagle",
    "prompt": "What is the capital of France?",
    "max_tokens": 50,
    "temperature": 0.7
  }'

הפלט אמור להיראות כך:

‫
{
  "id": "cmpl-b5d649b6a2d7a330",
  "object": "text_completion",
  "created": 1781137490,
  "model": "openapi",
  "choices": [
    {
      "index": 0,
      "text": " This question is likely to have been asked millions of times, 
      and the answer is always the same: Paris. But why is Paris the capital 
      of France? The answer to this question is not as simple as 
      it may seem, as it involves a complex",
      "logprobs": null,
      "finish_reason": "length",
      "stop_reason": null,
      "token_ids": null,
      "prompt_logprobs": null,
      "prompt_token_ids": null
    }
  ],
  "service_tier": null,
  "system_fingerprint": null,
  "usage": {
    "prompt_tokens": 8,
    "total_tokens": 58,
    "completion_tokens": 50,
    "prompt_tokens_details": null
  },
  "kv_transfer_params": null
}

פתרון בעיות

התבוננות בביצועי המודל

כדי לראות את מרכזי הבקרה של מדדי יכולת הצפייה של מודל:

  1. במסוף Cloud de Confiance , נכנסים לדף Deployed Models.

    מעבר אל 'מודלים שנפרסו'

  2. כדי לראות פרטים על הפריסה הספציפית, כולל המדדים, היומנים ולוחות הבקרה שלה, לוחצים על שם המודל ברשימה.

  3. בדף פרטי המודל, לוחצים על הכרטיסייה Observability כדי להציג את לוחות הבקרה הבאים. אם מופיעה בקשה, לוחצים על Enable כדי להפעיל את איסוף המדדים באשכול.

    • בלוח הבקרה Infrastructure usage מוצגים מדדי השימוש.
    • בלוח הבקרה של DCGM מוצגים מדדי DCGM.
    • אם אתם משתמשים ב-vLLM, לוח הבקרה Model performance זמין ומציג מדדים של ביצועי מודל vLLM.

אפשר גם לראות מדדים בשילוב של לוח הבקרה vLLM ב-Cloud Monitoring. המדדים האלה מצטברים לכל פריסות ה-vLLM ללא מסננים מוגדרים מראש

כברירת מחדל, vLLM חושף מדדים בפורמט Prometheus, כך שלא צריך להתקין כלי נוסף לייצוא נתונים. מידע על שימוש בשירות מנוהל של Google Cloud ל-Prometheus כדי לאסוף מדדים מהמודל זמין בהנחיות בנושא יכולת צפייה ב-vLLM במסמכי Cloud Monitoring.

הסרת המשאבים

כדי להימנע מחיובים בחשבון Google Cloud בגלל השימוש במשאבים שנעשה במסגרת המדריך הזה, אפשר למחוק את הפרויקט שמכיל את המשאבים או להשאיר את הפרויקט ולמחוק את המשאבים בנפרד.

מחיקת המשאבים שנפרסו

כדי להימנע מחיובים בחשבון Cloud de Confiance על המשאבים שיצרתם במדריך הזה, מריצים את הפקודה הבאה:

gcloud container clusters delete CLUSTER_NAME \
    --location=REGION

מחליפים את הערכים הבאים:

  • ‫REGION: האזור של האשכול.
  • ‫CLUSTER_NAME: השם של האשכול.

המאמרים הבאים