Google uses AI technology to translate content into your preferred language. AI translations can contain errors.

vLLM과 함께 GKE에서 GPU를 사용하여 Mistral Small 4 서빙

Autopilot

GPU를 사용하는 vLLM 프레임워크를 통해 Google Kubernetes Engine (GKE)에서 Mistral 대규모 언어 모델 (LLM)을 제공하려면 NVIDIA H100 GPU와 같은 지원되는 가속기로 GKE 클러스터를 프로비저닝해야 합니다.

Mistral Small 4 모델을 제공하기 위해 사전 빌드된 vLLM 컨테이너는 모델 가중치를 로드하도록 구성됩니다. 가중치는 Cloud Storage 버킷에서 로드됩니다 (--model 인수로 지정됨).

가중치가 로드되면 vLLM 컨테이너는 처리량이 높은 추론을 위한 OpenAI 호환 API 엔드포인트를 노출합니다.

이 튜토리얼은 H100 GPU 하드웨어에서 AI/ML 워크로드를 서빙하기 위해 Kubernetes의 컨테이너 조정 기능을 활용하고자 하는 머신러닝 (ML) 엔지니어, 플랫폼 관리자 및 운영자, 데이터 및 AI 전문가를 대상으로 합니다.

이 페이지를 읽기 전 다음 내용을 숙지해야 합니다.

목표

이 튜토리얼은 관리형 Kubernetes 환경에서 LLM을 추론 용도로 실제로 배포하는 방식을 이해하고 탐색하는 데 필요한 기초를 제공합니다.

Autopilot 모드의 GKE 클러스터로 환경을 준비합니다.
클러스터에 vLLM 컨테이너를 배포합니다.
vLLM을 사용하여 curl 인터페이스를 통해 Mistral 모델을 제공합니다.

시작하기 전에

In the Cloud de Confiance console, on the project selector page, select or create a Cloud de Confiance project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
- Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.
Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector
Verify that billing is enabled for your Cloud de Confiance project.
Enable the required API.
Roles required to enable APIs
To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.
Enable the API

프로젝트에 다음 역할이 있는지 확인합니다. roles/container.admin, roles/iam.serviceAccountAdmin
역할 확인
1. Cloud de Confiance 콘솔에서 IAM 페이지로 이동합니다.
  IAM으로 이동
2. 프로젝트를 선택합니다.
3. 주 구성원 열에서 나 또는 내가 속한 그룹을 식별하는 모든 행을 찾습니다. 내가 속한 그룹을 알아보려면 관리자에게 문의하세요.
4. 나를 지정하거나 포함하는 모든 행의 역할 열을 확인하여 역할 목록에 필요한 역할이 포함되어 있는지 확인합니다.
역할 부여
1. Cloud de Confiance 콘솔에서 IAM 페이지로 이동합니다.
  IAM으로 이동
2. 프로젝트를 선택합니다.
3. 액세스 권한 부여를 클릭합니다.
4. 새 주 구성원 필드에 사용자 식별자를 입력합니다. 일반적으로 직원 ID 풀의 사용자 식별자입니다. 자세한 내용은 IAM 정책에서 직원 풀 사용자 표현을 참조하거나 관리자에게 문의하세요.
5. 역할 선택을 클릭한 후 역할을 검색합니다.
6. 역할을 추가로 부여하려면 다른 역할 추가 를 클릭하고 각 역할을 추가합니다.
7. 저장 을 클릭합니다.

프로젝트에 H100 GPU 할당량이 충분한지 확인합니다. 자세한 내용은 GPU 정보 및 배정 할당량을 참조하세요.

개발 환경 준비

이 튜토리얼에서는 kubectl 및 gcloud CLI를 사용하여 에서 호스팅되는 리소스를 관리합니다. Cloud de Confiance by S3NSgcloud CLI로 승인하여 에 액세스할 수 있습니다 Cloud de Confiance by S3NS.

gcloud CLI로 환경을 설정하려면 gcloud CLI에서 기본 환경 변수를 설정합니다.

gcloud config set project PROJECT_ID
gcloud config set billing/quota_project PROJECT_ID
export PROJECT_ID=$(gcloud config get project)
export REGION=u-france-east1
export CLUSTER_NAME=CLUSTER_NAME
export GSA_NAME=GSA_NAME
export KSA_NAME=KSA_NAME
export NAMESPACE=NAMESPACE
export PROJECT_NUMBER=$(gcloud projects describe PROJECT_ID --format="value(projectNumber)")
export MODEL_BUCKET_NAME=MODEL_BUCKET_NAME

다음 값을 바꿉니다.

PROJECT_ID: 프로젝트 ID Cloud de Confiance
REGION: H100 GPU를 지원하는 u-france-east1 리전 어떤 리전에서 어떤 GPU를 사용할 수 있는지 확인할 수 있습니다. .
CLUSTER_NAME: 클러스터 이름
GSA_NAME: Google 서비스 계정의 이름(예: mistral-small-gsa)
KSA_NAME: Kubernetes 서비스 계정의 이름(예: mistral-small-ksa)
NAMESPACE: Kubernetes 네임스페이스(예: default)
MODEL_BUCKET_NAME: 모델 가중치가 저장될 Cloud Storage 버킷의 이름 선택한 모델과 동일한 이름(예: mistral-small-4-119b-weights)일 수 있습니다.

리소스 만들기 및 구성 Cloud de Confiance

다음 안내에 따라 필요한 리소스를 만듭니다.

GKE 클러스터 및 노드 풀 만들기

GPU를 활용하여 GKE Autopilot 클러스터에서 Mistral을 제공할 수 있습니다. Autopilot 클러스터는 완전 관리형 Kubernetes 환경을 제공합니다.

gcloud CLI에서 다음 명령어를 실행합니다.

gcloud container clusters create-auto CLUSTER_NAME \
    --project=PROJECT_ID \
    --location=REGION \
    --release-channel=rapid

다음 값을 바꿉니다.

PROJECT_ID: 프로젝트 ID Cloud de Confiance
CLUSTER_NAME: 클러스터 이름
REGION: 클러스터가 있는 리전

GKE는 배포된 워크로드의 요청에 따라 CPU 및 GPU 노드를 사용하여 Autopilot 클러스터를 만듭니다.

Cloud Storage 버킷 만들기

gcloud CLI에서 다음 명령어를 실행합니다.
```
gcloud storage buckets create gs://${MODEL_BUCKET_NAME} \
  --project=${PROJECT_ID} \
  --location=${REGION} \
  --uniform-bucket-level-access
```
이 명령어는 Hugging Face에서 다운로드한 모델 파일을 저장하는 Cloud Storage 버킷을 만듭니다.
모델 가중치 다운로드 및 업로드:

제공하려는 버전의 Mistral Small 4 모델 가중치를 가져와야 합니다 (예: Hugging Face 또는 기타 공식 소스). 다운로드한 파일을 로컬에서 디렉터리로 정리합니다. 예를 들면 다음과 같습니다.
- ./mistral-small-4-119b-weights-local/ (Mistral Small 4 모델의 모든 파일 포함)
배포 매니페스트에서 예상하는 특정 프리픽스를 사용하여 이러한 디렉터리를 Cloud Storage 버킷에 업로드합니다.
```
# Upload files for the mistral-small-4 model
gcloud storage cp --recursive ./mistral-small-4-119b-weights-local/* gs://${MODEL_BUCKET_NAME}
```
이 명령어 구조는 모델 파일이 gs://${MODEL_BUCKET_NAME}/config.json과 같은 경로에 있도록 합니다.

Cloud Storage 액세스를 위한 GKE용 워크로드 아이덴티티 제휴 구성

Kubernetes 포드가 모델 가중치가 포함된 Cloud Storage 버킷에 안전하게 액세스하도록 허용하려면 GKE용 워크로드 아이덴티티 제휴를 구성합니다.

Google 서비스 계정 (GSA)을 만듭니다.

gcloud iam service-accounts create ${GSA_NAME} \
  --project=${PROJECT_ID}

GSA 이메일 확인 및 내보내기:

이메일 형식은 ${PROJECT_ID}의 범위가 도메인으로 지정되어 있는지 (콜론 포함)에 따라 다릅니다.

if [[ $PROJECT_ID == *:* ]]; then
  DOMAIN=$(echo $PROJECT_ID | cut -d: -f1)
  PROJ_NAME=$(echo $PROJECT_ID | cut -d: -f2)
  export GSA_EMAIL="${GSA_NAME}@${PROJ_NAME}.${DOMAIN}.s3ns.iam.gserviceaccount.com"
else
  export GSA_EMAIL="${GSA_NAME}@${PROJECT_ID}.s3ns.iam.gserviceaccount.com"
fi
  echo "Using GSA Email: ${GSA_EMAIL}"

Kubernetes 서비스 계정 (KSA)을 만듭니다.

이 KSA는 배포 매니페스트에서 사용됩니다.
```
kubectl create serviceaccount ${KSA_NAME} --namespace ${NAMESPACE}
```
다음 명령어를 실행하여 생성을 확인합니다.
```
kubectl get serviceaccounts --namespace ${NAMESPACE}
```

KSA에 주석을 추가하여 GSA에 연결합니다.

이 주석은 KSA가 가장할 수 있는 GSA를 GKE에 알려줍니다.

kubectl annotate serviceaccount ${KSA_NAME} \
  --namespace ${NAMESPACE} \
  iam.gke.io/gcp-service-account=${GSA_EMAIL}

GSA를 가장할 수 있는 KSA 권한 부여:

GSA의 이 IAM 바인딩을 통해 KSA가 GSA 역할을 할 수 있습니다.

if [[ $PROJECT_ID == *:* ]]; then
  DOMAIN=$(echo $PROJECT_ID | cut -d: -f1)
  PROJ_NAME=$(echo $PROJECT_ID | cut -d: -f2)
  export WI_MEMBER="serviceAccount:${PROJ_NAME}.${DOMAIN}.s3ns.svc.id.goog[${NAMESPACE}/${KSA_NAME}]"
else
  export WI_MEMBER="serviceAccount:${PROJECT_ID}.s3ns.svc.id.goog[${NAMESPACE}/${KSA_NAME}]"
fi

gcloud iam service-accounts add-iam-policy-binding ${GSA_EMAIL} \
  --role roles/iam.workloadIdentityUser \
  --member="${WI_MEMBER}" \
  --project=${PROJECT_ID}

버킷에서 읽을 수 있는 GSA 권한 부여:

버킷에 storage.objectViewer 역할을 GSA에 부여합니다.

gcloud storage buckets add-iam-policy-binding gs://${MODEL_BUCKET_NAME} \
  --member="serviceAccount:${GSA_EMAIL}" \
  --role="roles/storage.objectViewer" \
  --project=${PROJECT_ID}

vLLM에 Mistral Small 4 모델 배포

Mistral Small 4 모델을 배포하려면 각 모델의 모델 가중치를 저장할 Cloud Storage 버킷을 만들고 선택한 모델 크기에 Kubernetes 배포 매니페스트를 적용합니다. 배포 는 클러스터에서 노드 간에 배포되는 여러 포드 복제본을 실행할 수 있는 Kubernetes API 객체입니다.

절차

이 매니페스트를 적용하면 vLLM 컨테이너 이미지가 가져오고 NVIDIA GPU가 요청되며 Cloud Storage 버킷의 모델 가중치에 자동으로 연결되어 vLLM 추론 엔진이 시작됩니다.

Mistral Small 4

다음 안내에 따라 Mistral Small 4 명령 조정 모델을 배포합니다.

다음 vllm-mistral-small.yaml 매니페스트를 만듭니다.

apiVersion: cloud.google.com/v1
kind: ComputeClass
metadata:
  name: a3-edgegpu-8g-nolssd
spec:
  priorities:
  - machineType: a3-edgegpu-8g-nolssd
    gpu:
      count: 8
      type: nvidia-h100-80gb
  nodePoolAutoCreation:
    enabled: true
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: vllm-mistral-deployment
spec:
  replicas: 1
  selector:
    matchLabels:
      app: mistral-server
  template:
    metadata:
      labels:
        app: mistral-server
        ai.gke.io/model: mistral-small-4-119b-weights
        ai.gke.io/inference-server: vllm
        examples.ai.gke.io/source: user-guide
    spec:
      containers:
      - name: inference-server
        image: us-docker.pkg.dev/vertex-ai/vertex-vision-model-garden-dockers/pytorch-vllm-serve:gemma4
        resources:
          requests:
            cpu: "48"
            memory: "200Gi"
            ephemeral-storage: "250Gi"
            nvidia.com/gpu: "2"
          limits:
            cpu: "48"
            memory: "200Gi"
            ephemeral-storage: "250Gi"
            nvidia.com/gpu: "2"
        command: ["./entrypoint.sh"] # Use the image's entrypoint
        args:
        - "python"
        - "-m"
        - "vllm.entrypoints.api_server"
        - "--host=0.0.0.0"
        - "--port=8080"
        - "--model=gs://mistral-small-4-119b-weights" # YOUR Cloud Storage PATH
        - "--tensor-parallel-size=2"
        - "--enable-log-requests"
        - "--enable-chunked-prefill"
        - "--enable-prefix-caching"
        - "--enable-auto-tool-choice"
        - "--generation-config=auto"
        - "--tool-call-parser=mistral"
        - "--dtype=bfloat16"
        - "--max-num-seqs=256"
        - "--max-model-len=8192"
        - "--gpu-memory-utilization=0.90"
        - "--reasoning-parser=mistral"
        - "--trust-remote-code"
        ports:
        - containerPort: 8080
        env:
        - name: GOOGLE_CLOUD_UNIVERSE_DOMAIN
          value: ""
        - name: CLOUDSDK_CORE_UNIVERSE_DOMAIN
          value: ""
        - name: GCS_URI_ARG_KEY
          value: "model"
        - name: GCS_URI_ENV_KEY
          value: "AIP_STORAGE_URI"
        - name: LORA_ADAPTER_ARG_KEY
          value: "lora-modules"
        - name: HF_HUB_ENABLE_HF_TRANSFER
          value: "1"
        volumeMounts:
        - mountPath: /dev/shm
          name: dshm
      volumes:
      - name: dshm
        emptyDir:
          medium: Memory
      nodeSelector:
        cloud.google.com/compute-class: a3-edgegpu-8g-nolssd
---
apiVersion: v1
kind: Service
metadata:
  name: llm-service
spec:
  selector:
    app: mistral-server
  type: ClusterIP
  ports:
    - protocol: TCP
      port: 8080
      targetPort: 8080

매니페스트를 적용합니다.
```
kubectl apply -f vllm-mistral-small.yaml
```
원하는 경우 vLLM 옵션 --max-model-len=16384를 사용하여 컨텍스트 윈도우 크기를 16K로 제한할 수 있습니다. 더 큰 컨텍스트 윈도우 크기 (최대 128K)를 원하는 경우 GPU 용량이 더 큰 매니페스트와 노드 풀 구성을 조정하세요.

인증

배포를 사용할 수 있을 때까지 기다립니다.

kubectl wait --for=condition=Available --timeout=1800s deployment/vllm-mistral-deployment

실행 중인 배포의 로그를 봅니다.

kubectl logs -f -l app=mistral-server

배포 리소스는 Mistral Small 4 모델 데이터를 다운로드합니다. 이 프로세스는 몇 분 정도 걸릴 수 있습니다. 출력은 다음과 비슷합니다.

  ...
  ...
  (APIServer pid=1) INFO:     Started server process [1]
  (APIServer pid=1) INFO:     Waiting for application startup.
  (APIServer pid=1) INFO:     Application startup complete.

배포를 사용할 수 있게 되면 모델과 상호작용하도록 포트 전달 을 설정합니다.

모델 제공

이 섹션에서는 모델과 상호작용합니다. 계속하기 전에 모델이 완전히 다운로드되었는지 확인합니다.

포트 전달 설정

다음 명령어를 실행하여 모델에 대한 포트 전달을 설정합니다.

kubectl port-forward svc/llm-service 8080:8080 --namespace default &

출력은 다음과 비슷합니다.

Forwarding from 127.0.0.1:8080 -> 8080

curl을 사용하여 모델과 상호작용

이 섹션에서는 기본 스모크 테스트를 수행하여 배포된 Mistral 명령 조정 모델을 확인하는 방법을 보여줍니다. 다른 모델의 경우 mistral-small-4-119b-weights를 해당 모델의 이름으로 바꿉니다.

이 예시에서는 Mistral 명령 조정 모델을 텍스트 전용 입력으로 테스트하는 방법을 보여줍니다.

새 터미널 세션에서 curl을 사용해서 모델과 채팅합니다.

curl http://127.0.0.1:8080/v1/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "mistralai/Mistral-Small-4-119B-2603-eagle",
    "prompt": "What is the capital of France?",
    "max_tokens": 50,
    "temperature": 0.7
  }'

결과는 다음과 유사합니다.

{
  "id": "cmpl-b5d649b6a2d7a330",
  "object": "text_completion",
  "created": 1781137490,
  "model": "openapi",
  "choices": [
    {
      "index": 0,
      "text": " This question is likely to have been asked millions of times, 
      and the answer is always the same: Paris. But why is Paris the capital 
      of France? The answer to this question is not as simple as 
      it may seem, as it involves a complex",
      "logprobs": null,
      "finish_reason": "length",
      "stop_reason": null,
      "token_ids": null,
      "prompt_logprobs": null,
      "prompt_token_ids": null
    }
  ],
  "service_tier": null,
  "system_fingerprint": null,
  "usage": {
    "prompt_tokens": 8,
    "total_tokens": 58,
    "completion_tokens": 50,
    "prompt_tokens_details": null
  },
  "kv_transfer_params": null
}

문제 해결하기

Empty reply from server 메시지가 표시되면 컨테이너에서 모델 데이터 다운로드가 완료되지 않았을 수 있습니다. 모델을 제공할 준비가 되었음을 나타내는 Connected 메시지가 있는지 포드의 로그를 다시 확인합니다.
Connection refused가 표시되면 포트 전달이 활성 상태인지 확인합니다.

모델 성능 관찰

모델의 모니터링 가능성 측정항목 대시보드를 보려면 다음 단계를 따르세요.

콘솔에서 배포된 모델 페이지로 이동합니다. Cloud de Confiance

배포된 모델로 이동
측정항목, 로그, 대시보드 등 특정 배포에 관한 세부정보를 보려면 목록에서 모델 이름을 클릭합니다.
모델 세부정보 페이지에서 모니터링 가능성 탭을 클릭하여 다음 대시보드를 확인합니다. 메시지가 표시되면 사용 설정 을 클릭하여 클러스터의 측정항목 수집을 사용 설정합니다.
- 인프라 사용량 대시보드에는 사용률 측정항목이 표시됩니다.
- DCGM 대시보드에는 DCGM 측정항목이 표시됩니다.
- vLLM을 사용하는 경우 모델 성능 대시보드를 사용할 수 있으며 vLLM 모델 성능 측정항목이 표시됩니다.

Cloud Monitoring의 vLLM 대시보드 통합에서 측정항목을 볼 수도 있습니다. 이러한 측정항목은 사전 설정된 필터 없이 모든 vLLM 배포에 집계됩니다.

vLLM은 기본적으로 Prometheus 형식으로 측정항목을 노출하므로, 별도의 내보내기 도구를 설치할 필요가 없습니다. Google Cloud Managed Service for Prometheus를 사용하여 모델에서 측정항목을 수집하는 방법은 Cloud Monitoring 문서의 vLLM 모니터링 가능성 가이드를 참조하세요.

삭제

이 튜토리얼에서 사용된 리소스 비용이 Google Cloud 계정에 청구되지 않도록 하려면 리소스가 포함된 프로젝트를 삭제하거나 프로젝트를 유지하고 개별 리소스를 삭제하세요.

배포된 리소스 삭제

이 가이드에서 만든 리소스에 대해 Cloud de Confiance 계정에 비용이 청구되지 않도록 하려면 다음 명령어를 실행합니다.

gcloud container clusters delete CLUSTER_NAME \
    --location=REGION

다음 값을 바꿉니다.

REGION: 클러스터의 리전
CLUSTER_NAME: 클러스터 이름

다음 단계

GKE의 GPU 자세히 알아보기
Autopilot에서 GPU 워크로드 배포 방법 알아보기
vLLM GitHub 저장소 및 문서 살펴보기
Vertex AI Model Garden 살펴보기
GKE 플랫폼 조정 기능으로 최적화된 AI/ML 워크로드를 실행하는 방법 알아보기

vLLM과 함께 GKE에서 GPU를 사용하여 Mistral Small 4 서빙

목표

시작하기 전에

역할 확인

역할 부여

개발 환경 준비

리소스 만들기 및 구성 Cloud de Confiance

GKE 클러스터 및 노드 풀 만들기

Cloud Storage 버킷 만들기

Cloud Storage 액세스를 위한 GKE용 워크로드 아이덴티티 제휴 구성

vLLM에 Mistral Small 4 모델 배포

절차

Mistral Small 4

인증

모델 제공

포트 전달 설정

curl을 사용하여 모델과 상호작용

문제 해결하기

모델 성능 관찰

삭제

배포된 리소스 삭제

다음 단계