Mengakses instance Managed Lustre di GKE dengan driver CSI Managed Lustre


Panduan ini menjelaskan cara membuat volume Kubernetes baru yang didukung oleh driver CSI Managed Lustre di GKE dengan penyediaan dinamis. Driver CSI Managed Lustre memungkinkan Anda membuat penyimpanan yang didukung oleh instance Managed Lustre sesuai permintaan, dan mengaksesnya sebagai volume untuk workload stateful Anda.

Sebelum memulai

Sebelum memulai, pastikan Anda telah melakukan tugas berikut:

  • Aktifkan Google Cloud Managed Lustre API dan Google Kubernetes Engine API.
  • Aktifkan API
  • Jika ingin menggunakan Google Cloud CLI untuk tugas ini, instal lalu lakukan inisialisasi gcloud CLI. Jika sebelumnya Anda telah menginstal gcloud CLI, dapatkan versi terbaru dengan menjalankan gcloud components update.

Menyiapkan variabel lingkungan

Siapkan variabel lingkungan berikut:

export CLUSTER_NAME=CLUSTER_NAME
export PROJECT_ID=PROJECT_ID
export NETWORK_NAME=LUSTRE_NETWORK
export IP_RANGE_NAME=LUSTRE_IP_RANGE
export FIREWALL_RULE_NAME=LUSTRE_FIREWALL_RULE
export LOCATION=ZONE

Ganti kode berikut:

  • CLUSTER_NAME: nama cluster.
  • PROJECT_ID: Trusted Cloud by S3NS project ID Anda.
  • LUSTRE_NETWORK: jaringan Virtual Private Cloud (VPC) bersama tempat cluster GKE dan instance Managed Lustre berada.
  • LUSTRE_IP_RANGE: nama untuk rentang alamat IP yang dibuat untuk VPC Network Peering dengan Managed Lustre.
  • LUSTRE_FIREWALL_RULE: nama aturan firewall untuk mengizinkan traffic TCP dari rentang alamat IP.
  • ZONE: zona geografis cluster GKE Anda; misalnya, us-central1-a.

Menyiapkan jaringan VPC

Anda harus menentukan jaringan VPC yang sama saat membuat instance Managed Lustre dan cluster GKE Anda.

  1. Untuk mengaktifkan jaringan layanan, jalankan perintah berikut:

    gcloud services enable servicenetworking.googleapis.com \
        --project=${PROJECT_ID}
    
  2. Buat jaringan VPC. Menyetel tanda --mtu ke 8896 akan menghasilkan peningkatan performa sebesar 10%.

    gcloud compute networks create ${NETWORK_NAME} \
        --subnet-mode=auto --project=${PROJECT_ID} \
        --mtu=8896
    
  3. Buat rentang alamat IP.

    gcloud compute addresses create ${IP_RANGE_NAME} \
        --global \
        --purpose=VPC_PEERING \
        --prefix-length=20 \
        --description="Managed Lustre VPC Peering" \
        --network=${NETWORK_NAME} \
        --project=${PROJECT_ID}
    
  4. Dapatkan rentang CIDR yang terkait dengan rentang yang Anda buat pada langkah sebelumnya.

    CIDR_RANGE=$(
      gcloud compute addresses describe ${IP_RANGE_NAME} \
          --global  \
          --format="value[separator=/](address, prefixLength)" \
          --project=${PROJECT_ID}
    )
    
  5. Buat aturan firewall untuk mengizinkan traffic TCP dari rentang alamat IP yang Anda buat.

    gcloud compute firewall-rules create ${FIREWALL_RULE_NAME} \
        --allow=tcp:988,tcp:6988 \
        --network=${NETWORK_NAME} \
        --source-ranges=${CIDR_RANGE} \
        --project=${PROJECT_ID}
    
  6. Untuk menyiapkan peering jaringan untuk project Anda, pastikan Anda memiliki izin IAM yang diperlukan, khususnya peran compute.networkAdmin atau servicenetworking.networksAdmin.

    1. Buka konsol Trusted Cloud > IAM & Admin, lalu telusuri pokok pemilik project Anda.
    2. Klik ikon pensil, lalu klik + TAMBAHKAN PERAN LAIN.
    3. Pilih Compute Network Admin atau Service Networking Admin.
    4. Klik Simpan.
  7. Hubungkan peering.

    gcloud services vpc-peerings connect \
        --network=${NETWORK_NAME} \
        --project=${PROJECT_ID} \
        --ranges=${IP_RANGE_NAME} \
        --service=servicenetworking.googleapis.com
    

Mengonfigurasi driver CSI Managed Lustre

Bagian ini membahas cara mengaktifkan dan menonaktifkan driver CSI Managed Lustre, jika diperlukan.

Mengaktifkan driver CSI Managed Lustre di cluster GKE baru

Untuk mengaktifkan driver CSI Managed Lustre saat membuat cluster GKE baru, ikuti langkah-langkah berikut:

Autopilot

gcloud container clusters create-auto "${CLUSTER_NAME}" \
    --location=${LOCATION} \
    --network="${NETWORK_NAME}" \
    --cluster-version=1.33.2-gke.1111000 \
    --enable-lustre-csi-driver \
    --enable-legacy-lustre-port

Standar

gcloud container clusters create "${CLUSTER_NAME}" \
    --location=${LOCATION} \
    --network="${NETWORK_NAME}" \
    --cluster-version=1.33.2-gke.1111000 \
    --addons=LustreCsiDriver \
    --enable-legacy-lustre-port

Jika tanda enable-legacy-lustre-port ditentukan, driver CSI akan mengonfigurasi LNet (lapisan jaringan virtual untuk modul kernel Managed Lustre) agar menggunakan port 6988. Flag ini diperlukan untuk mengatasi konflik port dengan gke-metadata-server di node GKE.

Mengaktifkan driver CSI Managed Lustre pada cluster GKE yang ada

Untuk mengaktifkan driver CSI Managed Lustre di cluster GKE yang ada, gunakan perintah berikut:

gcloud container clusters update ${CLUSTER_NAME} \
    --location=${LOCATION} \
    --enable-legacy-lustre-port

Mengaktifkan driver CSI Managed Lustre dapat memicu pembuatan ulang node untuk memperbarui modul kernel yang diperlukan untuk klien Managed Lustre. Untuk ketersediaan segera, sebaiknya upgrade node pool Anda secara manual.

Cluster GKE di saluran rilis diupgrade sesuai dengan peluncuran terjadwalnya, yang dapat memerlukan waktu beberapa minggu, bergantung pada periode pemeliharaan Anda. Jika menggunakan versi GKE statis, Anda harus mengupgrade node pool secara manual.

Setelah upgrade node pool, node CPU mungkin tampak menggunakan image GPU di output konsol atau CLI.Trusted Cloud Contoh:

config:
  imageType: COS_CONTAINERD
  nodeImageConfig:
    image: gke-1330-gke1552000-cos-121-18867-90-4-c-nvda

Perilaku ini sudah diperkirakan. Image GPU digunakan kembali di node CPU untuk menginstal modul kernel Managed Lustre secara aman. Anda tidak akan ditagih untuk penggunaan GPU.

Menonaktifkan driver CSI Managed Lustre

Anda dapat menonaktifkan driver CSI Managed Lustre pada cluster GKE yang ada menggunakan Google Cloud CLI.

gcloud container clusters update ${CLUSTER_NAME} \
    --location=${LOCATION} \
    --update-addons=LustreCsiDriver=DISABLED

Setelah driver CSI dinonaktifkan, GKE akan otomatis membuat ulang node Anda dan meng-uninstal modul kernel Managed Lustre.

Membuat volume baru menggunakan driver CSI Managed Lustre

Bagian berikut menjelaskan proses umum untuk membuat volume Kubernetes yang didukung oleh instance Managed Lustre di GKE:

  1. Buat StorageClass.
  2. Menggunakan PersistentVolumeClaim untuk mengakses volume.
  3. Buat workload yang menggunakan volume.

Membuat StorageClass

Jika driver CSI Managed Lustre diaktifkan, GKE akan otomatis membuat StorageClass untuk menyediakan instance Managed Lustre. StorageClass bergantung pada tingkat performa Managed Lustre. GKE, dan merupakan salah satu dari berikut ini:

  • lustre-rwx-125mbps-per-tib
  • lustre-rwx-250mbps-per-tib
  • lustre-rwx-500mbps-per-tib
  • lustre-rwx-1000mbps-per-tib

GKE menyediakan StorageClass default untuk setiap tingkat performa Managed Lustre yang didukung. Hal ini menyederhanakan penyediaan dinamis instance Managed Lustre, karena Anda dapat menggunakan StorageClass bawaan tanpa harus menentukan StorageClass Anda sendiri.

Untuk cluster zonal, driver CSI menyediakan instance Managed Lustre di zona yang sama dengan cluster. Untuk cluster regional, instance ini menyediakan instance di salah satu zona dalam region.

Contoh berikut menunjukkan cara membuat StorageClass kustom dengan persyaratan topologi tertentu:

  1. Simpan manifes berikut dalam file bernama lustre-class.yaml:

    apiVersion: storage.k8s.io/v1
    kind: StorageClass
    metadata:
      name: lustre-class
    provisioner: lustre.csi.storage.gke.io
    volumeBindingMode: Immediate
    reclaimPolicy: Delete
    parameters:
      perUnitStorageThroughput: "1000"
      network: LUSTRE_NETWORK
    allowedTopologies:
    - matchLabelExpressions:
      - key: topology.gke.io/zone
        values:
        - us-central1-a
    

    Untuk mengetahui daftar lengkap kolom yang didukung di StorageClass, lihat dokumentasi referensi driver CSI Managed Lustre.

  2. Buat StorageClass dengan menjalankan perintah ini:

    kubectl apply -f lustre-class.yaml
    

Menggunakan PersistentVolumeClaim untuk mengakses Volume

Bagian ini menunjukkan cara membuat resource PersistentVolumeClaim yang mereferensikan StorageClass driver CSI Managed Lustre.

  1. Simpan manifes berikut dalam file bernama lustre-pvc.yaml:

    apiVersion: v1
    kind: PersistentVolumeClaim
    metadata:
      name: lustre-pvc
    spec:
      accessModes:
      - ReadWriteMany
      resources:
        requests:
          storage: 18000Gi
      storageClassName: lustre-class
    

    Untuk mengetahui daftar lengkap kolom yang didukung di PersistentVolumeClaim, lihat dokumentasi referensi driver CSI Managed Lustre.

  2. Buat PersistentVolumeClaim dengan menjalankan perintah ini:

    kubectl apply -f lustre-pvc.yaml
    

Membuat workload untuk menggunakan volume

Bagian ini menunjukkan contoh cara membuat Pod yang menggunakan resource PersistentVolumeClaim yang Anda buat sebelumnya.

Beberapa Pod dapat berbagi resource PersistentVolumeClaim yang sama.

  1. Simpan manifes berikut dalam file bernama my-pod.yaml.

    apiVersion: v1
    kind: Pod
    metadata:
      name: my-pod
    spec:
      containers:
      - name: nginx
        image: nginx
        volumeMounts:
          - name: lustre-volume
            mountPath: /data
      volumes:
      - name: lustre-volume
        persistentVolumeClaim:
          claimName: lustre-pvc
    
  2. Terapkan manifes ke cluster.

    kubectl apply -f my-pod.yaml
    
  3. Verifikasi bahwa Pod sedang berjalan. Pod berjalan setelah PersistentVolumeClaim disediakan. Penyelesaian operasi ini mungkin memerlukan waktu beberapa menit.

    kubectl get pods
    

    Outputnya mirip dengan hal berikut ini:

    NAME           READY   STATUS    RESTARTS   AGE
    my-pod         1/1     Running   0          11s
    

Menggunakan fsGroup dengan volume Managed Lustre

Anda dapat mengubah kepemilikan grup direktori tingkat root dari sistem file yang di-mount agar sesuai dengan fsGroup yang diminta pengguna dan ditentukan dalam SecurityContext Pod. fsGroup tidak akan mengubah kepemilikan seluruh sistem file Managed Lustre yang di-mount secara rekursif; hanya direktori root dari titik mount yang terpengaruh.

Pemecahan masalah

Untuk panduan pemecahan masalah, lihat Halaman pemecahan masalah dalam dokumentasi Managed Lustre.

Pembersihan

Agar tidak menimbulkan biaya pada akun Trusted Cloud by S3NS Anda, hapus resource penyimpanan yang Anda buat dalam panduan ini.

  1. Hapus Pod dan PersistentVolumeClaim.

    kubectl delete pod my-pod
    kubectl delete pvc lustre-pvc
    
  2. Periksa status PersistentVolume.

    kubectl get pv
    

    Outputnya mirip dengan hal berikut ini:

    No resources found
    

    Mungkin perlu waktu beberapa menit hingga instance Managed Lustre yang mendasarinya dihapus sepenuhnya.

Langkah berikutnya