Tentang GKE Volume Populator

Volume Populator Google Kubernetes Engine (GKE) dapat membantu Anda mengotomatiskan dan menyederhanakan proses pemuatan data dari bucket Cloud Storage ke PersistentVolumeClaims (PVC) tujuan selama penyediaan dinamis.

Cara kerja Volume Populator GKE

Volume Populator GKE memanfaatkan konsep Volume Populator Kubernetes inti. Daripada menyediakan volume kosong, Volume Populator GKE memungkinkan PVC mereferensikan resource kustom GCPDataSource. Resource kustom ini menentukan bucket Cloud Storage sumber dan kredensial yang diperlukan.

Saat Anda membuat PVC dengan dataSourceRef yang mengarah ke resource GCPDataSource, Volume Populator GKE akan memulai transfer data. Data akan disalin dari URI bucket Cloud Storage yang ditentukan ke volume penyimpanan persisten yang mendasarinya sebelum membuat volume tersedia untuk Pod Anda.

Proses ini mengurangi kebutuhan Anda untuk menggunakan skrip transfer data manual atau perintah CLI, dan mengotomatiskan transfer set data besar ke volume persisten. Volume Populator GKE mendukung transfer data antara jenis sumber dan tujuan berikut:

Volume Populator GKE adalah komponen terkelola GKE yang diaktifkan secara default di cluster Autopilot dan Standard. Anda terutama berinteraksi dengan Volume Populator GKE melalui gcloud CLI dan kubectl CLI.

Arsitektur

Diagram berikut menunjukkan cara data mengalir dari penyimpanan sumber ke penyimpanan tujuan, dan cara PersistentVolume untuk penyimpanan tujuan dibuat menggunakan Volume Populator GKE.

  1. Anda membuat PVC yang mereferensikan GCPDataSource resource kustom.
  2. Volume Populator GKE mendeteksi PVC dan memulai Tugas transfer data.
  3. Tugas transfer berjalan di node pool yang ada, atau node pool baru dibuat jika penyediaan otomatis node diaktifkan.
  4. Tugas transfer menyalin data dari bucket Cloud Storage yang ditentukan dalam resource GCPDataSource ke volume penyimpanan tujuan.
  5. Setelah transfer selesai, PVC akan terikat ke volume penyimpanan tujuan, sehingga data tersedia untuk Pod workload.

Transfer data dari penyimpanan data sumber dan pembuatan PV untuk penyimpanan tujuan menggunakan Pengisi Volume GKE

Manfaat utama

Volume Populator GKE menawarkan beberapa manfaat:

  • Pengisian data otomatis: mengisi volume secara otomatis dengan data dari Cloud Storage selama penyediaan, yang membantu mengurangi overhead operasional.
  • Portabilitas data yang lancar: memindahkan data dari penyimpanan objek ke sistem block storage berperforma tinggi (Hyperdisk) untuk membantu mengoptimalkan harga atau performa berdasarkan kebutuhan workload Anda.
  • Alur kerja yang disederhanakan: mengurangi kebutuhan akan Tugas pemuatan data terpisah, atau intervensi manual untuk menyiapkan volume persisten.
  • Integrasi dengan Identity and Access Management (IAM): menggunakan autentikasi berbasis IAM melalui Workload Identity Federation untuk GKE guna membantu memastikan transfer data yang aman dengan kontrol akses yang terperinci.
  • Workload AI/ML yang dipercepat: memuat data, model, dan bobot set data besar dengan cepat langsung ke penyimpanan berperforma tinggi untuk membantu mempercepat tugas pelatihan dan inferensi.

Kasus penggunaan untuk Volume Populator GKE

Anda dapat menggunakan Volume Populator GKE untuk memuat set data pelatihan besar untuk AI/ML. Bayangkan Anda memiliki set data multi-terabyte untuk melatih model bahasa besar (LLM) yang disimpan di bucket Cloud Storage. Tugas pelatihan Anda berjalan di GKE dan memerlukan performa I/O yang tinggi. Daripada menyalin data secara manual, Anda dapat menggunakan Volume Populator GKE untuk menyediakan volume Hyperdisk ML secara otomatis, dan mengisinya dengan set data dari Cloud Storage saat PVC dibuat. Proses otomatis ini membantu memastikan Pod pelatihan Anda dimulai dengan akses data yang cepat dan langsung.

Berikut beberapa contoh lainnya tempat Anda dapat menggunakan Volume Populator GKE:

  • Melakukan pre-caching bobot dan aset model AI/ML dari Cloud Storage ke volume Hyperdisk ML untuk mempercepat waktu pemuatan model untuk penayangan inferensi.
  • Memigrasikan data dari Cloud Storage ke volume persisten untuk aplikasi stateful yang memerlukan akses disk berperforma tinggi.

Langkah berikutnya