À propos de GKE Volume Populator

Le Volume Populator de Google Kubernetes Engine (GKE) peut vous aider à automatiser et à simplifier le processus de préchargement des données des buckets Cloud Storage vers les PersistentVolumeClaims (PVC) de destination lors du provisionnement dynamique.

Fonctionnement du Volume Populator de GKE

Le Volume Populator de GKE exploite le concept de base du Volume Populator de Kubernetes. Au lieu de provisionner un volume vide, le Volume Populator de GKE permet à un PVC de référencer une ressource personnalisée GCPDataSource. Cette ressource personnalisée spécifie le bucket Cloud Storage source et les identifiants nécessaires.

Lorsque vous créez un PVC avec un dataSourceRef pointant vers une ressource GCPDataSource, le Volume Populator de GKE lance le transfert de données. Il copie les données de l'URI du bucket Cloud Storage spécifié dans le volume de stockage persistant sous-jacent avant de mettre le volume à la disposition de vos pods.

Ce processus vous évite d'avoir à utiliser des scripts de transfert de données manuels ou des commandes CLI, et automatise le transfert de grands ensembles de données vers des volumes persistants. Le Volume Populator de GKE est compatible avec les transferts de données entre les types de sources et de destinations suivants :

Le Volume Populator de GKE est un composant géré par GKE qui est activé par défaut sur les clusters Autopilot et Standard. Vous interagissez principalement avec le Volume Populator de GKE via gcloud CLI et kubectl CLI.

Architecture

Le schéma suivant montre comment les données circulent du stockage source vers le stockage de destination, et comment le PersistentVolume du stockage de destination est créé à l'aide du Volume Populator de GKE.

  1. Vous créez un PVC qui référence une ressource personnalisée GCPDataSource.
  2. Le Volume Populator de GKE détecte le PVC et lance un job de transfert de données.
  3. Le job de transfert s'exécute sur un pool de nœuds existant, ou un nouveau est créé si le provisionnement automatique des nœuds est activé.
  4. Le job de transfert copie les données du bucket Cloud Storage spécifié dans la ressource GCPDataSource vers le volume de stockage de destination.
  5. Une fois le transfert terminé, le PVC est lié au volume de stockage de destination, ce qui rend les données disponibles pour le pod de la charge de travail.

Transfert de données depuis le stockage de données source et création d'un PV pour le stockage de destination à l'aide du GKE Volume Populator

Principaux avantages

Le Volume Populator de GKE présente plusieurs avantages :

  • Remplissage automatique des données : remplissez automatiquement les volumes avec des données provenant de Cloud Storage lors du provisionnement, ce qui permet de réduire les frais opérationnels.
  • Portabilité des données fluide : déplacez les données du stockage d'objets vers des systèmes de stockage de blocs hautes performances (Hyperdisk) pour optimiser les prix ou les performances en fonction des besoins de votre charge de travail.
  • Flux de travail simplifiés : réduisez le besoin de jobs de chargement de données distincts ou d'intervention manuelle pour préparer les volumes persistants.
  • Intégration à Identity and Access Management (IAM) : utilisez l'authentification basée sur IAM via la fédération Workload Identity pour GKE afin de garantir un transfert de données sécurisé avec contrôle des accès précis.
  • Charges de travail d'IA/ML accélérées : préchargez rapidement de grands ensembles de données, des modèles et des pondérations directement dans un stockage hautes performances pour accélérer les tâches d'entraînement et d'inférence.

Cas d'utilisation du Volume Populator de GKE

Vous pouvez utiliser le Volume Populator de GKE pour charger de grands ensembles de données d'entraînement pour l'IA/ML. Imaginez que vous disposez d'un ensemble de données de plusieurs téraoctets pour entraîner un grand modèle linguistique (LLM) stocké dans un bucket Cloud Storage. Votre job d'entraînement s'exécute sur GKE et nécessite des performances d'E/S élevées. Au lieu de copier manuellement les données, vous pouvez utiliser le Volume Populator de GKE pour provisionner automatiquement un volume Hyperdisk ML et le remplir avec l'ensemble de données de Cloud Storage lors de la création du PVC. Ce processus automatisé permet de s'assurer que vos pods d'entraînement démarrent avec un accès immédiat et haut débit aux données.

Voici d'autres exemples d'utilisation du Volume Populator de GKE :

  • Pré-mise en cache des pondérations et des éléments d'un modèle d'IA/ML de Cloud Storage dans des volumes Hyperdisk ML pour accélérer les temps de chargement du modèle pour la diffusion d'inférences.
  • Migration de données de Cloud Storage vers des volumes persistants pour les applications avec état nécessitant un accès performant aux disques.

Étape suivante