À propos du pilote CSI Parallelstore de Google Kubernetes Engine

Parallelstore n'est disponible que sur invitation. Si vous souhaitez demander l'accès à Parallelstore dans votre projet Trusted Cloud by S3NS , contactez votre représentant commercial.

Parallelstore est un système de fichiers distribué entièrement géré et à faible latence, conçu pour répondre aux exigences des charges de travail d'entraînement AI/ML et de calcul hautes performances (HPC) qui nécessitent une latence extrêmement faible (inférieure à la milliseconde), une sémantique POSIX complète et un débit élevé pour les opérations sur les métadonnées. Parallelstore peut atteindre des vitesses de lecture de 1 To/s et des millions d'IOPS.

Pour connecter un cluster Google Kubernetes Engine (GKE) à une instance Parallelstore, utilisez le pilote CSI (Container Storage Interface) Parallelstore. Le pilote CSI Parallelstore vous permet d'utiliser l'API GKE pour utiliser les instances Parallelstore en tant que volumes pour vos charges de travail avec état (par exemple, les pods et les jobs). Il est optimisé pour les charges de travail d'entraînement d'IA/de ML, en particulier celles qui impliquent des fichiers de petite taille et des lectures aléatoires.

GKE active le pilote CSI pour vous par défaut lorsque vous créez un cluster GKE Autopilot. Sur les clusters GKE Standard nouveaux et existants, vous devez activer le pilote CSI.

Avantages

Vous pouvez utiliser le pilote CSI Parallelstore pour bénéficier d'un stockage hautes performances. Avec le pilote CSI Parallelstore, vous pouvez accélérer vos charges de travail de calcul hautes performances et d'entraînement d'IA/ML, avec un accès rapide et cohérent aux données partagées pour un traitement et une analyse efficaces.

  • Vous avez accès à des systèmes de fichiers parallèles entièrement gérés comme espace de stockage via les API Kubernetes.
  • Le pilote CSI Parallelstore Google Kubernetes Engine est compatible avec les modes d'accès ReadWriteMany, ReadOnlyMany et ReadWriteOnce .
  • Vous pouvez utiliser le pilote CSI Parallelstore Google Kubernetes Engine pour provisionner vos ressources PersistentVolume de manière dynamique.
  • Vous pouvez accéder aux instances Parallelstore existantes dans les charges de travail Kubernetes. Vous pouvez également créer des instances Parallelstore de manière dynamique et les utiliser dans des charges de travail Kubernetes à l'aide d'un StatefulSet ou d'un Deployment.

Limites

  • Persistance des données : Parallelstore est un système de fichiers "scratch plus". Il est soutenu par un disque SSD local avec un code d'effacement 2+1, et le temps moyen avant perte de données est de deux mois. Parallelstore n'est pas un espace de stockage à long terme. Il doit plutôt être considéré comme un système de fichiers extrêmement rapide pour des charges de travail spécifiques.

  • Limitation par pod : GKE n'autorise le montage que d'une seule instance Parallelstore par pod.

Remarque : À partir de la version 1.32.3 de GKE, vous pouvez utiliser la fonctionnalité montage de nœud du pilote CSI Parallelstore pour monter plusieurs instances Parallelstore par pod.
  • Transferts de données : l'API GKE ne permet pas de transférer des données de Cloud Storage vers Parallelstore. Pour effectuer le transfert, utilisez l'API Parallelstore.
Remarque : À partir de la version 1.31.1 de GKE, vous pouvez utiliser GKE Volume Populator pour transférer des données de Cloud Storage vers Parallelstore lors du provisionnement dynamique.
  • Capacité utilisable : vous pouvez configurer une capacité de stockage comprise entre 12 000 Gio et 100 000 Gio.
  • Zones acceptées : Parallelstore est disponible dans ces zones. Si la région de votre cluster diffère de celle de votre instance Parallelstore, les performances d'E/S diminueront de manière notable.
  • Limites de VPC-SC pour Parallelstore : si vous utilisez à la fois le VPC partagé et VPC Service Controls, vous devez disposer du projet hôte qui fournit le réseau et du projet de service qui contient l'instance Parallelstore dans le même périmètre afin que l'instance Parallelstore puisse fonctionner correctement. La séparation du projet hôte et du projet de service par rapport au périmètre peut rendre les instances existantes indisponibles et empêcher la création d'instances.
  • Compatibilité avec les machines ARM : le pilote CSI Parallelstore n'est compatible qu'avec les nœuds d'architecture amd64. Les nœuds basés sur ARM ne sont pas acceptés pour le moment.

Conditions requises

Pour utiliser le pilote CSI Parallelstore, vos clusters doivent répondre aux exigences suivantes :

  • Assurez-vous d'avoir installé la dernière version de Google Cloud CLI. La version minimale de gcloud CLI compatible avec cette fonctionnalité est la version 469.0.0 ou ultérieure.
  • Utilisez la version 1.29 ou ultérieure du cluster Google Kubernetes Engine.

Étape suivante