Configurer des installations de volume NFS pour les jobs

Cette page explique comment installer un partage de fichiers NFS en tant que volume dans Cloud Run. Vous pouvez utiliser n'importe quel serveur NFS, y compris votre propre serveur NFS hébergé sur site ou sur une VM Compute Engine. Si vous ne disposez pas encore de serveur NFS, nous vous recommandons d'utiliser Filestore, une offre NFS entièrement gérée de Cloud de Confiance by S3NS.

L'installation du partage de fichiers NFS en tant que volume dans Cloud Run présente le partage de fichiers sous forme de fichiers dans le système de fichiers du conteneur. Après avoir installé le partage de fichiers en tant que volume, vous y accédez comme s'il s'agissait d'un répertoire de votre système de fichiers local, en utilisant les opérations et les bibliothèques du système de fichiers de votre langage de programmation.

Limites

• Cloud Run n'est pas compatible avec le verrouillage NFS. Les volumes NFS sont automatiquement installés en mode sans verrouillage.
• Chemins non autorisés : Cloud Run ne vous permet pas d'installer un volume sur /dev, /proc ou /sys, ni dans leurs sous-répertoires.

Avant de commencer

Pour installer un serveur NFS en tant que volume dans Cloud Run, assurez-vous de disposer des éléments suivants :

• Un réseau VPC sur lequel votre serveur NFS ou votre instance Filestore s'exécute.
• Un serveur NFS s'exécutant dans un réseau VPC, avec votre job Cloud Run connecté à ce réseau VPC. Si vous ne disposez pas encore de serveur NFS, créez-en un en créant une instance Filestore.
• Votre job Cloud Run est associé au réseau VPC sur lequel votre serveur NFS est en cours d'exécution. Pour obtenir de meilleures performances, utilisez le VPC direct plutôt que les connecteurs VPC.
• Si vous utilisez un projet existant, assurez-vous que la configuration de votre pare-feu VPC permet à Cloud Run d'accéder à votre serveur NFS. (Si vous partez d'un nouveau projet, cette option est activée par défaut.) Si vous utilisez Filestore comme serveur NFS, suivez la documentation Filestore pour créer une règle de pare-feu de sortie afin de permettre à Cloud Run d'accéder à Filestore.
• Définissez les autorisations sur votre partage de fichiers NFS distant pour autoriser l'accès à l'utilisateur du conteneur. Par défaut, Filestore fournit un accès en lecture à tous les utilisateurs, mais limite l'accès en écriture à l'utilisateur racine (uid 0). Si votre conteneur nécessite un accès en écriture et ne s'exécute pas en tant qu'utilisateur racine, vous devez utiliser un client connecté (exécuté en tant que racine) pour modifier les autorisations de partage. Par exemple, vous pouvez utiliser la commande chown pour transférer la propriété des fichiers ou des répertoires à l'ID utilisateur spécifique sous lequel votre conteneur s'exécute.

Rôles requis

Pour obtenir les autorisations nécessaires pour configurer des jobs Cloud Run, demandez à votre administrateur de vous accorder les rôles IAM suivants sur le job :

• Développeur Cloud Run (roles/run.developer) : le job Cloud Run
• Utilisateur du compte de service (roles/iam.serviceAccountUser) : l'identité du service

Pour obtenir la liste des rôles et des autorisations IAM associés à Cloud Run, consultez les sections Rôles IAM Cloud Run et Autorisations IAM Cloud Run. Si votre job Cloud Run communique avec des APICloud de Confiance , telles que des bibliothèques clientes Cloud, consultez le guide de configuration de l'identité du service. Pour en savoir plus sur l'attribution de rôles, consultez les pages Autorisations de déploiement et Gérer les accès.

Installer un volume NFS

Vous pouvez installer plusieurs serveurs NFS, instances Filestore ou autres types de volumes avec différents chemins d'installation.

Si vous utilisez plusieurs conteneurs, spécifiez les volumes, puis spécifiez les installations de volume pour chaque conteneur.

resource "google_cloud_run_v2_job" "default" {
  name     = "JOB_NAME"
  location = "REGION"

  template {
    template {
      containers {
        image = "us-docker.pkg.dev/cloudrun/container/hello"
        volume_mounts {
          name       = "VOLUME_NAME"
          mount_path = "MOUNT_PATH"
        }
      }
      vpc_access {
        network_interfaces {
          network    = "default"
          subnetwork = "default"
        }
      }
      volumes {
        name = "VOLUME_NAME"
        nfs {
          server    = google_filestore_instance.default.networks[0].ip_addresses[0]
          path      = "NFS_PATH"
          read_only = IS_READ_ONLY
        }
      }
    }
  }
}

resource "google_filestore_instance" "default" {
  name     = "cloudrun-job"
  location = "REGION"
  tier     = "BASIC_HDD"

  file_shares {
    capacity_gb = 1024
    name        = "share1"
  }

  networks {
    network = "default"
    modes   = ["MODE_IPV4"]
  }
}

Lire et écrire dans un volume

Si vous utilisez la fonctionnalité d'installation de volume Cloud Run, vous accédez à un volume installé à l'aide des mêmes bibliothèques dans votre langage de programmation que celles que vous utilisez pour lire et écrire des fichiers sur votre système de fichiers local.

Ceci est particulièrement utile si vous utilisez un conteneur existant qui attend que des données soient stockées sur le système de fichiers local et utilise des opérations standards du système de fichiers pour y accéder.

Les extraits suivants supposent une installation de volume avec un mountPath défini sur /mnt/my-volume.

var fs = require('fs');
fs.appendFileSync('/mnt/my-volume/sample-logfile.txt', 'Hello logs!', { flag: 'a+' });

f = open("/mnt/my-volume/sample-logfile.txt", "a")

f, err := os.Create("/mnt/my-volume/sample-logfile.txt")

import java.io.File;
File f = new File("/mnt/my-volume/sample-logfile.txt");

Résoudre les problèmes liés à NFS

Si vous rencontrez des problèmes, vérifiez les points suivants :

• Votre service Cloud Run est connecté au réseau VPC sur lequel se trouve le serveur NFS.
• Aucune règle de pare-feu n'empêche Cloud Run d'accéder au serveur NFS.
• Si votre conteneur doit écrire des données, assurez-vous que les autorisations de partage NFS sont configurées pour autoriser les écritures de l'utilisateur de votre conteneur.

Délai de démarrage du conteneur et installations de volumes NFS

L'utilisation d'installations de volume NFS peut légèrement augmenter le temps de démarrage à froid de votre conteneur Cloud Run, car l'installation de volumes est effectuée avant le démarrage du ou des conteneurs. Votre conteneur ne démarrera que si NFS est correctement installé.

Notez que NFS ne monte un volume qu'après avoir établi une connexion au serveur et récupéré un descripteur de fichier. Si Cloud Run ne parvient pas à établir une connexion au serveur, le job Cloud Run ne démarre pas.

De plus, tout retard réseau peut avoir un impact sur le temps de démarrage du conteneur, car Cloud Run dispose d'un délai total de 30 secondes pour toutes les installations. Si l'installation de NFS prend plus de 30 secondes, le job Cloud Run ne démarre pas.

Caractéristiques des performances de NFS

Si vous créez plusieurs volumes NFS, tous les volumes sont installés en parallèle.

Comme NFS est un système de fichiers réseau, il est soumis à des limites de bande passante. L'accès au système de fichiers peut donc être affecté par une bande passante limitée.

Lorsque vous écrivez dans votre volume NFS, l'écriture est stockée dans la mémoire Cloud Run jusqu'à ce que les données soient vidées. Les données sont vidées dans les cas suivants :

• Votre application vide explicitement les données du fichier à l'aide de sync(2), msync(2) ou fsync(3).
• Votre application ferme un fichier avec close(2).
• La sollicitation de la mémoire force la récupération des ressources de mémoire système.

Pour en savoir plus, consultez la documentation Linux sur NFS.

Effacer et supprimer des volumes et des montages de volumes

Vous pouvez effacer tous les volumes et montages, ou supprimer des volumes et montages de volume individuels.

Effacer tous les volumes et les montages de volume

Pour effacer tous les volumes et les montages de volume de votre job à conteneur unique, exécutez la commande suivante :

gcloud run jobs update JOB \
    --clear-volumes \
    --clear-volume-mounts

gcloud run jobs update JOB \
    --clear-volumes \
    --clear-volume-mounts \
    --container=container1 \
    --clear-volumes \
    --clear-volume-mounts \
    --container=container2 \
    --clear-volumes \
    --clear-volume-mounts

Supprimer des volumes et des montages de volumes individuels

Pour supprimer un volume, vous devez également supprimer tous les montages de volume qui l'utilisent.

Pour supprimer des volumes ou des montages de volumes individuels, utilisez les indicateurs remove-volume et remove-volume-mount :

gcloud run jobs update JOB \
    --remove-volume VOLUME_NAME
    --container=container1 \
    --remove-volume-mount MOUNT_PATH \
    --container=container2 \
    --remove-volume-mount MOUNT_PATH