Utiliser les réservations avec l'entraînement

Ce document explique comment utiliser les réservations Compute Engine pour vous assurer que vos jobs d'entraînement sans serveur disposent des ressources de machine virtuelle (VM) nécessaires pour s'exécuter.

Les réservations sont une fonctionnalité de Compute Engine. Elles vous permettent de vous assurer que vous disposez des ressources nécessaires pour créer des VM avec le même matériel (mémoire et processeurs virtuels) et les mêmes ressources facultatives (processeurs, GPU, TPU et disques SSD locaux) chaque fois que vous en avez besoin.

Lorsque vous créez une réservation, Compute Engine vérifie que la capacité demandée est disponible dans la zone spécifiée. Si tel est le cas, Compute Engine réserve les ressources, crée la réservation et les événements suivants se produisent :

• Vous pouvez consommer immédiatement les ressources réservées, et elles restent disponibles jusqu'à ce que vous supprimiez la réservation.
• Les ressources réservées vous sont facturées au même tarif à la demande que les VM en cours d'exécution, y compris les remises applicables, jusqu'à ce que la réservation soit supprimée. Une VM qui consomme une réservation n'entraîne pas de frais distincts. Vous n'êtes facturé que pour les ressources qui ne font pas partie de la réservation, comme les disques ou les adresses IP. Pour en savoir plus, consultez la section Tarifs des réservations.

Limites et exigences

Tenez compte des limites et des exigences suivantes lorsque vous utilisez des réservations Compute Engine avec Agent Platform :

• Agent Platform ne peut utiliser que des réservations pour des processeurs, des VM GPU ou des TPU (preview).
• Agent Platform ne peut pas utiliser les réservations de VM auxquelles des disques SSD locaux sont associés manuellement.
• L'utilisation de réservations Compute Engine avec Agent Platform n'est possible que pour l'entraînement sans serveur, l'inférence et Gemini Enterprise Agent Platform Workbench (preview).
• Pour utiliser la réservation, les propriétés de VM de la réservation doivent correspondre exactement à celles de votre charge de travail Agent Platform. Par exemple, si une réservation spécifie un type de machine a2-ultragpu-8g, la charge de travail Agent Platform ne peut utiliser la réservation que si elle utilise également un type de machine a2-ultragpu-8g. Consultez les conditions requises.
• Pour utiliser une réservation partagée de VM GPU ou de TPU, vous devez l'utiliser à l'aide de son projet propriétaire ou d'un projet consommateur avec lequel la réservation est partagée. Consultez la section Fonctionnement des réservations partagées.
• Pour permettre la mise à jour régulière de vos déploiements Agent Platform, nous vous recommandons d'augmenter le nombre de VM d'au moins une VM pour chaque déploiement simultané.

• Le démarrage flexible pour Dynamic Workload Scheduler et l'exécution de jobs d'entraînement sur une ressource persistante sont tous deux compatibles, sauf lorsque vous utilisez des réservations Compute Engine avec l'entraînement Agent Platform.

Facturation

Lorsque vous utilisez des réservations Compute Engine, vous êtes facturé pour les éléments suivants :

• Tarifs Compute Engine pour les ressources Compute Engine, y compris les remises sur engagement d'utilisation applicables. Consultez la page Tarifs de Compute Engine.
• Des frais de gestion de l'entraînement sans serveur Agent Platform s'ajoutent à votre utilisation de l'infrastructure. Consultez les tarifs des modèles entraînés personnalisés.

Avant de commencer

• Consultez les exigences et restrictions applicables aux réservations.
• Consultez les exigences relatives aux quotas et les restrictions applicables aux réservations partagées.

Autoriser l'utilisation d'une réservation

Avant de consommer une réservation de processeurs, de VM GPU ou de TPU, vous devez définir sa règle de partage pour autoriser Agent Platform à consommer la réservation. Pour ce faire, utilisez l'une des méthodes suivantes :

• Autoriser la consommation lors de la création d'une réservation
• Autoriser la consommation dans une réservation existante

Autoriser la consommation lors de la création d'une réservation

Lorsque vous créez une réservation à projet unique ou partagée de VM avec GPU, vous pouvez autoriser Agent Platform à utiliser la réservation comme suit :

• Si vous utilisez la console Cloud de Confiance , sélectionnez Partager la réservation dans la section Services Google Cloud.
• Si vous utilisez Google Cloud CLI, incluez le flag --reservation-sharing-policy définie sur ALLOW_ALL.
• Si vous utilisez l'API REST, incluez le champ serviceShareType défini sur ALLOW_ALL dans le corps de la requête.

Autoriser la consommation d'une réservation existante

Vous ne pouvez modifier une réservation créée automatiquement de VM avec GPU ou de TPU pour une réservation future qu'après l'heure de début de la réservation.

Pour autoriser Agent Platform à consommer une réservation existante, utilisez l'une des méthodes suivantes :

• Modifier une réservation de VM avec GPU
• Modifier une réservation de TPU

Vérifier qu'une réservation est utilisée

Créer un job d'entraînement sans serveur avec une réservation

Utilisez l'API REST pour créer un job d'entraînement sans serveur qui utilise une réservation Compute Engine de VM GPU.

Fonctionnement de l'affinité et de la validation des réservations

Lorsque vous envoyez un job d'entraînement personnalisé qui spécifie une configuration reservationAffinity, Agent Platform valide votre configuration de réservation avant de mettre le job en file d'attente :

• Pour ANY_RESERVATION :
  • Au moins une réservation consommée automatiquement doit exister dans la région de votre job et être partagée avec Agent Platform (et partagée avec votre projet, si la réservation se trouve dans un projet hôte différent).
  • Les champs key et values de reservationAffinity doivent être omis ou vides.
• Pour SPECIFIC_RESERVATION :
  • Le champ key doit être défini sur compute.googleapis.com/reservation-name, et le champ values doit spécifier une seule réservation existante dans une zone de la région du job.
  • La réservation spécifiée doit être configurée pour un ciblage spécifique (et non une consommation automatique) et doit être partagée avec Agent Platform (et avec votre projet, si la réservation se trouve dans un autre projet hôte).

Si l'une de ces vérifications échoue, l'API rejette immédiatement la requête avec une erreur INVALID_ARGUMENT. La validation initiale ne vérifie pas la compatibilité du type de machine ni la capacité de réservation disponible au moment de l'envoi du job.

Le tableau suivant récapitule la façon dont Agent Platform gère un job d'entraînement en fonction de l'état de la réservation et de reservationAffinityType :

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/customJobs

{
  "displayName": "JOB_NAME",
  "jobSpec": {
    "workerPoolSpecs": [
      {
        "machineSpec": {
          "machineType": "MACHINE_TYPE",
          "acceleratorType": "ACCELERATOR_TYPE",
          "acceleratorCount": ACCELERATOR_COUNT,
          "reservationAffinity": {
            "reservationAffinityType": "RESERVATION_AFFINITY_TYPE",
            // Use the following key and values only if
            // the reservationAffinityType is SPECIFIC_RESERVATION.
            "key": "compute.googleapis.com/reservation-name",
            "values": [
              "projects/PROJECT_ID/zones/ZONE/reservations/RESERVATION_NAME"
            ]
          },
        },
        "replicaCount": REPLICA_COUNT,
        "diskSpec": {
          "bootDiskType": DISK_TYPE,
          "bootDiskSizeGb": DISK_SIZE
        },

        // Union field task can be only one of the following:
        "containerSpec": {
          "imageUri": CUSTOM_CONTAINER_IMAGE_URI,
          "command": [
            CUSTOM_CONTAINER_COMMAND
          ],
          "args": [
            CUSTOM_CONTAINER_ARGS
          ]
        },
        "pythonPackageSpec": {
          "executorImageUri": EXECUTOR_IMAGE_URI,
          "packageUris": [
            PYTHON_PACKAGE_URIS
          ],
          "pythonModule": PYTHON_MODULE,
          "args": [
            PYTHON_PACKAGE_ARGS
          ]
        }
        // End of list of possible types for union field task.
      }
      // Specify one workerPoolSpec for single replica training, or multiple workerPoolSpecs
      // for distributed training.
    ],
    "scheduling": {
      "timeout": TIMEOUT
    }
  },
  "labels": {
    LABEL_NAME_1": LABEL_VALUE_1,
    LABEL_NAME_2": LABEL_VALUE_2
  }
}

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/customJobs"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/customJobs" | Select-Object -Expand Content

{
  "name": "projects/PROJECT_ID/locations/LOCATION/customJobs/JOB_ID",
  "displayName": "JOB_NAME",
  "trainingTaskInputs": {
    "workerPoolSpecs": [
      {
        "machineSpec": {
          "machineType": "MACHINE_TYPE",
          "acceleratorType": "ACCELERATOR_TYPE",
          "acceleratorCount": ACCELERATOR_COUNT
        },
        "replicaCount": "1",
        "pythonPackageSpec": {
          "executorImageUri": "us-docker.pkg.dev/vertex-ai/training/training-tf-cpu.2-1:latest",
          "packageUris": [
            "gs://BUCKET_NAME/training/hello-custom-training-1.0.tar.gz"
          ],
          "pythonModule": "trainer.task",
          "args": [
            "--model-dir=gs://BUCKET_NAME/output/"
          ]
        }
      }
    ]
  },
  "state": "JOB_STATE_PENDING",
  "createTime": "2020-09-15T19:09:54.342080Z",
  "startTime": "2020-09-15T19:13:42.991045Z",
}

Étape suivante

• Découvrir les réservations de ressources zonales Compute Engine.
• Découvrez comment utiliser des réservations avec l'inférence en ligne Agent Platform.
• Découvrez comment utiliser des réservations avec l'inférence par lot Agent Platform.
• Découvrez comment afficher les réservations.
• Découvrez comment surveiller la consommation des réservations.