Reservierungen mit Training verwenden

In diesem Dokument wird erläutert, wie Sie Compute Engine-Reservierungen verwenden, um ein hohes Maß an Sicherheit zu erhalten, dass Ihre serverlosen Trainingsjobs die erforderlichen VM-Ressourcen haben, um ausgeführt zu werden.

Reservierungen sind ein Compute Engine-Feature. Mit Reservierungen sorgen Sie dafür, dass die Ressourcen jederzeit verfügbar sind, die Sie zum Erstellen von VMs mit derselben Hardware (Arbeitsspeicher und vCPUs) und optionalen Ressourcen (CPUs, GPUs, TPUs und lokalen SSD-Laufwerken) benötigen.

Wenn Sie eine Reservierung erstellen, prüft Compute Engine, ob die angeforderte Kapazität in der angegebenen Zone verfügbar ist. Wenn ja, reserviert Compute Engine die Ressourcen, erstellt die Reservierung und es geschieht Folgendes:

• Sie können die reservierten Ressourcen sofort nutzen und sie bleiben verfügbar, bis Sie die Reservierung löschen.
• Die reservierten Ressourcen werden zu denselben On-Demand-Tarifen wie laufende VMs berechnet, einschließlich aller anwendbaren Rabatte, bis die Reservierung gelöscht wird. Für eine VM, die eine Reservierung nutzt, fallen keine separaten Gebühren an. Ihnen werden nur die Ressourcen außerhalb der Reservierung in Rechnung gestellt, z. B. Laufwerke oder IP-Adressen. Weitere Informationen finden Sie unter Preise für Reservierungen.

Beschränkungen und Anforderungen

Beachten Sie bei der Verwendung von Compute Engine-Reservierungen mit der Agent Platform die folgenden Einschränkungen und Anforderungen:

• Die Agent Platform kann nur Reservierungen für CPUs, GPU-VMs oder TPUs (Vorabversion) verwenden.
• Die Agent-Plattform kann keine Reservierungen von VMs nutzen, an die lokale SSD-Laufwerke manuell angehängt sind.
• Die Verwendung von Compute Engine-Reservierungen mit der Agent Platform wird nur für serverloses Training, Inferenz und die Gemini Enterprise Agent Platform Workbench (Vorabversion) unterstützt.
• Die VM-Eigenschaften einer Reservierung müssen genau mit Ihrer Agent Platform-Arbeitslast übereinstimmen, damit die Reservierung verwendet werden kann. Wenn in einer Reservierung beispielsweise der Maschinentyp a2-ultragpu-8g angegeben ist, kann die Agent Platform-Arbeitslast die Reservierung nur nutzen, wenn sie ebenfalls den Maschinentyp a2-ultragpu-8g verwendet. Anforderungen ansehen
• Wenn Sie eine freigegebene Reservierung von GPU-VMs oder TPUs nutzen möchten, müssen Sie sie über das Inhaberprojekt oder ein Nutzerprojekt nutzen, für das die Reservierung freigegeben ist. Siehe Funktionsweise freigegebener Reservierungen.
• Um regelmäßige Updates Ihrer Agent Platform-Bereitstellungen zu ermöglichen, empfehlen wir, die Anzahl der VMs für jede gleichzeitige Bereitstellung um mindestens eine VM zu erhöhen.

• Flex Start für Dynamic Workload Scheduler und das Ausführen von Trainingsjobs auf einer persistenten Ressource werden beide unterstützt, außer wenn Compute Engine-Reservierungen mit Agent Platform-Training verwendet werden.

Abrechnung

Wenn Sie Compute Engine-Reservierungen verwenden, werden Ihnen Folgendes in Rechnung gestellt:

• Compute Engine-Preise für die Compute Engine-Ressourcen, einschließlich aller anwendbaren Rabatte für zugesicherte Nutzung (Committed Use Discount, CUD). Siehe Compute Engine-Preise.
• Zusätzlich zur Nutzung der Infrastruktur fallen die in den nachstehenden Tabellen aufgeführten Gebühren für die Verwaltung von serverlosem Training in der Agent Platform an. Siehe Preise für benutzerdefiniert trainierte Modelle.

Hinweis

• Informationen zu den Anforderungen und Einschränkungen für Reservierungen
• Informationen zu den Kontingentanforderungen und -einschränkungen für freigegebene Reservierungen.

Verbrauch einer Reservierung zulassen

Bevor Sie eine Reservierung von CPUs, GPU-VMs oder TPUs nutzen, müssen Sie die Freigaberichtlinie festlegen, damit die Agent Platform die Reservierung nutzen kann. Verwenden Sie dazu eine der folgenden Methoden:

• Nutzung beim Erstellen einer Reservierung zulassen
• Verbrauch in einer bestehenden Reservierung zulassen

Nutzung beim Erstellen einer Reservierung zulassen

Wenn Sie eine Reservierung für ein einzelnes Projekt oder eine freigegebene Reservierung von GPU-VMs erstellen, können Sie der Agent Platform wie unten beschrieben erlauben, die Reservierung zu nutzen:

• Wenn Sie die Cloud de Confiance Console verwenden, wählen Sie im Bereich Google Cloud-Dienste die Option Reservierung teilen aus.
• Wenn Sie die Google Cloud CLI verwenden, fügen Sie das Flag --reservation-sharing-policy mit dem Wert ALLOW_ALL hinzu.
• Wenn Sie die REST API verwenden, geben Sie im Anfragetext das Feld serviceShareType mit dem Wert ALLOW_ALL an.

Nutzung einer vorhandenen Reservierung zulassen

Sie können eine automatisch erstellte Reservierung von GPU-VMs oder TPUs für eine vorausschauende Reservierung erst nach dem Beginn der Reservierung ändern.

Verwenden Sie eine der folgenden Methoden, um der Agent Platform die Nutzung einer vorhandenen Reservierung zu ermöglichen:

• Reservierung von GPU-VMs ändern
• TPU-Reservierung ändern

Prüfen, ob eine Reservierung genutzt wird

Serverlosen Trainingsjob mit einer Reservierung erstellen

Verwenden Sie die REST API, um einen serverlosen Trainingsjob zu erstellen, der eine Compute Engine-Reservierung von GPU-VMs nutzt.

Funktionsweise von Reservierungsaffinität und -validierung

Wenn Sie einen benutzerdefinierten Trainingsjob mit einer reservationAffinity-Konfiguration senden, validiert die Agent Platform Ihre Reservierungskonfiguration, bevor der Job in die Warteschlange gestellt wird:

• Für ANY_RESERVATION:
  • In der Region Ihres Jobs muss mindestens eine automatisch genutzte Reservierung vorhanden sein, die für die Agent Platform freigegeben ist (und für Ihr Projekt freigegeben ist, wenn sich die Reservierung in einem anderen Hostprojekt befindet).
  • Die Felder key und values in reservationAffinity müssen weggelassen werden oder leer sein.
• Für SPECIFIC_RESERVATION:
  • Das Feld key muss auf compute.googleapis.com/reservation-name festgelegt sein und im Feld values muss eine einzelne vorhandene Reservierung in einer Zone innerhalb der Region des Jobs angegeben werden.
  • Die angegebene Reservierung muss für ein bestimmtes Targeting (nicht für den automatischen Verbrauch) konfiguriert und für die Agent Platform freigegeben sein (und für Ihr Projekt, wenn sich die Reservierung in einem anderen Hostprojekt befindet).

Wenn eine dieser Validierungsprüfungen fehlschlägt, lehnt die API die Anfrage sofort mit dem Fehler INVALID_ARGUMENT ab. Bei der Vorabvalidierung wird die Kompatibilität des Maschinentyps oder die verfügbare Reservierungskapazität zum Zeitpunkt der Jobeinreichung nicht geprüft.

In der folgenden Tabelle wird zusammengefasst, wie die Agent Platform einen Trainingsjob basierend auf dem Reservierungsstatus und reservationAffinityType verarbeitet:

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/customJobs

{
  "displayName": "JOB_NAME",
  "jobSpec": {
    "workerPoolSpecs": [
      {
        "machineSpec": {
          "machineType": "MACHINE_TYPE",
          "acceleratorType": "ACCELERATOR_TYPE",
          "acceleratorCount": ACCELERATOR_COUNT,
          "reservationAffinity": {
            "reservationAffinityType": "RESERVATION_AFFINITY_TYPE",
            // Use the following key and values only if
            // the reservationAffinityType is SPECIFIC_RESERVATION.
            "key": "compute.googleapis.com/reservation-name",
            "values": [
              "projects/PROJECT_ID/zones/ZONE/reservations/RESERVATION_NAME"
            ]
          },
        },
        "replicaCount": REPLICA_COUNT,
        "diskSpec": {
          "bootDiskType": DISK_TYPE,
          "bootDiskSizeGb": DISK_SIZE
        },

        // Union field task can be only one of the following:
        "containerSpec": {
          "imageUri": CUSTOM_CONTAINER_IMAGE_URI,
          "command": [
            CUSTOM_CONTAINER_COMMAND
          ],
          "args": [
            CUSTOM_CONTAINER_ARGS
          ]
        },
        "pythonPackageSpec": {
          "executorImageUri": EXECUTOR_IMAGE_URI,
          "packageUris": [
            PYTHON_PACKAGE_URIS
          ],
          "pythonModule": PYTHON_MODULE,
          "args": [
            PYTHON_PACKAGE_ARGS
          ]
        }
        // End of list of possible types for union field task.
      }
      // Specify one workerPoolSpec for single replica training, or multiple workerPoolSpecs
      // for distributed training.
    ],
    "scheduling": {
      "timeout": TIMEOUT
    }
  },
  "labels": {
    LABEL_NAME_1": LABEL_VALUE_1,
    LABEL_NAME_2": LABEL_VALUE_2
  }
}

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/customJobs"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/customJobs" | Select-Object -Expand Content

{
  "name": "projects/PROJECT_ID/locations/LOCATION/customJobs/JOB_ID",
  "displayName": "JOB_NAME",
  "trainingTaskInputs": {
    "workerPoolSpecs": [
      {
        "machineSpec": {
          "machineType": "MACHINE_TYPE",
          "acceleratorType": "ACCELERATOR_TYPE",
          "acceleratorCount": ACCELERATOR_COUNT
        },
        "replicaCount": "1",
        "pythonPackageSpec": {
          "executorImageUri": "us-docker.pkg.dev/vertex-ai/training/training-tf-cpu.2-1:latest",
          "packageUris": [
            "gs://BUCKET_NAME/training/hello-custom-training-1.0.tar.gz"
          ],
          "pythonModule": "trainer.task",
          "args": [
            "--model-dir=gs://BUCKET_NAME/output/"
          ]
        }
      }
    ]
  },
  "state": "JOB_STATE_PENDING",
  "createTime": "2020-09-15T19:09:54.342080Z",
  "startTime": "2020-09-15T19:13:42.991045Z",
}

Nächste Schritte

• Weitere Informationen zu Reservierungen von zonalen Ressourcen von Compute Engine
• Reservierungen mit der Online-Inferenz der Agent Platform verwenden
• Reservierungen mit der Batch-Inferenz der Agent Platform verwenden
• Reservierungen ansehen
• Nutzung von Reservierungen überwachen