Utilizza le prenotazioni con l'addestramento

Questo documento spiega come utilizzare le prenotazioni di Compute Engine per ottenere un livello elevato di garanzia che i job di addestramento serverless dispongano delle risorse delle macchine virtuali (VM) necessarie per l'esecuzione.

Le prenotazioni sono una funzionalità di Compute Engine. Ti aiutano ad avere sempre a disposizione le risorse necessarie per creare VM con lo stesso hardware (memoria e vCPU) e le risorse facoltative (CPU, GPU, TPU e dischi SSD locali) ogni volta che ne hai bisogno.

Quando crei una prenotazione, Compute Engine verifica che la capacità richiesta sia disponibile nella zona specificata. In caso affermativo, Compute Engine prenota le risorse, crea la prenotazione e si verifica quanto segue:

• Puoi utilizzare immediatamente le risorse prenotate, che rimangono disponibili fino a quando non elimini la prenotazione.
• Le risorse prenotate ti vengono addebitate alla stessa tariffa on demand delle VM in esecuzione, inclusi eventuali sconti applicabili, fino all'eliminazione della prenotazione. Una VM che utilizza una prenotazione non comporta addebiti separati. Ti vengono addebitati solo i costi per le risorse esterne alla prenotazione, ad esempio dischi o indirizzi IP. Per saperne di più, consulta i prezzi per le prenotazioni.

Limitazioni e requisiti

Quando utilizzi le prenotazioni di Compute Engine con Agent Platform, tieni presente le seguenti limitazioni e requisiti:

• Agent Platform può utilizzare solo prenotazioni per CPU, VM GPU, o TPU (anteprima).
• Agent Platform non può utilizzare le prenotazioni di VM con dischi SSD locali collegati manualmente.
• L'utilizzo delle prenotazioni di Compute Engine con Agent Platform è supportato solo per l'addestramento serverless, l'inferenza e Gemini Enterprise Agent Platform Workbench (anteprima).
• Le proprietà della VM di una prenotazione devono corrispondere esattamente al workload della piattaforma Agent per utilizzare la prenotazione. Ad esempio, se una prenotazione specifica un tipo di macchina a2-ultragpu-8g, il workload della piattaforma agente può utilizzare la prenotazione solo se utilizza anche un tipo di macchina a2-ultragpu-8g. Consulta i requisiti.
• Per utilizzare una prenotazione condivisa di VM GPU o TPU, devi utilizzare il progetto proprietario o un progetto consumer con cui è condivisa la prenotazione. Consulta Come funzionano le prenotazioni condivise.
• Per supportare gli aggiornamenti regolari dei deployment della piattaforma agente, ti consigliamo di aumentare il numero di VM di almeno un'altra VM per ogni deployment simultaneo.

• L'avvio flessibile per Dynamic Workload Scheduler e l'esecuzione di job di addestramento su una risorsa persistente sono entrambi supportati, tranne quando si utilizzano le prenotazioni di Compute Engine con l'addestramento di Agent Platform.

Fatturazione

Quando utilizzi le prenotazioni di Compute Engine, ti vengono addebitati i seguenti costi:

• Prezzi di Compute Engine per le risorse Compute Engine, inclusi eventuali sconti per impegno di utilizzo (CUD) applicabili. Consulta i prezzi di Compute Engine.
• Tariffe di gestione dell'addestramento serverless di Agent Platform oltre all'utilizzo dell'infrastruttura. Consulta i prezzi dei modelli con addestramento personalizzato.

Prima di iniziare

• Esamina i requisiti e le limitazioni per le prenotazioni.
• Esamina i requisiti relativi alle quote e le limitazioni per le prenotazioni condivise.

Consenti l'utilizzo di una prenotazione

Prima di utilizzare una prenotazione di CPU, VM GPU o TPU, devi impostare la relativa policy di condivisione in modo da consentire ad Agent Platform di utilizzare la prenotazione. Per farlo, utilizza uno dei seguenti metodi:

• Consenti il consumo durante la creazione di una prenotazione
• Consenti l'utilizzo in una prenotazione esistente

Consenti il consumo durante la creazione di una prenotazione

Quando crei una prenotazione per un singolo progetto o una prenotazione condivisa di VM GPU, puoi consentire ad Agent Platform di utilizzare la prenotazione come segue:

• Se utilizzi la console Cloud de Confiance , nella sezione Servizi Google Cloud, seleziona Condividi prenotazione.
• Se utilizzi Google Cloud CLI, includi il flag --reservation-sharing-policy impostato su ALLOW_ALL.
• Se utilizzi l'API REST, nel corpo della richiesta includi il campo serviceShareType impostato su ALLOW_ALL.

Consenti l'utilizzo di una prenotazione esistente

Puoi modificare una prenotazione creata automaticamente di VM GPU o TPU per una prenotazione futura solo dopo l'ora di inizio della prenotazione.

Per consentire ad Agent Platform di utilizzare una prenotazione esistente, utilizza uno dei seguenti metodi:

• Modifica una prenotazione di VM GPU
• Modifica una prenotazione di TPU

Verifica che una prenotazione venga utilizzata

Crea un job di addestramento serverless con una prenotazione

Utilizza l'API REST per creare un job di addestramento serverless che utilizza una prenotazione di Compute Engine di VM GPU.

Come funzionano l'affinità e la convalida delle prenotazioni

Quando invii un job di addestramento personalizzato che specifica una configurazione reservationAffinity, Agent Platform convalida la configurazione della prenotazione prima di mettere in coda il job:

• Per ANY_RESERVATION:
  • Nella regione del job deve esistere almeno una prenotazione utilizzata automaticamente e condivisa con Agent Platform (e con il tuo progetto, se la prenotazione si trova in un progetto host diverso).
  • I campi key e values in reservationAffinity devono essere omessi o vuoti.
• Per SPECIFIC_RESERVATION:
  • Il campo key deve essere impostato su compute.googleapis.com/reservation-name e il campo values deve specificare una singola prenotazione esistente in una zona all'interno della regione del job.
  • La prenotazione specificata deve essere configurata per un targeting specifico (non per il consumo automatico) e deve essere condivisa con Agent Platform (e con il tuo progetto, se la prenotazione si trova in un progetto host diverso).

Se uno di questi controlli di convalida non va a buon fine, l'API rifiuta immediatamente la richiesta con un errore INVALID_ARGUMENT. La convalida iniziale non verifica la compatibilità del tipo di macchina o la capacità di prenotazione disponibile al momento dell'invio del job.

La seguente tabella riassume il modo in cui Agent Platform gestisce un job di addestramento in base allo stato della prenotazione e a reservationAffinityType:

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/customJobs

{
  "displayName": "JOB_NAME",
  "jobSpec": {
    "workerPoolSpecs": [
      {
        "machineSpec": {
          "machineType": "MACHINE_TYPE",
          "acceleratorType": "ACCELERATOR_TYPE",
          "acceleratorCount": ACCELERATOR_COUNT,
          "reservationAffinity": {
            "reservationAffinityType": "RESERVATION_AFFINITY_TYPE",
            // Use the following key and values only if
            // the reservationAffinityType is SPECIFIC_RESERVATION.
            "key": "compute.googleapis.com/reservation-name",
            "values": [
              "projects/PROJECT_ID/zones/ZONE/reservations/RESERVATION_NAME"
            ]
          },
        },
        "replicaCount": REPLICA_COUNT,
        "diskSpec": {
          "bootDiskType": DISK_TYPE,
          "bootDiskSizeGb": DISK_SIZE
        },

        // Union field task can be only one of the following:
        "containerSpec": {
          "imageUri": CUSTOM_CONTAINER_IMAGE_URI,
          "command": [
            CUSTOM_CONTAINER_COMMAND
          ],
          "args": [
            CUSTOM_CONTAINER_ARGS
          ]
        },
        "pythonPackageSpec": {
          "executorImageUri": EXECUTOR_IMAGE_URI,
          "packageUris": [
            PYTHON_PACKAGE_URIS
          ],
          "pythonModule": PYTHON_MODULE,
          "args": [
            PYTHON_PACKAGE_ARGS
          ]
        }
        // End of list of possible types for union field task.
      }
      // Specify one workerPoolSpec for single replica training, or multiple workerPoolSpecs
      // for distributed training.
    ],
    "scheduling": {
      "timeout": TIMEOUT
    }
  },
  "labels": {
    LABEL_NAME_1": LABEL_VALUE_1,
    LABEL_NAME_2": LABEL_VALUE_2
  }
}

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/customJobs"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/customJobs" | Select-Object -Expand Content

{
  "name": "projects/PROJECT_ID/locations/LOCATION/customJobs/JOB_ID",
  "displayName": "JOB_NAME",
  "trainingTaskInputs": {
    "workerPoolSpecs": [
      {
        "machineSpec": {
          "machineType": "MACHINE_TYPE",
          "acceleratorType": "ACCELERATOR_TYPE",
          "acceleratorCount": ACCELERATOR_COUNT
        },
        "replicaCount": "1",
        "pythonPackageSpec": {
          "executorImageUri": "us-docker.pkg.dev/vertex-ai/training/training-tf-cpu.2-1:latest",
          "packageUris": [
            "gs://BUCKET_NAME/training/hello-custom-training-1.0.tar.gz"
          ],
          "pythonModule": "trainer.task",
          "args": [
            "--model-dir=gs://BUCKET_NAME/output/"
          ]
        }
      }
    ]
  },
  "state": "JOB_STATE_PENDING",
  "createTime": "2020-09-15T19:09:54.342080Z",
  "startTime": "2020-09-15T19:13:42.991045Z",
}

Passaggi successivi

• Scopri di più sulle prenotazioni di risorse di zona di Compute Engine.
• Scopri come utilizzare le prenotazioni con l'inferenza online di Agent Platform.
• Scopri come utilizzare le prenotazioni con l'inferenza batch di Agent Platform.
• Scopri come visualizzare le prenotazioni.
• Scopri come monitorare l'utilizzo delle prenotazioni.