Crea un'istanza A3 Ultra o A4

Questo documento descrive come creare istanze con GPU collegate dalle serie di macchine A3 Ultra o A4. Per scoprire di più sulla creazione di istanze con GPU collegate, consulta la Panoramica della creazione di un'istanza con GPU collegate.

Prima di iniziare

  • Per esaminare le limitazioni e i passaggi preliminari aggiuntivi per la creazione di un'istanza con GPU collegate, ad esempio come selezionare un'immagine sistema operativo o controllare la quota di GPU, consulta la Panoramica della creazione di un'istanza con GPU collegate.
  • Se non l'hai ancora fatto, configura l'autenticazione. L'autenticazione è il processo di verifica dell'identità per poter accedere a Trusted Cloud by S3NS servizi e API. Per eseguire codice o esempi da un ambiente di sviluppo locale, puoi autenticarti su Compute Engine selezionando una delle seguenti opzioni:

    Select the tab for how you plan to use the samples on this page:

    Console

    When you use the Trusted Cloud console to access Trusted Cloud by S3NS services and APIs, you don't need to set up authentication.

    gcloud

    1. Installa Google Cloud CLI, quindi accedi a gcloud CLI con la tua identità federata. Dopo aver eseguito l'accesso, inizializza Google Cloud CLI eseguendo il seguente comando: 

      gcloud init
    2. Set a default region and zone.

    REST

    Per utilizzare gli esempi di API REST in questa pagina in un ambiente di sviluppo locale, devi utilizzare le credenziali che fornisci a gcloud CLI.

      Installa Google Cloud CLI, quindi accedi a gcloud CLI con la tua identità federata. Dopo aver eseguito l'accesso, inizializza Google Cloud CLI eseguendo il seguente comando: 

      gcloud init

    Per saperne di più, consulta Autenticarsi per l'utilizzo di REST nella documentazione sull'autenticazione di Trusted Cloud .

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per creare istanze, chiedi all'amministratore di concederti il ruolo IAM Compute Instance Admin (v1) (roles/compute.instanceAdmin.v1) nel progetto. Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Questo ruolo predefinito contiene le autorizzazioni necessarie per creare istanze. Per vedere quali sono esattamente le autorizzazioni richieste, espandi la sezione Autorizzazioni obbligatorie:

Autorizzazioni obbligatorie

Per creare istanze sono necessarie le seguenti autorizzazioni:

  • compute.instances.create sul progetto
  • Per utilizzare un'immagine personalizzata per creare la VM: compute.images.useReadOnly sull'immagine
  • Per utilizzare uno snapshot per creare la VM: compute.snapshots.useReadOnly sullo snapshot
  • Per utilizzare un template di istanza per creare la VM: compute.instanceTemplates.useReadOnly sul template di istanza
  • Per assegnare una rete legacy alla VM: compute.networks.use sul progetto
  • Per specificare un indirizzo IP statico per la VM: compute.addresses.use sul progetto
  • Per assegnare un indirizzo IP esterno alla VM quando utilizzi una rete legacy: compute.networks.useExternalIp sul progetto
  • Per specificare una subnet per la VM: compute.subnetworks.use sul progetto o sulla subnet scelta
  • Per assegnare un indirizzo IP esterno alla VM quando utilizzi una rete VPC: compute.subnetworks.useExternalIp sul progetto o sulla subnet scelta
  • Per impostare i metadati dell'istanza VM per la VM: compute.instances.setMetadata sul progetto
  • Per impostare i tag per la VM: compute.instances.setTags sulla VM
  • Per impostare le etichette per la VM: compute.instances.setLabels sulla VM
  • Per impostare un service account che la VM possa utilizzare: compute.instances.setServiceAccount sulla VM
  • Per creare un nuovo disco per la VM: compute.disks.create sul progetto
  • Per collegare un disco esistente in modalità di sola lettura o di lettura e scrittura: compute.disks.use sul disco
  • Per collegare un disco esistente in modalità di sola lettura: compute.disks.useReadOnly sul disco

Potresti anche ottenere queste autorizzazioni con ruoli personalizzati o altri ruoli predefiniti.

Determinare come creare istanze A3 Ultra o A4

Le istanze A3 Ultra o A4 sono disponibili tramite le seguenti opzioni di creazione, ognuna delle quali ha procedure di creazione, disponibilità di risorse e prezzi diversi. Identifica l'opzione che vuoi utilizzare in base al tuo workload.

  • Se devi eseguire carichi di lavoro di AI e ML a lunga esecuzione, come l'addestramento e l'inferenza di modelli di grandi dimensioni, che richiedono la latenza più bassa, crea VM o cluster che utilizzano le funzionalità e i servizi disponibili in Cluster Director. Con Cluster Director puoi prenotare macchine allocate in modo denso che forniscono pianificazione in base alla topologia, nonché monitoraggio e manutenzione avanzati. Per saperne di più su Cluster Director, vedi Cluster Director nella documentazione di AI Hypercomputer.

    Per istruzioni su come creare istanze A3 Ultra o A4, consulta Panoramica della creazione di VM e cluster nella documentazione di AI Hypercomputer.

  • Se hai bisogno di carichi di lavoro AI e ML di durata inferiore, scegli una delle seguenti opzioni:

    • Se i tuoi carichi di lavoro devono essere eseguiti per un massimo di 90 giorni con una latenza di rete minima, prenota macchine allocate in modo denso per una data futura utilizzando le richieste di prenotazione future in modalità calendario. All'inizio del periodo di prenotazione, puoi creare istanze A3 Ultra o A4 utilizzando la capacità prenotata. Al termine del periodo di prenotazione, Compute Engine elimina la prenotazione e tutte le VM che la utilizzano.

      Per istruzioni su come creare istanze A3 Ultra o A4 che utilizzano una prenotazione, consulta Crea un'istanza A3 Ultra o A4 in questo documento.

    • Se i tuoi workload possono essere avviati in qualsiasi momento e richiedono un numero esatto di VM per l'avvio, utilizza le richieste di ridimensionamento in un gruppo di istanze gestite (MIG). Con le richieste di ridimensionamento del gruppo di istanze gestite, chiedi a Compute Engine di aggiungere VM tutte in una volta al tuo gruppo di istanze gestite quando le risorse sono disponibili. Queste VM possono essere eseguite per un massimo di sette giorni. Poiché le risorse vengono fornite da un pool sicuro, hai maggiori possibilità di ottenere GPU rispetto a una richiesta on demand.

      Per saperne di più sulle richieste di ridimensionamento del gruppo di istanze gestite, consulta Informazioni sulle richieste di ridimensionamento in un gruppo di istanze gestite.

    • Se i tuoi workload tollerano le interruzioni della disponibilità, puoi ottenere sconti significativi utilizzando le VM spot. Puoi creare ed eliminare VM spot in base alle tue esigenze. Tuttavia, le VM spot sono risorse limitate e Compute Engine potrebbe prerilasciarle (arrestarle o eliminarle automaticamente) in qualsiasi momento per recuperare capacità. Per scoprire di più sulle VM spot, consulta VM spot.

      Per istruzioni su come creare istanze A3 Ultra o A4 utilizzando le VM spot, consulta Crea un'istanza A3 Ultra o A4 in questo documento.

Crea un'istanza A3 Ultra o A4

Per creare un'istanza A3 Ultra o A4 utilizzando una prenotazione o VM spot, completa i seguenti passaggi:

  1. Crea reti VPC

  2. Crea l'istanza

  3. Preparare l'istanza per l'uso

Crea reti VPC

Per il tipo di macchina A4 o A3 Ultra, devi creare tre reti VPC per le seguenti interfacce di rete:

  • 2 reti VPC per le interfacce di rete (NIC) gVNIC. Vengono utilizzati per la comunicazione da host a host.
  • Per le NIC CX7 è necessaria una rete VPC con il profilo di rete RDMA. Questa rete deve avere 8 subnet, una per ogni NIC CX7, e viene utilizzata per la comunicazione tra GPU.

Per ulteriori informazioni sulla disposizione del NIC, consulta Controlla la larghezza di banda della rete e la disposizione del NIC.

Configura le reti manualmente seguendo le guide alle istruzioni o automaticamente utilizzando lo script fornito.

Guide alle istruzioni

Per creare le reti, puoi utilizzare le seguenti istruzioni:

Per queste reti VPC, ti consigliamo di impostare l'unità massima di trasmissione (MTU) su un valore maggiore. Per il tipo di macchina A4 o A3 Ultra, l'MTU consigliata è di 8896 byte. Per esaminare le impostazioni MTU consigliate per altri tipi di macchine GPU, consulta Impostazioni MTU per i tipi di macchine GPU.

Script

Per creare le emittenti, segui questi passaggi:

  1. Utilizza questo script per creare la rete.

    Per queste reti VPC, ti consigliamo di impostare l'unità massima di trasmissione (MTU) su un valore maggiore. Per il tipo di macchina A4 o A3 Ultra, l'MTU consigliata è di 8896 byte. Per esaminare le impostazioni MTU consigliate per altri tipi di macchine GPU, consulta Impostazioni MTU per i tipi di macchine GPU.

        #!/bin/bash

    # Create standard VPCs (network and subnets) for the gVNICs
    for N in $(seq 0 1); do
      gcloud compute networks create GVNIC_NAME_PREFIX-net-$N \
        --subnet-mode=custom \
        --mtu=8896

      gcloud compute networks subnets create GVNIC_NAME_PREFIX-sub-$N \
        --network=GVNIC_NAME_PREFIX-net-$N \
        --region=REGION \
        --range=10.$N.0.0/16

      gcloud compute firewall-rules create GVNIC_NAME_PREFIX-internal-$N \
        --network=GVNIC_NAME_PREFIX-net-$N \
        --action=ALLOW \
        --rules=tcp:0-65535,udp:0-65535,icmp \
        --source-ranges=10.0.0.0/8
    done

    # Create SSH firewall rules
    gcloud compute firewall-rules create GVNIC_NAME_PREFIX-ssh \
      --network=GVNIC_NAME_PREFIX-net-0 \
      --action=ALLOW \
      --rules=tcp:22 \
      --source-ranges=IP_RANGE

    # Assumes that an external IP is only created for vNIC 0
    gcloud compute firewall-rules create GVNIC_NAME_PREFIX-allow-ping-net-0 \
      --network=GVNIC_NAME_PREFIX-net-0 \
      --action=ALLOW \
      --rules=icmp \
      --source-ranges=IP_RANGE

    # List and make sure network profiles exist in the machine type's zone
    gcloud compute network-profiles list --filter "location.name=ZONE"

    # Create network for CX-7
    gcloud compute networks create RDMA_NAME_PREFIX-mrdma \
      --network-profile=ZONE-vpc-roce \
      --subnet-mode custom \
      --mtu=8896

    # Create subnets
    for N in $(seq 0 7); do
      gcloud compute networks subnets create RDMA_NAME_PREFIX-mrdma-sub-$N \
        --network=RDMA_NAME_PREFIX-mrdma \
        --region=REGION \
        --range=10.$((N+2)).0.0/16 # offset to avoid overlap with gVNICs
    done

    Sostituisci quanto segue:

    • GVNIC_NAME_PREFIX: il prefisso del nome personalizzato da utilizzare per le reti VPC e le subnet standard per le gNIC.
    • RDMA_NAME_PREFIX: il prefisso del nome personalizzato da utilizzare per la rete VPC e le subnet con il profilo di rete RDMA per le NIC CX7.
    • ZONE: specifica una zona in cui è disponibile il tipo di macchina che vuoi utilizzare, ad esempio us-central1-a. Per informazioni sulle regioni, vedi Disponibilità delle GPU per regioni e zone.
    • REGION: la regione in cui vuoi creare le subnet. Questa regione deve corrispondere alla zona specificata. Ad esempio, se la tua zona è us-central1-a, la tua regione è us-central1.
    • IP_RANGE: l'intervallo IP da utilizzare per le regole firewall SSH.
  2. (Facoltativo) Per verificare che le risorse di rete VPC siano state create correttamente, controlla le impostazioni di rete nella console Trusted Cloud :
    1. Nella console Trusted Cloud , vai alla pagina Reti VPC.

      Vai a Reti VPC

    2. Cerca nell'elenco le reti che hai creato nel passaggio precedente.
    3. Per visualizzare le subnet, le regole firewall e altre impostazioni di rete, fai clic sul nome della rete.

Crea l'istanza

Per creare un'istanza A3 Ultra o A4, seleziona uno dei seguenti metodi:

Crea un'istanza che utilizza una prenotazione

Per creare un'istanza che utilizza una prenotazione, utilizza una delle seguenti opzioni:

Console

  1. Nella console Trusted Cloud , vai alla pagina Crea un'istanza.

    Vai a Crea un'istanza

    Viene visualizzata la schermata Crea un'istanza, che mostra il riquadro Configurazione macchina.

  2. Nel riquadro Configurazione macchina, completa i seguenti passaggi:

    1. Specifica un nome per l'istanza. Consulta le convenzioni per la denominazione delle risorse.

    2. Seleziona la Regione e la Zona in cui hai prenotato la capacità.

    3. Fai clic sulla scheda GPU e poi completa i seguenti passaggi:

      1. Nell'elenco Tipo di GPU, seleziona il tipo di GPU.

        • Per le istanze A4, seleziona NVIDIA B200.

        • Per le istanze A3 Ultra, seleziona NVIDIA H200 141 GB.

      2. Nell'elenco Numero di GPU, seleziona 8.

  3. Nel menu di navigazione, fai clic su Sistema operativo e spazio di archiviazione. Nel riquadro Sistema operativo e spazio di archiviazione visualizzato, completa i seguenti passaggi:

    1. Fai clic su Cambia. Viene visualizzato il riquadro Configurazione del disco di avvio.

    2. Nella scheda Immagini pubbliche, seleziona un'immagine consigliata. Per un elenco di immagini consigliate, vedi Sistemi operativi.

    3. Per confermare le opzioni relative al disco di avvio, fai clic su Seleziona.

  4. Per creare un'istanza con più NIC, completa i seguenti passaggi. In caso contrario, per creare un'istanza con una sola NIC, salta questi passaggi.

    • Nel menu di navigazione, fai clic su Networking. Nel riquadro Networking visualizzato, completa i seguenti passaggi:

      1. Nella sezione Interfacce di rete, completa i seguenti passaggi:

      2. Elimina l'interfaccia di rete predefinita. Per eliminare l'interfaccia, fai clic su Elimina.

      3. Fai clic su Aggiungi un'interfaccia di rete. Utilizza questa opzione per aggiungere le reti gVNIC e RDMA che hai creato nella sezione precedente. Quando aggiungi le emittenti, ricorda quanto segue:

        • Specifica le reti host negli elenchi Rete e Subnet e imposta l'elenco Scheda di interfaccia di rete su gVNIC.

        • Specifica le reti GPU negli elenchi Rete e Subnet e imposta l'elenco Scheda di interfaccia di rete su MRDMA per queste reti.

  5. Nel menu di navigazione, fai clic su Avanzate. Nel riquadro Avanzate visualizzato, completa i seguenti passaggi:

    1. Nella sezione Prenotazioni, seleziona Scegli una prenotazione e poi fai clic su Scegli prenotazione. Questa azione apre un riquadro con un elenco delle prenotazioni disponibili nella zona selezionata. Nell'elenco delle prenotazioni, completa i seguenti passaggi:

      1. Seleziona la prenotazione che vuoi utilizzare per la VM. Puoi anche selezionare un blocco specifico all'interno della prenotazione.

      2. Fai clic su Scegli.

    2. Nella sezione Modello di provisioning, espandi la sezione Impostazioni avanzate del modello di provisioning delle VM.

    3. Nell'elenco Alla terminazione della VM, seleziona Arresta (valore predefinito) o Elimina.

  6. Per creare e avviare l'istanza, fai clic su Crea.

gcloud

Per creare la VM, utilizza il comando gcloud compute instances create.

gcloud compute instances create VM_NAME  \
    --machine-type=MACHINE_TYPE \
    --image-family=IMAGE_FAMILY \
    --image-project=IMAGE_PROJECT \
    --zone=ZONE \
    --boot-disk-type=hyperdisk-balanced \
    --boot-disk-size=DISK_SIZE \
    --scopes=cloud-platform \
    --network-interface=nic-type=GVNIC,network=GVNIC_NAME_PREFIX-net-0,subnet=GVNIC_NAME_PREFIX-sub-0 \
    --network-interface=nic-type=GVNIC,network=GVNIC_NAME_PREFIX-net-1,subnet=GVNIC_NAME_PREFIX-sub-1,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-0,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-1,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-2,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-3,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-4,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-5,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-6,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-7,no-address \
    --reservation-affinity=specific \
    --reservation=RESERVATION \
    --provisioning-model=RESERVATION_BOUND \
    --instance-termination-action=TERMINATION_ACTION \
    --maintenance-policy=TERMINATE

Sostituisci quanto segue:

  • VM_NAME: il nome della VM.
  • MACHINE_TYPE: il tipo di macchina da utilizzare per la VM. Specifica un tipo di macchina A4 o A3 Ultra. Per saperne di più, consulta Tipi di macchine GPU.
  • IMAGE_FAMILY: la famiglia di immagini dell'immagine del sistema operativo che vuoi utilizzare. Per un elenco dei sistemi operativi supportati, consulta Dettagli del sistema operativo.
  • IMAGE_PROJECT: l'ID progetto dell'immagine del sistema operativo.
  • ZONE: la zona in cui è disponibile il tipo di macchina che vuoi utilizzare. Per informazioni sulle regioni, vedi Regioni e zone GPU.
  • DISK_SIZE: le dimensioni del disco di avvio in GB.
  • GVNIC_NAME_PREFIX: il prefisso del nome specificato durante la creazione delle reti VPC e delle subnet standard che utilizzano gVNIC.
  • RDMA_NAME_PREFIX: il prefisso del nome che hai specificato durante la creazione delle reti VPC e delle subnet che utilizzano NIC RDMA.
  • RESERVATION: il nome della prenotazione o un blocco specifico all'interno di una prenotazione. Per ottenere il nome della prenotazione o i blocchi disponibili, consulta Visualizzare la capacità prenotata. In base al tuo requisito per il posizionamento dell'istanza, scegli una delle seguenti opzioni:

    • Per creare l'istanza su un blocco:

      projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME

      Inoltre, per creare più istanze nello stesso blocco, applica la stessa policy di posizionamento compatto che specifica una collocazione a blocchi (maxDistance=2) quando crei ogni istanza. Compute Engine applica quindi la policy alla prenotazione e crea istanze sullo stesso blocco.

    • Per creare l'istanza su un blocco specifico:

      projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME/reservationBlocks/RESERVATION_BLOCK_NAME

  • TERMINATION_ACTION: indica se Compute Engine arresta (STOP) o elimina (DELETE) la VM al termine del periodo di prenotazione.

REST

Per creare la VM, invia una richiesta POST al metodo instances.insert.

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances
{
  "machineType":"projects/PROJECT_ID/zones/ZONE/machineTypes/MACHINE_TYPE",
  "name":"VM_NAME",
  "disks":[
    {
      "boot":true,
      "initializeParams":{
        "diskSizeGb":"DISK_SIZE",
        "diskType":"hyperdisk-balanced",
        "sourceImage":"projects/IMAGE_PROJECT/global/images/family/IMAGE_FAMILY"
      },
      "mode":"READ_WRITE",
      "type":"PERSISTENT"
    }
  ],
  "networkInterfaces": [
    {
      "accessConfigs": [
        {
          "name": "external-nat",
          "type": "ONE_TO_ONE_NAT"
        }
      ],
      "network": "projects/NETWORK_PROJECT_ID/global/networks/GVNIC_NAME_PREFIX-net-0",
      "nicType": "GVNIC",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/GVNIC_NAME_PREFIX-sub-0"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/GVNIC_NAME_PREFIX-net-1",
      "nicType": "GVNIC",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/GVNIC_NAME_PREFIX-sub-1"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
      "nicType": "MRDMA",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-0"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
      "nicType": "MRDMA",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-1"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
      "nicType": "MRDMA",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-2"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
      "nicType": "MRDMA",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-3"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
      "nicType": "MRDMA",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-4"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
      "nicType": "MRDMA",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-5"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
      "nicType": "MRDMA",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-6"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
      "nicType": "MRDMA",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-7"
    }
  ],
  "reservationAffinity":{
    "consumeReservationType":"SPECIFIC_RESERVATION",
    "key":"compute.googleapis.com/reservation-name",
    "values":[
      "RESERVATION"
    ]
  },
"scheduling":{
    "provisioningModel":"RESERVATION_BOUND",
    "instanceTerminationAction":"TERMINATION_ACTION",
    "onHostMaintenance": "TERMINATE",
    "automaticRestart":true
  }
}

Sostituisci quanto segue:

  • PROJECT_ID: l'ID progetto del progetto in cui vuoi creare la VM.
  • ZONE: la zona in cui è disponibile il tipo di macchina che vuoi utilizzare. Per informazioni sulle regioni, vedi Regioni e zone GPU.
  • MACHINE_TYPE: il tipo di macchina da utilizzare per la VM. Specifica un tipo di macchina A4 o A3 Ultra. Per saperne di più, consulta Tipi di macchine GPU.
  • VM_NAME: il nome della VM.
  • DISK_SIZE: le dimensioni del disco di avvio in GB.
  • IMAGE_PROJECT: l'ID progetto dell'immagine del sistema operativo.
  • IMAGE_FAMILY: la famiglia di immagini dell'immagine del sistema operativo che vuoi utilizzare. Per un elenco dei sistemi operativi supportati, consulta Dettagli del sistema operativo.
  • NETWORK_PROJECT_ID: l'ID progetto della rete.
  • GVNIC_NAME_PREFIX: il prefisso del nome specificato durante la creazione delle reti VPC e delle subnet standard che utilizzano gVNIC.
  • REGION: la regione della subnet.
  • RDMA_NAME_PREFIX: il prefisso del nome che hai specificato durante la creazione delle reti VPC e delle subnet che utilizzano NIC RDMA.
  • RESERVATION: il nome della prenotazione o un blocco specifico all'interno di una prenotazione. Per ottenere il nome della prenotazione o i blocchi disponibili, consulta Visualizzare la capacità prenotata. In base al tuo requisito per il posizionamento dell'istanza, scegli una delle seguenti opzioni:

    • Per creare l'istanza su un blocco:

      projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME

      Inoltre, per creare più istanze nello stesso blocco, applica la stessa policy di posizionamento compatto che specifica una collocazione a blocchi (maxDistance=2) quando crei ogni istanza. Compute Engine applica quindi la policy alla prenotazione e crea istanze sullo stesso blocco.

    • Per creare l'istanza su un blocco specifico:

      projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME/reservationBlocks/RESERVATION_BLOCK_NAME

  • TERMINATION_ACTION: indica se Compute Engine arresta (STOP) o elimina (DELETE) la VM al termine del periodo di prenotazione.

Crea una VM Spot

Per creare la VM spot, utilizza una delle seguenti opzioni:

Console

  1. Nella console Trusted Cloud , vai alla pagina Crea un'istanza.

    Vai a Crea un'istanza

    Viene visualizzata la schermata Crea un'istanza, che mostra il riquadro Configurazione macchina.

  2. Nel riquadro Configurazione macchina, completa i seguenti passaggi:

    1. Specifica un nome per l'istanza. Consulta le convenzioni per la denominazione delle risorse.

    2. Seleziona la Regione e la Zona in cui vuoi creare una VM. Per verificare in quali regioni e zone sono disponibili le GPU, consulta Regioni e zone GPU.

    3. Fai clic sulla scheda GPU e poi completa i seguenti passaggi:

      1. Nell'elenco Tipo di GPU, seleziona il tipo di GPU.

        • Per le istanze A4, seleziona NVIDIA B200.

        • Per le istanze A3 Ultra, seleziona NVIDIA H200 141 GB.

      2. Nell'elenco Numero di GPU, seleziona 8.

  3. Nel menu di navigazione, fai clic su Sistema operativo e spazio di archiviazione. Nel riquadro Sistema operativo e spazio di archiviazione visualizzato, completa i seguenti passaggi:

    1. Fai clic su Cambia. Viene visualizzato il riquadro Configurazione del disco di avvio.

    2. Nella scheda Immagini pubbliche, seleziona un'immagine consigliata. Per un elenco di immagini consigliate, vedi Sistemi operativi.

    3. Per confermare le opzioni relative al disco di avvio, fai clic su Seleziona.

  4. Per creare un'istanza con più NIC, completa i seguenti passaggi. In caso contrario, per creare un'istanza con una sola NIC, salta questi passaggi.

    • Nel menu di navigazione, fai clic su Networking. Nel riquadro Networking visualizzato, completa i seguenti passaggi:

      1. Nella sezione Interfacce di rete, completa i seguenti passaggi:

      2. Elimina l'interfaccia di rete predefinita. Per eliminare l'interfaccia, fai clic su Elimina.

      3. Fai clic su Aggiungi un'interfaccia di rete. Utilizza questa opzione per aggiungere le reti gVNIC e RDMA che hai creato nella sezione precedente. Quando aggiungi le emittenti, devi:

        • Specifica le reti host negli elenchi Rete e Subnet e imposta l'elenco Scheda di interfaccia di rete su gVNIC.

        • Specifica le reti GPU negli elenchi Rete e Subnet e imposta l'elenco Scheda di interfaccia di rete su MRDMA per queste reti.

  5. Nel menu di navigazione, fai clic su Avanzate. Nel riquadro Avanzate visualizzato, completa i seguenti passaggi:

    1. Nella sezione Modello di provisioning, seleziona Spot nell'elenco Modello di provisioning delle VM.

    2. (Facoltativo) Per specificare l'azione da intraprendere quando Compute Engine esegue il prerilascio dell'istanza, completa i seguenti passaggi:

      1. Espandi la sezione Impostazioni avanzate del modello di provisioning delle VM.

      2. Nell'elenco Alla terminazione della VM, seleziona Arresta o Elimina.

  6. Per creare e avviare l'istanza, fai clic su Crea.

gcloud

Per creare la VM, utilizza il comando gcloud compute instances create.

gcloud compute instances create VM_NAME  \
    --machine-type=MACHINE_TYPE \
    --image-family=IMAGE_FAMILY \
    --image-project=IMAGE_PROJECT \
    --zone=ZONE \
    --boot-disk-type=hyperdisk-balanced \
    --boot-disk-size=DISK_SIZE \
    --scopes=cloud-platform \
    --network-interface=nic-type=GVNIC,network=GVNIC_NAME_PREFIX-net-0,subnet=GVNIC_NAME_PREFIX-sub-0 \
    --network-interface=nic-type=GVNIC,network=GVNIC_NAME_PREFIX-net-1,subnet=GVNIC_NAME_PREFIX-sub-1,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-0,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-1,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-2,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-3,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-4,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-5,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-6,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-7,no-address \
    --provisioning-model=SPOT \
    --instance-termination-action=TERMINATION_ACTION

Sostituisci quanto segue:

  • VM_NAME: il nome della VM.
  • MACHINE_TYPE: il tipo di macchina da utilizzare per la VM. Specifica un tipo di macchina A4 o A3 Ultra. Per saperne di più, consulta Tipi di macchine GPU.
  • IMAGE_FAMILY: la famiglia di immagini dell'immagine del sistema operativo che vuoi utilizzare. Per un elenco dei sistemi operativi supportati, consulta Dettagli del sistema operativo.
  • IMAGE_PROJECT: l'ID progetto dell'immagine del sistema operativo.
  • ZONE: la zona in cui è disponibile il tipo di macchina che vuoi utilizzare. Per informazioni sulle regioni, vedi Regioni e zone GPU.
  • DISK_SIZE: le dimensioni del disco di avvio in GB.
  • GVNIC_NAME_PREFIX: il prefisso del nome specificato durante la creazione delle reti VPC e delle subnet standard che utilizzano gVNIC.
  • RDMA_NAME_PREFIX: il prefisso del nome che hai specificato durante la creazione delle reti VPC e delle subnet che utilizzano NIC RDMA.

  • TERMINATION_ACTION: l'azione da intraprendere quando Compute Engine prerilascia l'istanza, STOP (impostazione predefinita) o DELETE.

REST

Per creare la VM, invia una richiesta POST al metodo instances.insert.

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances
{
  "machineType":"projects/PROJECT_ID/zones/ZONE/machineTypes/MACHINE_TYPE",
  "name":"VM_NAME",
  "disks":[
    {
      "boot":true,
      "initializeParams":{
        "diskSizeGb":"DISK_SIZE",
        "diskType":"hyperdisk-balanced",
        "sourceImage":"projects/IMAGE_PROJECT/global/images/family/IMAGE_FAMILY"
      },
      "mode":"READ_WRITE",
      "type":"PERSISTENT"
    }
  ],
  "networkInterfaces": [
    {
      "accessConfigs": [
        {
          "name": "external-nat",
          "type": "ONE_TO_ONE_NAT"
        }
      ],
      "network": "projects/NETWORK_PROJECT_ID/global/networks/GVNIC_NAME_PREFIX-net-0",
      "nicType": "GVNIC",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/GVNIC_NAME_PREFIX-sub-0"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/GVNIC_NAME_PREFIX-net-1",
      "nicType": "GVNIC",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/GVNIC_NAME_PREFIX-sub-1"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
      "nicType": "MRDMA",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-0"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
      "nicType": "MRDMA",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-1"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
      "nicType": "MRDMA",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-2"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
      "nicType": "MRDMA",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-3"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
      "nicType": "MRDMA",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-4"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
      "nicType": "MRDMA",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-5"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
      "nicType": "MRDMA",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-6"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
      "nicType": "MRDMA",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-7"
    }
  ],
  "scheduling":
  {
    "provisioningModel": "SPOT",
    "instanceTerminationAction": "TERMINATION_ACTION"
  }
}

Sostituisci quanto segue:

  • PROJECT_ID: l'ID progetto del progetto in cui vuoi creare la VM.
  • ZONE: la zona in cui è disponibile il tipo di macchina che vuoi utilizzare. Per informazioni sulle regioni, vedi Regioni e zone GPU.
  • MACHINE_TYPE: il tipo di macchina da utilizzare per la VM. Specifica un tipo di macchina A4 o A3 Ultra. Per saperne di più, consulta Tipi di macchine GPU.
  • VM_NAME: il nome della VM.
  • DISK_SIZE: le dimensioni del disco di avvio in GB.
  • IMAGE_PROJECT: l'ID progetto dell'immagine del sistema operativo.
  • IMAGE_FAMILY: la famiglia di immagini dell'immagine del sistema operativo che vuoi utilizzare. Per un elenco dei sistemi operativi supportati, consulta Dettagli del sistema operativo.
  • NETWORK_PROJECT_ID: l'ID progetto della rete.
  • GVNIC_NAME_PREFIX: il prefisso del nome specificato durante la creazione delle reti VPC e delle subnet standard che utilizzano gVNIC.
  • REGION: la regione della subnet.
  • RDMA_NAME_PREFIX: il prefisso del nome che hai specificato durante la creazione delle reti VPC e delle subnet che utilizzano NIC RDMA.

  • TERMINATION_ACTION: l'azione da intraprendere quando Compute Engine prerilascia l'istanza, STOP (impostazione predefinita) o DELETE.

Preparare l'istanza per l'uso

Per preparare un'istanza con GPU collegate per l'utilizzo, completa i seguenti passaggi:

  1. Per consentire a un'istanza A4 o A3 Ultra di utilizzare le GPU collegate, è necessario che siano installati i driver GPU. A meno che l'immagine nell'istanza non includa già i driver GPU richiesti, installa i driver GPU.

  2. Se hai creato una VM spot nella sezione precedente, completa i seguenti passaggi:

Passaggi successivi