Informazioni sulle policy del workload nei MIG

Questo documento spiega i requisiti e le limitazioni che si applicano quando utilizzi le norme per i carichi di lavoro con i gruppi di istanze gestite (MIG). Per impostazione predefinita, gestisci la posizione delle istanze Compute Engine solo specificando le relative zone. Le policy del workload ti consentono di definire il posizionamento fisico e la topologia delle istanze di Compute all'interno di una zona. Questo approccio ti aiuta, ad esempio, a ridurre al minimo la latenza di rete tra le istanze di calcolo posizionandole più vicine tra loro.

Puoi applicare policy dei workload solo ai MIG che utilizzano istanze A4X Max, A4X, A4, A3 Ultra, A3 Mega, A3 High (8 GPU) o H4D. Se utilizzi istanze A4X Max o A4X, è necessario un criterio del workload, a meno che tu non stia creando una singola istanza di Compute per scopi di test. Per le altre serie di macchine supportate, i criteri del workload sono facoltativi.

Per controllare il posizionamento delle istanze di calcolo che utilizzano altre serie di macchine, utilizza i criteri di posizionamento.

Informazioni sulle policy del workload

Le sezioni seguenti descrivono i casi d'uso delle policy del carico di lavoro e le proprietà che specifichi quando crei le policy del carico di lavoro.

Gestire il posizionamento e la topologia delle istanze di computing

Dopo aver creato una policy del workload e averla applicata a un MIG, le policy del workload ti aiutano a ottenere quanto segue:

  • Crea istanze di calcolo vicine tra loro: se la capacità è disponibile, Compute Engine crea istanze di calcolo vicine tra loro. In caso contrario, Compute Engine crea solo alcune o nessuna delle istanze di calcolo richieste.

  • Ottieni visibilità sulla topologia dell'istanza di computing: dopo aver applicato una policy del workload con un tipo di throughput elevato (HIGH_THROUGHPUT) a un MIG e il MIG crea istanze di computing, puoi visualizzare la posizione delle istanze di computing l'una rispetto all'altra. Queste informazioni ti aiutano a ridurre al minimo la latenza di rete e a risolvere gli errori. Per saperne di più, consulta Visualizzare la topologia delle istanze Compute Engine.

Puoi applicare le stesse norme del workload a più MIG. In questo caso, Compute Engine applica le regole di posizionamento a ogni MIG in modo indipendente.

La sezione seguente descrive le proprietà che devi specificare quando crei criteri del workload.

Configura le proprietà della policy del workload

Quando crei una policy del workload, devi specificare le seguenti proprietà:

  • Tipo di carico di lavoro (type): questo campo definisce l'obiettivo di alto livello del tuo cluster. Puoi specificare solo HIGH_THROUGHPUT, che indica a Compute Engine di posizionare le istanze di calcolo il più vicino possibile per velocizzare la comunicazione.

  • In base alla serie di macchine utilizzata dalle istanze di computing nel MIG, puoi specificare facoltativamente una delle seguenti proprietà:

    • Topologia dell'acceleratore (acceleratorTopology): questa proprietà ti aiuta a ottenere prestazioni elevate per i carichi di lavoro distribuiti eseguiti su più istanze A4X Max o A4X che utilizzano una configurazione di rete inter-acceleratore specializzata. Per saperne di più, consulta Proprietà della topologia dell'acceleratore.

    • Distanza massima della topologia (maxTopologyDistance): questa proprietà definisce il limite fisico più rigoroso per la creazione delle istanze A4, A3 Ultra, A3 Mega, A3 High (8 GPU) o H4D, ad esempio lo stesso blocco o sottoblocco. Se Compute Engine non riesce a rispettare questo limite rigoroso a causa di errori di disponibilità delle risorse, crea solo una parte o nessuna delle istanze di calcolo richieste. Per saperne di più, consulta Proprietà Distanza topologia massima.

Proprietà della topologia dell'acceleratore

Per ottenere prestazioni di rete non bloccanti su larga scala, Compute Engine organizza le istanze A4X Max e A4X in una gerarchia fisica di blocchi e sottoblocchi.

Per creare un MIG con istanze A4X Max o A4X, devi applicare una policy del workload al MIG che specifica la proprietà della topologia dell'acceleratore (acceleratorTopology). Questa proprietà definisce la configurazione di rete fisica per una slice di istanze di computing. Uno slice funge da singolo acceleratore massiccio che fornisce il massimo throughput per i tuoi workload di AI o ML distribuiti.

La tabella seguente mostra i valori della topologia dell'acceleratore supportati per i criteri del carico di lavoro e le serie di macchine che supportano:

Valore della topologia dell'acceleratore Descrizione Serie di macchine supportate Numero massimo di istanze di computing
1x72 Compute Engine organizza le istanze di computing in sottoblocchi densamente allocati di 18 istanze di computing, per un totale di 72 GPU. Poiché ogni sottoblocco richiede il proprio gruppo di istanze gestite, puoi creare un massimo di 18 istanze di calcolo per gruppo di istanze gestite. Un blocco completo è composto da 25 MIG, per un totale di 450 istanze di calcolo. A4X Max e A4X 18

Per saperne di più sulle istanze A4X Max e A4X, vedi Serie di macchine A4X Max e A4X.

Proprietà Distanza topologia massima

Quando crei e applichi una policy del workload a un gruppo di istanze gestite, Compute Engine tenta di creare le istanze di calcolo vicine tra loro. Se hai bisogno della massima compattezza in una zona, ti consigliamo di specificare la proprietà di distanza topologica massima (maxTopologyDistance). Un valore massimo della distanza di topologia specifica di creare istanze A4, A3 Ultra, A3 Mega, A3 High (8 GPU) o H4D nello stesso cluster, blocco o sottoblocco.

La tabella seguente mostra i valori massimi della distanza della topologia e le serie di macchine che supportano:

Valore della distanza topologia massima Descrizione Serie di macchine supportate Numero massimo di istanze di computing
Non specificato (non consigliato) Compute Engine tenta di posizionare le istanze di calcolo il più vicino possibile l'una all'altra, ma senza alcuna garanzia di distanza massima tra le istanze di calcolo in una zona. A4, A3 Ultra, A3 Mega, A3 High (8 GPU) e H4D 1500
CLUSTER Compute Engine crea istanze di calcolo in blocchi adiacenti all'interno di un cluster. A4 e H4D 1500
BLOCK Compute Engine crea istanze di computing nello stesso blocco. A4, A3 Ultra, A3 Mega, A3 High (8 GPU) o H4D
  • Per A4 o H4D: 150
  • Per A3 Ultra, A3 Mega o A3 High (8 GPU): 256
SUBBLOCK Compute Engine crea istanze di calcolo nello stesso sottoblocco, riducendo al minimo la latenza di rete. A4, A3 Ultra e H4D 22

Prezzi

Non sono previsti costi aggiuntivi per la creazione, l'eliminazione o l'applicazione di policy del workload a un MIG.

Limitazioni

Per le policy del workload nei MIG si applicano le seguenti limitazioni:

  • Puoi applicare una policy del workload a un MIG esistente o modificarne la policy del workload solo se nel MIG non sono presenti istanze di Compute.

  • Puoi applicare le norme sui workload solo ai MIG con istanze di computing che utilizzano le seguenti combinazioni di tipi di macchine e modelli di provisioning:

    Serie di macchine Modello di provisioning
    A4, A3 Ultra e H4D Avvio flessibile
    A4, A3 Ultra, A3 Mega, A3 High (8 GPU) e H4D Spot
    A4X Max, A4X, A4, A3 Ultra, A3 Mega, A3 High (8 GPU) e H4D Con prenotazione

  • Puoi applicare le policy del workload ai MIG a livello di regione solo se questi utilizzano le seguenti forme di distribuzione target:

    • Per i MIG con una dimensione target: ANY o ANY_SINGLE_ZONE

    • Per le richieste di ridimensionamento del gruppo di istanze gestite: ANY_SINGLE_ZONE

  • Non puoi aggiornare una policy del workload dopo averla creata.

  • Non puoi configurare un secondo modello di istanza se il MIG utilizza una policy del workload.

  • Non puoi utilizzare le policy del workload insieme alle policy di posizionamento.

Passaggi successivi