Zone AI

Le zone AI sono zone specializzate utilizzate per i workload di addestramento e inferenza di intelligenza artificiale e machine learning (AI e ML). Forniscono una capacità significativa dell'acceleratore ML (GPU e TPU).

All'interno di una regione, le zone AI si trovano geograficamente lontano dalle zone standard (non AI). La figura seguente mostra un esempio di zona AI (us-south1-ai1b) situata più lontano rispetto alle zone standard nella regione us-south1.

Zona genitori

Ogni zona AI è associata a una zona standard nella regione, chiamata zona principale. Una zona principale è una zona standard con lo stesso suffisso della zona AI. Ad esempio, nel diagramma us-central1-a è la zona principale di us-central1-ai1a. Condividono pianificazioni degli aggiornamenti software e a volte l'infrastruttura. Ciò significa che eventuali problemi di software o infrastruttura che interessano una zona principale potrebbero interessare anche la zona AI. Quando progetti le tue soluzioni ad alta affidabilità, esamina le considerazioni sull'alta affidabilità (HA) per tenere conto della dipendenza dalla zona principale.

Quando utilizzare le zone AI

Le zone AI sono ottimizzate per i workload AI e ML. Utilizza le seguenti indicazioni per determinare quali dei tuoi workload sono più adatti alle zone AI e quali sono più adatti alle zone standard.

Consigliato per:

• Addestramento su larga scala: ideale per i workload di addestramento su larga scala, come l'addestramento di modelli linguistici di grandi dimensioni (LLM) e di modelli di base, grazie alla disponibilità di un gran numero di acceleratori.

• Addestramento, ottimizzazione, inferenza collettiva e riaddestramento su piccola scala: le zone AI offrono prestazioni ottimali per i workload che richiedono una capacità di acceleratore sostanziale.

• Inferenza ML in tempo reale:le zone AI supportano i workload di inferenza in tempo reale. Le prestazioni dipendono dalla progettazione dell'applicazione e dai requisiti di latenza del modello, soprattutto se il carico di lavoro richiede richieste di andata e ritorno alla regione principale.

Non consigliato per:

• Workload non ML:poiché le zone AI non offrono tutti i servizi Cloud de Confiance by S3NS localmente, ti consigliamo di eseguire i workload non ML nelle zone standard.

Accedere ai servizi da una zona AI

Puoi accedere a tutti i prodotti Cloud de Confiance by S3NS in una regione Cloud de Confiance by S3NS dalla relativa zona AI. Tuttavia, l'accesso ai servizi in una regione Cloud de Confiance by S3NS da una zona AI può aumentare la latenza di rete, poiché la zona AI è fisicamente separata dalle posizioni delle zone standard della regione.

Per visualizzare e utilizzare le zone AI, un amministratore deve abilitarle per il tuo progetto. Per saperne di più, consulta Gestire l'accesso alle zone AI.

Prodotti specifici supportano la creazione o l'accesso a risorse zonali localmente in una zona AI. Per ulteriori informazioni su questi servizi, consulta la tabella seguente:

Località

Le zone AI sono disponibili nelle seguenti località:

Per esaminare i tipi di GPU e TPU disponibili nelle zone AI, consulta quanto segue:

• Visualizzare i tipi e le posizioni delle GPU disponibili nelle zone AI
• Visualizzare i tipi e le località di TPU disponibili nelle zone AI

Deployment delle risorse nelle zone AI

Le zone AI sono accessibili tramite la console Cloud de Confiance , Google Cloud CLI o REST. Tuttavia, quando utilizzi la console Cloud de Confiance per creare le VM, devi selezionare manualmente una zona AI. Non viene selezionata automaticamente, come avviene per le zone standard. Per utilizzare le zone AI con le seguenti funzionalità, devi selezionare esplicitamente una zona AI durante la configurazione di queste risorse.

• Alcune funzionalità di Compute Engine: le zone AI non vengono selezionate automaticamente in alcune funzionalità regionali di Compute Engine, come le operazioni di inserimento collettivo regionali o i gruppi di istanze gestite (MIG) regionali.

  • Inserimento collettivo: per includere le zone AI nelle operazioni di inserimento collettivo a livello di regione, devi utilizzare il campo locationPolicy.zones[]. Il campo locations[] non supporta le zone AI. L'esempio seguente mostra questo formato per la zona us-south1-ai1b:

    {
      "locationPolicy": {
        "zones": [
          "zones/us-south1-ai1b"
        ]
      }
    }
    

  • MIG regionali: per creare istanze in una zona AI nella regione selezionata, devi specificarla esplicitamente nella policy di distribuzione (distributionPolicy.zones[]) insieme alle altre zone preferite. L'esempio seguente mostra questo formato per la zona us-south1-ai1b:

    {
      "distributionPolicy": {
        "zones": [
          "zones/us-south1-a",
          "zones/us-south1-b",
          "zones/us-south1-ai1b"
        ]
      }
    }
    

• Alcune funzionalità di GKE: le zone AI non vengono selezionate automaticamente in alcune funzionalità regionali di GKE, come i cluster GKE regionali. Per maggiori dettagli su GKE, consulta Utilizzo delle zone AI in GKE in questo documento.

• Vertex AI: i prodotti regionali Vertex AI basati su GKE devono configurare GKE in modo da includere zone AI nei cluster regionali. Non è necessario attivare Vertex AI. Vertex AI gestisce questa configurazione.

• Cloud de Confiance by S3NS API Service Metadata Locations: devi attivare il flag --extraLocationTypes quando utilizzi l'API locations.list per assicurarti che le zone AI vengano visualizzate solo da chi intende utilizzarle.

• Limitazioni dei carichi di lavoro non accelerati: Compute Engine limita la creazione di VM solo CPU nelle zone AI.

Utilizzo delle zone AI in GKE

Per impostazione predefinita, GKE non esegue il deployment dei workload nelle zone AI. Per utilizzare una zona AI, configura una delle seguenti opzioni:

• ComputeClasses: imposta la priorità più alta per richiedere TPU on demand in una zona AI. ComputeClasses ti aiuta a definire un elenco prioritario di configurazioni hardware per i tuoi workload. Per un esempio, consulta Informazioni su ComputeClasses.

• Provisioning automatico dei nodi:utilizza un nodeSelector o un nodeAffinity nella specifica del pod per indicare al provisioning automatico dei nodi di creare un pool di nodi nella zona AI. Se il tuo workload non ha come target esplicito una zona AI, il provisioning automatico dei nodi prende in considerazione solo le zone standard durante la creazione di nuovi node pool. Questa configurazione garantisce che i workload che non eseguono modelli AI/ML rimangano nelle zone standard, a meno che tu non configuri diversamente. Per un esempio di manifest che utilizza un nodeSelector, vedi Imposta le zone predefinite per i nodi creati automaticamente.

• GKE Standard: se gestisci direttamente i tuoi node pool, utilizza una zona AI nel flag --node-locations quando crei unpool di nodil. Per un esempio, vedi Esegui il deployment dei carichi di lavoro TPU in GKE Standard.

Limitazioni

I seguenti elementi non sono disponibili nelle zone AI:

• Dischi permanenti a livello di area geografica
• Hyperdisk bilanciato ad alta affidabilità

Considerazioni sulla progettazione con le zone AI

Tieni presente quanto segue quando progetti le tue applicazioni per utilizzare le zone AI.

Considerazioni sull'alta affidabilità (HA)

Le zone AI condividono implementazioni software e infrastrutture con le zone principali. Per garantire l'alta affidabilità dei tuoi workload, evita questi pattern di deployment quando selezioni le zone, automaticamente o manualmente:

• Evita di eseguire il deployment di workload HA in una zona AI e nella relativa zona principale.

• Evita di eseguire il deployment di workload HA in due zone AI che condividono la stessa zona principale.

Best practice per l'archiviazione

Consigliamo un'architettura di archiviazione a livelli per bilanciare costi, durabilità e prestazioni:

1. Livello di archiviazione a freddo: utilizza bucket Cloud Storage regionali in zone standard per l'archiviazione persistente e altamente durevole dei set di dati di addestramento e dei checkpoint del modello.

2. Livello di prestazioni:utilizza servizi di archiviazione zonale specializzati per fungere da cache ad alta velocità o spazio temporaneo. Questo approccio elimina la latenza tra le zone e massimizza il goodput durante i job attivi.

   Per garantire che GPU e TPU rimangano completamente sature, massimizzando il goodput, esegui il provisioning del livello di rendimento nella stessa zona AI delle risorse di calcolo.

Per ottimizzare le prestazioni del sistema AI e ML con le zone AI, sono consigliate le seguenti soluzioni di archiviazione:

Includere o escludere le zone AI

Per includere o escludere le zone AI da un elenco di zone, utilizza un filtro nel seguente modo:

• Per filtrare un elenco di zone in modo da includere solo le zone AI, consulta Cercare zone AI.
• Per filtrare un elenco di zone in modo da escludere le zone AI, consulta Escludere le zone AI dagli elenchi.

Passaggi successivi

• Visualizzare un elenco di zone AI
• Configurare una policy dell'organizzazione per limitare la creazione di VM nelle zone AI