Zonas de IA

As zonas de IA são zonas especializadas usadas para cargas de trabalho de treinamento e inferência de inteligência artificial e machine learning (IA e ML). Elas oferecem capacidade significativa de acelerador de ML (GPU e TPU).

Em uma região, as zonas de IA estão localizadas geograficamente longe das zonas padrão (não de IA). A figura a seguir mostra um exemplo de uma zona de IA (us-south1-ai1b) localizada mais distante em relação às zonas padrão na us-south1 região.

Zona mãe

Cada zona de IA está associada a uma zona padrão na região, chamada de zona mãe. Uma zona mãe é uma zona padrão com o mesmo sufixo da zona de IA. Por exemplo, no diagrama, us-central1-a é a zona mãe de us-central1-ai1a. Elas compartilham programações de atualização de software e, às vezes, infraestrutura. Isso significa que qualquer problema de software ou infraestrutura que afete uma zona mãe também pode afetar a zona de IA. Ao projetar soluções de alta disponibilidade, revise as considerações de alta disponibilidade (HA) para considerar a dependência da zona mãe.

Quando usar zonas de IA

As zonas de IA são otimizadas para cargas de trabalho de IA e ML. Use as orientações a seguir para determinar quais cargas de trabalho são mais adequadas para zonas de IA e quais são melhor atendidas por zonas padrão.

Recomendado para :

  • Treinamento em grande escala:ideal para cargas de trabalho de treinamento em grande escala, como modelos de linguagem grandes (LLM) e treinamento de modelo fundamentais, devido à disponibilidade de um grande número de aceleradores.

  • Treinamento em pequena escala, ajuste fino, inferência em massa e retreinamento:as zonas de IA têm bom desempenho para cargas de trabalho que exigem capacidade substancial do acelerador.

  • Inferência de ML em tempo real:as zonas de IA oferecem suporte a cargas de trabalho de inferência em tempo real. A performance depende do design do aplicativo e dos requisitos de latência do modelo, especialmente se a carga de trabalho exigir solicitações de ida e volta para a região mãe.

Não recomendado para :

  • Cargas de trabalho não relacionadas a ML:como as zonas de IA não oferecem todos os Cloud de Confiance by S3NS serviços localmente, recomendamos executar cargas de trabalho não relacionadas a ML nas zonas padrão.

Acessar serviços de uma zona de IA

É possível acessar todos os Cloud de Confiance by S3NS produtos em uma Cloud de Confiance by S3NS região da zona de IA. No entanto, o acesso a serviços em uma Cloud de Confiance by S3NS região de uma zona de IA pode adicionar latência de rede, já que a zona de IA é fisicamente separada dos locais das zonas padrão da região.

Para visualizar as zonas de IA no Cloud de Confiance consol, na Google Cloud CLI e na API REST, você deve ativar a visibilidade da zona de IA para seu projeto. A visibilidade da zona de IA é separada do controle de acesso e dos limites do Serviço de políticas da organização. Para mais informações, consulte Gerenciar a visibilidade da zona de IA.

Produtos específicos oferecem suporte à criação ou ao acesso de recursos zonais localmente em uma zona de IA. Para mais informações sobre esses serviços, consulte a tabela a seguir:

Produto Descrição
Google Kubernetes Engine (GKE) Configuração para usar zonas de IA em clusters do GKE, incluindo a configuração usando ComputeClasses, provisionamento automático de nós e pools de nós GKE Standard.

Como usar zonas de IA no GKE
Cloud Storage Configuração do repositório de objetos para cargas de trabalho em zonas de IA, incluindo armazenamento zonal para maximizar o desempenho durante jobs ativos e armazenamento permanente para conjuntos de dados e checkpoints de modelos.

Usar zonas de IA com o Cloud Storage
Compute Engine Métodos para identificar zonas de IA disponíveis usando o console, a Google Cloud CLI e a API REST, incluindo como filtrar por convenção de nomenclatura, tipo de acelerador ou máquina

Encontrar zonas de IA disponíveis
Google Cloud Managed Lustre Otimizar a performance para cargas de trabalho de IA e ML implantadas no GKE Standard

Otimizar cargas de trabalho de IA e ML com o Google Cloud Managed Lustre

Locais

As zonas de IA estão disponíveis nos seguintes locais:

Zona de IA Local da zona de IA Cloud de Confiance by S3NS Região Cloud de Confiance by S3NS Local da região Zona mãe
europe-west4-ai1a De Kooy, Holanda, Europa europe-west4 Eemshaven, Holanda, Europa europe-west4-a
us-south1-ai1b Austin, Texas, América do Norte us-south1 Dallas, Texas, América do Norte us-south1-b
us-central1-ai1a Lincoln, Nebraska, América do Norte us-central1 Council Bluffs, Iowa, América do Norte us-central1-a

Para revisar quais tipos de GPU e TPU estão disponíveis nas zonas de IA, consulte o seguinte:

Como implantar recursos em zonas de IA

As zonas de IA podem ser acessadas pelo Cloud de Confiance console, pela Google Cloud CLI ou pela REST. No entanto, ao usar o Cloud de Confiance console para criar suas VMs, é necessário selecionar manualmente uma zona de IA. Ela não é selecionada automaticamente, como acontece com as zonas padrão. Para usar zonas de IA com os recursos a seguir, selecione explicitamente uma zona de IA ao configurar esses recursos.

  • Alguns recursos do Compute Engine: as zonas de IA não são selecionadas automaticamente em alguns recursos regionais do Compute Engine, como operações de inserção em massa regionais ou grupos gerenciados de instâncias (MIGs) regionais.

    • Inserção em massa: para incluir zonas de IA em operações de inserção em massa regionais, use o campo locationPolicy.zones[]. O campo locations[] não oferece suporte a zonas de IA. O exemplo a seguir mostra esse formato para a zona us-south1-ai1b:

      {
  "locationPolicy": {
    "zones": [
      "zones/us-south1-ai1b"
    ]
  }
}

    • MIGs regionais: para criar instâncias em uma zona de IA na região selecionada, especifique-a explicitamente na política de distribuição (distributionPolicy.zones[]) junto com as outras zonas preferenciais. O exemplo a seguir mostra esse formato para a zona us-south1-ai1b:

      {
  "distributionPolicy": {
    "zones": [
      "zones/us-south1-a",
      "zones/us-south1-b",
      "zones/us-south1-ai1b"
    ]
  }
}

  • Alguns recursos do GKE: as zonas de IA não são selecionadas automaticamente em alguns recursos regionais do GKE, como clusters regionais do GKE. Para mais detalhes sobre o GKE, consulte Como usar zonas de IA no GKE neste documento.

  • Vertex AI: os produtos regionais da Vertex AI baseados no GKE precisam configurar o GKE para incluir zonas de IA em clusters regionais. Não é necessário ativar a Vertex AI. A Vertex AI gerencia essa configuração.

  • Cloud de Confiance by S3NS API Service Metadata Locations: é necessário ativar a --extraLocationTypes flag ao usar a API locations.list para garantir que as zonas de IA apareçam apenas para quem pretende usá-las.

  • Restrições de carga de trabalho não acelerada: o Compute Engine limita a criação de VMs somente de CPU em zonas de IA.

Como usar zonas de IA no GKE

Por padrão, o GKE não implanta cargas de trabalho em zonas de IA. Para usar uma zona de IA, configure uma das seguintes opções:

  • ComputeClasses:defina a maior prioridade para solicitar TPUs sob demanda em uma zona de IA. As ComputeClasses ajudam a definir uma lista priorizada de configurações de hardware para suas cargas de trabalho. Para conferir um exemplo, consulte Sobre as ComputeClasses.

  • Provisionamento automático de nós:use um nodeSelector ou nodeAffinity na especificação do pod para instruir o provisionamento automático de nós a criar um pool de nós na zona de IA. Se a carga de trabalho não segmentar explicitamente uma zona de IA, o provisionamento automático de nós considerará apenas as zonas padrão ao criar novos pools de nós. Essa configuração garante que as cargas de trabalho que não executam modelos de IA/ML permaneçam em zonas padrão, a menos que você configure explicitamente o contrário. Para conferir um exemplo de manifesto que usa um nodeSelector, consulte Definir as zonas padrão para nós criados automaticamente.

  • GKE Standard:se você gerenciar diretamente seus pools de nós, use uma zona de IA na flag --node-locations ao criar um pool de nós. Para conferir um exemplo, consulte Implantar cargas de trabalho de TPU no GKE Standard.

Limitações

O seguinte não está disponível em zonas de IA:

Considerações de design com zonas de IA

Considere o seguinte ao projetar seus aplicativos para usar zonas de IA.

Considerações de alta disponibilidade (HA)

As zonas de IA compartilham implantações de software e infraestrutura com as zonas mãe. Para garantir a alta disponibilidade das cargas de trabalho, evite esses padrões de implantação ao selecionar zonas, seja automática ou manualmente:

  • Evite implantar cargas de trabalho de HA em uma zona de IA e na zona mãe.

  • Evite implantar cargas de trabalho de HA em duas zonas de IA que compartilham a mesma zona mãe.

Práticas recomendadas de armazenamento

Recomendamos uma arquitetura de armazenamento em camadas para equilibrar custo, durabilidade e performance:

  1. Camada de armazenamento de acesso raro:use buckets do Cloud Storage regionais em zonas padrão para armazenamento persistente e altamente durável dos conjuntos de dados de treinamento e checkpoints de modelos.

  2. Camada de performance:use serviços de armazenamento zonal especializados para atuar como um cache de alta velocidade ou espaço de trabalho temporário. Essa abordagem elimina a latência entre zonas e maximiza a taxa de transferência útil durante jobs ativos.

    Para garantir que as GPUs e TPUs permaneçam totalmente saturadas, maximizando a taxa de transferência útil, provisione a camada de performance na mesma zona de IA que os recursos de computação.

As soluções de armazenamento a seguir são recomendadas para otimizar a performance do sistema de IA e ML com zonas de IA:

Serviço de armazenamento Descrição Casos de uso
Recurso Anywhere Cache do Cloud Storage Um cache de leitura zonal totalmente gerenciado e com suporte a SSD que traz dados lidos com frequência de um bucket para a zona de IA. Recomendado para:
  • Cargas de trabalho com leitura intensa
  • Treinamento e disponibilização de modelos de baixa latência
**Não recomendado para** :
  • Aplicativos que exigem conformidade total com POSIX

Incluir ou excluir zonas de IA

Para incluir ou excluir manualmente zonas de IA de uma lista de zonas, use um filtro:

A seguir