Zonas de IA

As zonas de IA são especializadas e usadas para treinamento e cargas de trabalho de inferência de inteligência artificial e machine learning (IA e ML). Elas oferecem uma capacidade significativa de acelerador de ML (GPU e TPU).

Em uma região, as zonas de IA estão geograficamente localizadas longe das zonas padrão (não de IA). A figura a seguir mostra um exemplo de uma zona de IA (us-south1-ai1b) localizada mais distante em relação às zonas padrão na região us-south1.

Área para familiares responsáveis

Cada zona de IA está associada a uma zona padrão na região, chamada de zona principal. Uma zona mãe é uma zona padrão com o mesmo sufixo da zona de IA. Por exemplo, no diagrama, us-central1-a é a zona mãe de us-central1-ai1a. Eles compartilham cronogramas de atualização de software e, às vezes, infraestrutura. Isso significa que qualquer problema de software ou infraestrutura que afete uma zona mãe também pode afetar a zona de IA. Ao projetar suas soluções de alta disponibilidade, revise as Considerações de alta disponibilidade (HA) para considerar a dependência da zona principal.

Quando usar zonas de IA

As zonas de IA são otimizadas para cargas de trabalho de IA e ML. Use as orientações a seguir para determinar quais das suas cargas de trabalho são mais adequadas para zonas de IA e quais são mais bem atendidas por zonas padrão.

Recomendado para:

• Treinamento em grande escala:ideal para cargas de trabalho de treinamento em grande escala, como treinamento de modelo de modelos de linguagem grandes (LLMs) e de fundação, devido à disponibilidade de um grande número de aceleradores.

• Treinamento em pequena escala, ajuste fino, inferência em massa e retreinamento:as zonas de IA têm bom desempenho para cargas de trabalho que exigem capacidade substancial de acelerador.

• Inferência de ML em tempo real:as zonas de IA são compatíveis com cargas de trabalho de inferência em tempo real. O desempenho depende do design do aplicativo e dos requisitos de latência do modelo, especialmente se a carga de trabalho exigir solicitações de ida e volta para a região principal.

Não recomendado para:

• Cargas de trabalho que não são de ML:como as zonas de IA não oferecem todos os Cloud de Confiance by S3NS serviços localmente, recomendamos executar as cargas de trabalho que não são de ML nas zonas padrão.

Acessar serviços em uma zona de IA

É possível acessar todos os produtos do Cloud de Confiance by S3NS em uma região Cloud de Confiance by S3NS na zona de IA. No entanto, acessar serviços em uma região Cloud de Confiance by S3NS de uma zona de IA pode aumentar a latência de rede, já que a zona de IA é fisicamente separada dos locais das zonas padrão da região.

Para ver as zonas de IA no console do Cloud de Confiance , na Google Cloud CLI e na API REST, você precisa ativar a visibilidade da zona de IA para seu projeto. A visibilidade da zona de IA é separada do controle de acesso e dos limites do serviço de política da organização. Para mais informações, consulte Gerenciar a visibilidade da zona de IA.

Produtos específicos permitem criar ou acessar recursos zonais localmente em uma zona de IA. Para mais informações sobre esses serviços, consulte a tabela a seguir:

Locais

As zonas de IA estão disponíveis nos seguintes locais:

Para saber quais tipos de GPU e TPU estão disponíveis nas zonas de IA, consulte o seguinte:

• Ver tipos e locais de GPU disponíveis em zonas de IA
• Ver tipos e locais de TPU disponíveis em zonas de IA

Como implantar recursos em zonas de IA

As zonas de IA podem ser acessadas pelo console Cloud de Confiance , pela Google Cloud CLI ou pela REST. No entanto, ao usar o console Cloud de Confiance para criar suas VMs, você precisa selecionar manualmente uma zona de IA. Ele não é selecionado para você, como acontece com as zonas padrão. Para usar zonas de IA com os seguintes recursos, selecione explicitamente uma zona de IA ao configurar esses recursos.

• Alguns recursos do Compute Engine: as zonas de IA não são selecionadas automaticamente em determinados recursos regionais do Compute Engine, como operações regionais de inserção em massa ou grupos gerenciados de instâncias (MIGs) regionais.

  • Inserção em massa: para incluir zonas de IA em operações regionais de inserção em massa, use o campo locationPolicy.zones[]. O campo locations[] não é compatível com zonas de IA. O exemplo a seguir mostra esse formato para a zona us-south1-ai1b:

    {
      "locationPolicy": {
        "zones": [
          "zones/us-south1-ai1b"
        ]
      }
    }
    

  • MIGs regionais: para criar instâncias em uma zona de IA na região selecionada, especifique explicitamente na política de distribuição (distributionPolicy.zones[]) junto com as outras zonas preferenciais. O exemplo a seguir mostra esse formato para a zona us-south1-ai1b:

    {
      "distributionPolicy": {
        "zones": [
          "zones/us-south1-a",
          "zones/us-south1-b",
          "zones/us-south1-ai1b"
        ]
      }
    }
    

• Alguns recursos do GKE: as zonas de IA não são selecionadas automaticamente em alguns recursos regionais do GKE, como clusters regionais do GKE. Para mais detalhes sobre o GKE, consulte Como usar zonas de IA no GKE neste documento.

• Vertex AI: os produtos regionais da Vertex AI baseados no GKE precisam configurar o GKE para incluir zonas de IA em clusters regionais. Não é necessário ativar a Vertex AI. A Vertex AI gerencia essa configuração.

• APICloud de Confiance by S3NS Service Metadata Locations: é necessário ativar a flag --extraLocationTypes ao usar a API locations.list para garantir que as zonas de IA apareçam apenas para quem pretende usá-las.

• Restrições de carga de trabalho sem acelerador: o Compute Engine limita a criação de VMs somente com CPU em zonas de IA.

Como usar zonas de IA no GKE

Por padrão, o GKE não implanta cargas de trabalho em zonas de IA. Para usar uma zona de IA, configure uma das seguintes opções:

• ComputeClasses:defina a prioridade mais alta para solicitar TPUs sob demanda em uma zona de IA. As ComputeClasses ajudam você a definir uma lista priorizada de configurações de hardware para suas cargas de trabalho. Para um exemplo, consulte Sobre ComputeClasses.

• Provisionamento automático de nós:use um nodeSelector ou nodeAffinity na especificação do pod para instruir o provisionamento automático de nós a criar um pool de nós na zona de IA. Se a carga de trabalho não segmentar explicitamente uma zona de IA, o provisionamento automático de nós considerará apenas as zonas padrão ao criar novos pools de nós. Essa configuração garante que as cargas de trabalho que não executam modelos de IA/ML permaneçam em zonas padrão, a menos que você configure explicitamente o contrário. Para ver um exemplo de manifesto que usa um nodeSelector, consulte Definir as zonas padrão para nós criados automaticamente.

• GKE Standard:se você gerenciar diretamente seus pools de nós, use uma zona de IA na flag --node-locations ao criar um pool de nós. Confira um exemplo em Implantar cargas de trabalho de TPU no GKE Standard.

Limitações

Os seguintes recursos não estão disponíveis nas zonas de IA:

• Discos permanentes regionais
• Hyperdisk Balanced High Availability

Considerações de design com zonas de IA

Considere o seguinte ao projetar seus aplicativos para usar zonas de IA.

Considerações sobre alta disponibilidade (HA)

As zonas de IA compartilham implantações de software e infraestrutura com as zonas principais. Para garantir a alta disponibilidade das suas cargas de trabalho, evite estes padrões de implantação ao selecionar zonas, seja de forma automática ou manual:

• Evite implantar cargas de trabalho de alta disponibilidade em uma zona de IA e na zona principal.

• Evite implantar cargas de trabalho de alta disponibilidade em duas zonas de IA que compartilham a mesma zona principal.

Práticas recomendadas de armazenamento

Recomendamos uma arquitetura de armazenamento em camadas para equilibrar custo, durabilidade e desempenho:

1. Camada de armazenamento de acesso raro:use buckets regionais do Cloud Storage em zonas padrão para armazenamento persistente e altamente durável dos seus conjuntos de dados de treinamento e checkpoints de modelo.

2. Camada de desempenho:use serviços especializados de armazenamento zonal para atuar como um cache de alta velocidade ou espaço de trabalho temporário. Essa abordagem elimina a latência entre zonas e maximiza o goodput durante jobs ativos.

   Para garantir que as GPUs e TPUs permaneçam totalmente saturadas, maximizando o goodput, provisione sua camada de performance na mesma zona de IA que os recursos de computação.

As seguintes soluções de armazenamento são recomendadas para otimizar a performance do sistema de IA e ML com zonas de IA:

Incluir ou excluir zonas de IA

Para incluir ou excluir manualmente zonas de IA de uma lista, use um filtro:

• Para filtrar uma lista de zonas e incluir apenas as de IA, consulte Pesquisar zonas de IA.
• Para filtrar uma lista de zonas e excluir as de IA, consulte Excluir zonas de IA das listas.

A seguir

• Conferir uma lista de zonas de IA
• Configurar uma política da organização para restringir a criação de VMs em zonas de IA