Recursos da Cloud TPU no Compute Engine

É possível criar e gerenciar unidades de processamento tensorial (TPUs) usando recursos do Compute Engine. Esta página oferece uma visão geral conceitual do uso de TPUs com o Compute Engine. Ela mapeia conceitos de TPU para recursos do Compute Engine e descreve os fluxos de trabalho de alto nível para criar recursos de TPU.

Principais conceitos de TPU

Para gerenciar recursos de TPU no Compute Engine, é útil entender estes conceitos principais de TPU:

  • VM de TPU: uma máquina virtual que se conecta diretamente ao hardware de TPU. Uma única VM de TPU é igual a uma fração de host único.
  • Fração de TPU: um grupo lógico de chips de TPU interconectados, acessados por uma ou mais VMs de TPU. As frações têm um dos seguintes escopos:
    • Fração de host único: uma fração que consiste em uma máquina host. Fração de host único é outra maneira de se referir a uma única VM de TPU.
    • Fração de vários hosts: uma fração que consiste em várias VMs de TPU interconectadas usando uma interconexão de alta velocidade entre chips (ICI).

Mapa de conceitos de TPU e Compute Engine

A tabela a seguir descreve como os conceitos de TPU são mapeados para recursos do Compute Engine:

Conceito de Cloud TPU Recurso do Compute Engine Detalhes do recurso Caso de uso
VM de TPU Instância de VM Uma VM do Compute Engine que fornece acesso direto ao hardware de TPU. Tarefas individuais de VM, execução de comandos SSH ou depuração
Fração de TPU de host único Instância de VM ou MIG com uma única VM Uma configuração que consiste em uma máquina host física. Inferência com escalonamento automático
Fração de TPU de vários hosts MIG com topologia de acelerador especificada na política de carga de trabalho Um grupo de VMs de TPU interconectadas usando ICI, gerenciadas como uma única unidade lógica. Treinamento distribuído em grande escala que exige provisionamento atômico

Migrar da API Cloud TPU

A API Cloud TPU não está mais em desenvolvimento ativo. Isso inclui a Google Cloud CLI para a API Cloud TPU e as bibliotecas de cliente do Cloud para a API Cloud TPU. A API Cloud TPU vai receber apenas correções de bugs e atualizações de segurança. Novas gerações de hardware, começando com a TPU7x (Ironwood), são compatíveis apenas com o Compute Engine ou o Google Kubernetes Engine (GKE). Para conferir os recursos mais recentes e o suporte às versões mais recentes da TPU, migre substituindo as chamadas legadas da API Cloud TPU pelos equivalentes no Compute Engine ou no GKE.

Dependendo dos requisitos de orquestração e carga de trabalho, escolha um dos seguintes caminhos:

  • Compute Engine: recomendado para usuários que exigem controle direto no nível da VM ou imagens personalizadas do SO. Para começar a provisionar TPUs no Compute Engine, consulte Guia de início rápido: criar uma VM de TPU.
  • GKE: recomendado para cargas de trabalho conteinerizadas, escalonamento automatizado e orquestração em grande escala. Para mais informações sobre como usar TPUs com o GKE, consulte Sobre TPUs no GKE.

Recursos de TPU atuais

Os recursos de TPU criados usando a API Cloud TPU (objetos REST Node ou QueuedResource) são incompatíveis com o Compute Engine e o GKE. Para começar a usar o Compute Engine ou o GKE:

  • Reescreva todos os scripts que usam a API Cloud TPU para usar as APIs do Compute Engine ou do GKE.
  • Exclua os recursos usando a API Cloud TPU e recrie-os usando as APIs do Compute Engine ou do GKE.

Limitações

As TPUs no Compute Engine têm as seguintes limitações:

  • Versões de TPU: o Compute Engine oferece suporte às versões v5p, v6e e TPU7x.
  • Modo de capacidade: o modo "Toda a capacidade" para TPUs não está disponível com o Compute Engine.
  • Várias frações: não é possível criar grupos de frações de TPU de vários hosts interconectados com o Compute Engine. Para usar várias frações, é necessário usar o Google Kubernetes Engine (GKE). Para mais informações, consulte Implantar várias frações de TPU no GKE.
  • Coleções: a programação de coleção não está disponível com o Compute Engine. Para usar a programação de coleção, é necessário usar o GKE. Para mais informações, consulte Programação de coleção na documentação do GKE.

A seguir