Criar uma instância de VM de TPU

Neste documento, descrevemos como criar uma instância de máquina virtual (VM) da TPU. Uma VM de TPU também é chamada de fração de TPU de host único.

Para criar um grupo de frações de host único, consulte Criar um MIG com frações de TPU de host único.

Antes de começar

Pré-requisitos

Antes de criar uma instância de TPU, faça o seguinte:

  1. Escolha a versão da TPU: selecione a versão adequada para sua carga de trabalho. Para uma lista de versões de TPU por tipo de carga de trabalho, consulte Versões de TPU recomendadas por tipo de carga de trabalho.

  2. Valide a disponibilidade de TPU no local de sua preferência: as TPUs estão disponíveis em regiões específicas do Cloud de Confiance by S3NS . Para usar uma versão da TPU, verifique se ela está disponível na região de sua preferência. Para uma lista de locais de TPU, consulte Disponibilidade de TPU.

  3. Verifique se o projeto tem cota de TPU suficiente: se você estiver criando uma instância de TPU com VMs spot ou sob demanda, é preciso ter cota de TPU suficiente disponível na região que você quer usar. A criação de uma instância de TPU que consome uma reserva de TPU não exige nenhuma cota de TPU, já que a cota é usada quando a reserva é criada. Para uma lista de nomes de cota de TPU, consulte Cota de TPU e, para instruções sobre como visualizar a cota, consulte Visualizar e gerenciar cotas.

  4. Escolha uma opção de consumo de TPU: selecione uma opção que melhor se adapte à sua carga de trabalho, à duração dela e às suas necessidades de custo. Para conferir uma lista de opções de consumo disponíveis por versões de TPU, consulte Opções de consumo de TPU.

Criar uma instância de VM de TPU

Os parâmetros usados para criar uma instância de VM de TPU dependem da opção de consumo usada: sob demanda, spot, vinculada a reserva ou início flexível. Para mais informações, consulte Sobre modelos de provisionamento de VM .

Criar uma instância de VM de TPU sob demanda

Para criar uma instância de VM de TPU sob demanda, use o comando gcloud compute instances create:

  gcloud compute instances create TPU_NAME \
    --machine-type=MACHINE_TYPE \
    --image-family=IMAGE_FAMILY \
    --image-project=IMAGE_PROJECT \
    --zone=ZONE \
    --maintenance-policy=TERMINATE

Substitua os seguintes marcadores de posição:

  • TPU_NAME: um nome para sua VM de TPU.
  • MACHINE_TYPE: o tipo de máquina da VM de TPU (por exemplo, ct6e-standard-8t).
  • IMAGE_FAMILY: a família de imagens do SO para a VM da TPU. Se você quiser instalar uma versão específica do SO, use a flag --image. Para mais informações sobre imagens do SO, consulte Imagens do SO.
  • IMAGE_PROJECT: o projeto que contém a imagem do SO. Para imagens de TPU, é ubuntu-os-accelerator-images.
  • ZONE: a zona da VM de TPU (por exemplo, us-central1-b).

Criar uma instância de VM spot de TPU

Para criar uma instância de VM spot de TPU, use o comando gcloud compute instances create com a flag --provisioning-model=SPOT:

  gcloud compute instances create TPU_NAME \
    --machine-type=MACHINE_TYPE \
    --image-family=IMAGE_FAMILY \
    --image-project=IMAGE_PROJECT \
    --zone=ZONE \
    --provisioning-model=SPOT \
    --instance-termination-action=DELETE \
    --maintenance-policy=TERMINATE

Substitua os seguintes marcadores de posição:

  • TPU_NAME: um nome para sua VM de TPU.
  • MACHINE_TYPE: o tipo de máquina da VM de TPU (por exemplo, ct6e-standard-8t).
  • IMAGE_FAMILY: a família de imagens do SO para a VM da TPU. Se você quiser instalar uma versão específica do SO, use a flag --image. Para mais informações sobre imagens do SO, consulte Imagens do SO.
  • IMAGE_PROJECT: o projeto que contém a imagem do SO. Para imagens de TPU, é ubuntu-os-accelerator-images.
  • ZONE: a zona da VM de TPU (por exemplo, us-central1-b).

Criar uma instância de VM da TPU usando uma reserva

Para criar uma instância de VM da TPU usando a opção de consumo vinculada à reserva, use o comando gcloud compute instances create com as flags --reservation-affinity=specific e --reservation:

  gcloud compute instances create TPU_NAME \
    --machine-type=MACHINE_TYPE \
    --image-family=IMAGE_FAMILY \
    --image-project=IMAGE_PROJECT \
    --zone=ZONE \
    --provisioning-model=reservation-bound \
    --reservation-affinity=specific \
    --reservation=RESERVATION_NAME \
    --instance-termination-action=DELETE \
    --maintenance-policy=TERMINATE

Substitua os seguintes marcadores de posição:

  • TPU_NAME: um nome para sua VM de TPU.
  • MACHINE_TYPE: o tipo de máquina da VM de TPU (por exemplo, ct6e-standard-8t).
  • IMAGE_FAMILY: a família de imagens do SO para a VM da TPU. Se você quiser instalar uma versão específica do SO, use a flag --image. Para mais informações sobre imagens do SO, consulte Imagens do SO.
  • IMAGE_PROJECT: o projeto que contém a imagem do SO. Para imagens de TPU, é ubuntu-os-accelerator-images.
  • ZONE: a zona da VM de TPU (por exemplo, us-central1-b).
  • RESERVATION_NAME: o nome da sua reserva.

Criar uma VM flex-start de TPU

Para criar uma instância de VM Flex-start de TPU, use o comando gcloud compute instances create com a flag --provisioning-model=FLEX_START:

  gcloud compute instances create TPU_NAME \
    --machine-type=MACHINE_TYPE \
    --image-family=IMAGE_FAMILY \
    --image-project=IMAGE_PROJECT \
    --zone=ZONE \
    --provisioning-model=FLEX_START \
    --max-run-duration=MAX_RUN_DURATION \
    --request-valid-for-duration=VALID_DURATION \
    --instance-termination-action=DELETE \
    --maintenance-policy=TERMINATE

Substitua os seguintes marcadores de posição:

  • TPU_NAME: um nome para sua VM de TPU.
  • MACHINE_TYPE: o tipo de máquina da VM de TPU (por exemplo, ct6e-standard-8t).
  • IMAGE_FAMILY: a família de imagens do SO para a VM da TPU. Se você quiser instalar uma versão específica do SO, use a flag --image. Para mais informações sobre imagens do SO, consulte Imagens do SO.
  • IMAGE_PROJECT: o projeto que contém a imagem do SO. Para imagens de TPU, é ubuntu-os-accelerator-images.
  • ZONE: a zona da VM de TPU (por exemplo, us-central1-b).
  • MAX_RUN_DURATION: a duração máxima da execução da VM de TPU (por exemplo, 6h).
  • VALID_DURATION: a duração máxima da validade da solicitação.

Para mais informações sobre como criar instâncias do Compute Engine, consulte Criar e iniciar uma instância do Compute Engine.

Limitações

  • Operações de ciclo de vida: não é possível interromper, iniciar, retomar ou suspender instâncias de TPU. Para mudar configurações que exigem uma reinicialização ou parar de gerar custos, exclua as instâncias.

  • Atualizar detalhes da VM: é possível atualizar as propriedades que exigem apenas uma ação de atualização (REFRESH). Se uma configuração exigir uma reinicialização (RESTART), será necessário recriar a instância.

A seguir