Criar políticas de carga de trabalho para MIGs

Este documento explica como criar políticas para grupos gerenciados de instâncias (MIGs) que têm instâncias A4X Max, A4X, A4, A3 Ultra, A3 Mega, A3 High (8 GPUs) ou H4D do Compute Engine. Para saber mais sobre os requisitos e limitações que você aplica ao criar políticas de carga de trabalho, consulte Sobre as políticas de carga de trabalho.

Uma política de carga de trabalho permite especificar o posicionamento ou a topologia das instâncias do Compute Engine no MIG. Por exemplo, é possível usar políticas de carga de trabalho para colocar instâncias de computação mais próximas umas das outras, minimizando a latência de rede para cargas de trabalho de inteligência artificial (IA), machine learning (ML) ou computação de alto desempenho (HPC).

Antes de começar

Funções exigidas

Para receber as permissões necessárias para criar e aplicar políticas de carga de trabalho a MIGs, peça ao administrador para conceder a você o papel do IAM de Administrador da instância do Compute (v1) (roles/compute.instanceAdmin.v1) no projeto. Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Esse papel predefinido contém as permissões necessárias para criar e aplicar políticas de carga de trabalho a MIGs. Para acessar as permissões exatas que são necessárias, expanda a seção Permissões necessárias:

Permissões necessárias

As permissões a seguir são necessárias para criar e aplicar políticas de carga de trabalho a MIGs:

  • Para criar uma política de carga de trabalho: compute.resourcePolicies.create no projeto

Essas permissões também podem ser concedidas com funções personalizadas ou outros papéis predefinidos.

Criar uma política de carga de trabalho

Para criar uma política de carga de trabalho, use um dos seguintes métodos com base na série de máquinas que as instâncias de computação no MIG usam:

Criar uma política de carga de trabalho para instâncias A4X Max ou A4X

Se você aplicar uma política de carga de trabalho a instâncias A4X Max ou A4X em um MIG, então você deve especificar um valor de topologia do acelerador ao criar sua política. Essa ação ajuda as cargas de trabalho a alcançar um desempenho de rede não bloqueador em grande escala.

Para criar uma política de carga de trabalho para instâncias A4X Max ou A4X, selecione uma das seguintes opções:

gcloud

Para criar uma política de carga de trabalho para instâncias A4X Max ou A4X, use o gcloud compute resource-policies create workload-policy comando com a --accelerator-topology=1x72 flag:

gcloud compute resource-policies create workload-policy WORKLOAD_POLICY_NAME \
    --accelerator-topology=1x72 \
    --type=high-throughput \
    --region=REGION

Substitua:

  • WORKLOAD_POLICY_NAME: o nome da política de carga de trabalho.

  • REGION: a região em que a política de carga de trabalho será criada. Especifique uma região em que você quer criar o MIG e onde o tipo de máquina que você quer usar está disponível. Para conferir as regiões em que os tipos de máquina A4X Max ou A4X estão disponíveis, consulte Regiões e zonas disponíveis.

REST

Para criar uma política de carga de trabalho para instâncias A4X Max ou A4X, faça uma POST solicitação para o resourcePolicies.insert método. No corpo da solicitação, inclua o campo acceleratorTopology definido como 1x72:

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/resourcePolicies

{
  "name": "WORKLOAD_POLICY_NAME",
  "workloadPolicy": {
    "acceleratorTopology": "1x72",
    "type": "HIGH_THROUGHPUT"
  }
}

Substitua:

  • PROJECT_ID: o ID do projeto em que a política de carga de trabalho será criada.

  • REGION: a região em que a política de carga de trabalho será criada. Especifique uma região em que você quer criar o MIG e onde o tipo de máquina que você quer usar está disponível. Para conferir as regiões em que os tipos de máquina A4X Max ou A4X estão disponíveis, consulte Regiões e zonas disponíveis.

  • WORKLOAD_POLICY_NAME: o nome da política de carga de trabalho.

Criar uma política de carga de trabalho para instâncias A4, A3 Ultra, A3 Mega, A3 High (8 GPUs) ou H4D

Se você quiser aplicar uma política de carga de trabalho a instâncias A4, A3 Ultra, A3 Mega, A3 High (8 GPUs) ou H4D em um MIG, recomendamos especificar um valor máximo de distância da topologia ao criar a política. Essa ação ajuda a garantir um posicionamento mais próximo entre as instâncias de computação. No entanto, quanto mais compacto for o posicionamento especificado, menos recursos poderão estar disponíveis na zona em que você quer criar as instâncias de computação.

Para criar uma política de carga de trabalho para instâncias A4, A3 Ultra, A3 Mega ou A3 High (8 GPUs), selecione uma das seguintes opções:

gcloud

Para criar uma política de carga de trabalho, use o gcloud compute resource-policies create workload-policy comando. Com base na proximidade das instâncias de computação em um MIG, inclua as seguintes flags no comando:

  • Para colocar as instâncias de computação próximas umas das outras da melhor maneira possível, inclua a flag --type=high-throughput:

    gcloud compute resource-policies create workload-policy WORKLOAD_POLICY_NAME \
    --type=high-throughput \
    --region=REGION

  • Para controlar ainda mais o posicionamento das instâncias de computação, inclua as flags --max-topology-distance e --type=high-throughput:

    gcloud compute resource-policies create workload-policy WORKLOAD_POLICY_NAME \
    --max-topology-distance=TOPOLOGY_DISTANCE \
    --type=high-throughput \
    --region=REGION

Substitua:

  • WORKLOAD_POLICY_NAME: o nome da política de carga de trabalho.

  • REGION: a região em que a política de carga de trabalho será criada. Especifique uma região em que você quer criar o MIG e onde o tipo de máquina que você quer usar está disponível. Para conferir as regiões em que os tipos de máquina de GPU estão disponíveis, consulte Regiões e zonas disponíveis.

  • TOPOLOGY_DISTANCE: a distância máxima da topologia. Uma distância máxima menor pode reduzir a probabilidade de disponibilidade da VM. Especifique um dos seguintes valores:

    • Para colocar instâncias A4 ou H4D no mesmo cluster: CLUSTER

    • Para colocar instâncias A4, A3 Ultra, A3 Mega, A3 High (8 GPUs) ou H4D no mesmo bloco: BLOCK

    • Para colocar instâncias A4, A3 Ultra ou H4D no mesmo sub-bloco: SUBBLOCK

REST

Para criar uma política de carga de trabalho, faça uma POST solicitação para o resourcePolicies.insert método. Com base na proximidade das instâncias de computação em um MIG, inclua os seguintes campos no corpo da solicitação:

  • Para colocar as instâncias de computação próximas umas das outras da melhor maneira possível, inclua o campo type no corpo da solicitação:

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/resourcePolicies

{
  "name": "WORKLOAD_POLICY_NAME",
  "workloadPolicy": {
    "type": "HIGH_THROUGHPUT"
  }
}

  • Para controlar ainda mais o posicionamento das instâncias de computação, inclua os campos maxTopologyDistance e type no corpo da solicitação:

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/resourcePolicies

{
  "name": "WORKLOAD_POLICY_NAME",
  "workloadPolicy": {
    "maxTopologyDistance": "TOPOLOGY_DISTANCE",
    "type": "HIGH_THROUGHPUT"
  }
}

Substitua:

  • PROJECT_ID: o ID do projeto em que a política de carga de trabalho será criada.

  • REGION: a região em que a política de carga de trabalho será criada. Especifique uma região em que você quer criar o MIG e onde o tipo de máquina que você quer usar está disponível. Para conferir as regiões em que os tipos de máquina de GPU estão disponíveis, consulte Regiões e zonas disponíveis.

  • WORKLOAD_POLICY_NAME: o nome da política de carga de trabalho.

  • TOPOLOGY_DISTANCE: a distância máxima da topologia. Uma distância máxima menor pode reduzir a probabilidade de disponibilidade da VM. Especifique um dos seguintes valores:

    • Para colocar instâncias A4 ou H4D no mesmo cluster: CLUSTER

    • Para colocar instâncias A4, A3 Ultra, A3 Mega, A3 High (8 GPUs) ou H4D no mesmo bloco: BLOCK

    • Para colocar instâncias A4, A3 Ultra ou H4D no mesmo sub-bloco: SUBBLOCK

A seguir