Usa reservas con el entrenamiento

En este documento, se explica cómo usar las reservas de Compute Engine para obtener un alto nivel de garantía de que tus trabajos de entrenamiento sin servidores tengan los recursos de máquina virtual (VM) necesarios para ejecutarse.

Las reservas son una función de Compute Engine. Ayudan a garantizar que tengas los recursos disponibles para crear VMs con el mismo hardware (memoria y CPUs virtuales) y los recursos opcionales (CPUs, GPUs, TPUs y discos SSD locales) cuando los necesites.

Cuando creas una reserva, Compute Engine verifica que la capacidad solicitada esté disponible en la zona especificada. Si es así, Compute Engine reserva los recursos, crea la reserva y ocurre lo siguiente:

• Puedes consumir los recursos reservados de inmediato, y permanecerán disponibles hasta que borres la reserva.
• Se te cobrará por los recursos reservados con la misma tarifa a pedido que las VMs en ejecución, incluidos los descuentos correspondientes, hasta que se borre la reserva. Una VM que consume una reserva no genera cargos independientes. Solo se te cobrarán los recursos que no estén incluidos en la reserva, como los discos o las direcciones IP. Para obtener más información, consulta los precios de las reservas.

Limitaciones y requisitos

Cuando uses las reservas de Compute Engine con Agent Platform, ten en cuenta las siguientes limitaciones y requisitos:

• Agent Platform solo puede usar reservas para CPUs, VMs de GPU o TPUs (versión preliminar).
• Agent Platform no puede consumir reservas de VMs que tengan discos SSD locales conectados de forma manual.
• El uso de reservas de Compute Engine con Agent Platform solo se admite para el entrenamiento y la inferencia sin servidores, y Gemini Enterprise Agent Platform Workbench (versión preliminar).
• Para consumir la reserva, las propiedades de la VM de la reserva deben coincidir exactamente con tu carga de trabajo de Agent Platform. Por ejemplo, si una reserva especifica un tipo de máquina a2-ultragpu-8g, la carga de trabajo de Agent Platform solo puede consumir la reserva si también usa un tipo de máquina a2-ultragpu-8g. Consulta Requisitos.
• Para consumir una reserva compartida de VMs de GPU o TPU, debes consumirla con su proyecto propietario o un proyecto de consumidor con el que se comparte la reserva. Consulta Cómo funcionan las reservas compartidas.
• Para admitir actualizaciones periódicas de tus implementaciones de Agent Platform, te recomendamos que aumentes el recuento de VMs en al menos 1 VM adicional para cada implementación simultánea.

• Se admiten tanto el inicio flexible para Dynamic Workload Scheduler como la ejecución de trabajos de entrenamiento en un recurso persistente, excepto cuando se usan reservas de Compute Engine con el entrenamiento de Agent Platform.

Facturación

Cuando usas las reservas de Compute Engine, se te factura lo siguiente:

• Precios de Compute Engine para los recursos de Compute Engine, incluidos los descuentos por compromiso de uso (CUD) aplicables. Consulta los precios de Compute Engine.
• Tarifas de administración del entrenamiento sin servidores de Agent Platform, además del uso de tu infraestructura. Consulta Precios de los modelos entrenados de forma personalizada.

Antes de comenzar

• Revisa los requisitos y las y las restricciones para las reservas.
• Revisa los requisitos de cuota y las restricciones para las reservas.

Permite que se consuma una reserva

Antes de consumir una reserva de CPU, VMs de GPU o TPU, debes configurar su política de uso compartido para permitir que Agent Platform consuma la reserva. Para ello, usa uno de los siguientes métodos:

• Permite el consumo mientras se crea una reserva
• Permite el consumo en una reserva existente

Cómo permitir el consumo mientras se crea una reserva

Cuando creas una reserva de un solo proyecto o compartida de VMs de GPU, puedes permitir que Agent Platform consuma la reserva de la siguiente manera:

• Si usas la consola de Cloud de Confiance , en la sección Servicios de Google Cloud, selecciona Compartir reserva.
• Si usas Google Cloud CLI, incluye la marca --reservation-sharing-policy establecida en ALLOW_ALL.
• Si usas la API de REST, incluye el campo serviceShareType configurado como ALLOW_ALL en el cuerpo de la solicitud.

Permite el consumo de una reserva existente

Solo puedes modificar una reserva creada de forma automática de VMs de GPU o TPU para una reserva futura después de la hora de inicio de la reserva.

Para permitir que Agent Platform consuma una reserva existente, usa uno de los siguientes métodos:

• Modifica una reserva de VMs de GPU
• Modifica una reserva de TPU

Verifica que se consuma una reserva

Crea un trabajo de entrenamiento sin servidores con una reserva

Usa la API de REST para crear un trabajo de entrenamiento sin servidores que consuma una reserva de Compute Engine de VMs de GPU.

Cómo funcionan la afinidad y la validación de reservas

Cuando envías un trabajo de entrenamiento personalizado que especifica una configuración de reservationAffinity, Agent Platform valida la configuración de tu reserva antes de poner en cola el trabajo:

• Para ANY_RESERVATION:
  • Debe existir al menos una reserva consumida automáticamente en la región de tu trabajo y debe compartirse con Agent Platform (y con tu proyecto, si la reserva está en un proyecto host diferente).
  • Los campos key y values en reservationAffinity deben omitirse o estar vacíos.
• Para SPECIFIC_RESERVATION:
  • El campo key debe establecerse en compute.googleapis.com/reservation-name, y el campo values debe especificar una sola reserva existente en una zona dentro de la región del trabajo.
  • La reserva especificada debe configurarse para una segmentación específica (no para el consumo automático) y debe compartirse con Agent Platform (y con tu proyecto, si la reserva se encuentra en un proyecto host diferente).

Si alguna de estas verificaciones de validación falla, la API rechaza de inmediato la solicitud con un error INVALID_ARGUMENT. La validación inicial no verifica la compatibilidad del tipo de máquina ni la capacidad de reserva disponible en el momento del envío del trabajo.

En la siguiente tabla, se resume cómo Agent Platform controla un trabajo de entrenamiento en función del estado de la reserva y reservationAffinityType:

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/customJobs

{
  "displayName": "JOB_NAME",
  "jobSpec": {
    "workerPoolSpecs": [
      {
        "machineSpec": {
          "machineType": "MACHINE_TYPE",
          "acceleratorType": "ACCELERATOR_TYPE",
          "acceleratorCount": ACCELERATOR_COUNT,
          "reservationAffinity": {
            "reservationAffinityType": "RESERVATION_AFFINITY_TYPE",
            // Use the following key and values only if
            // the reservationAffinityType is SPECIFIC_RESERVATION.
            "key": "compute.googleapis.com/reservation-name",
            "values": [
              "projects/PROJECT_ID/zones/ZONE/reservations/RESERVATION_NAME"
            ]
          },
        },
        "replicaCount": REPLICA_COUNT,
        "diskSpec": {
          "bootDiskType": DISK_TYPE,
          "bootDiskSizeGb": DISK_SIZE
        },

        // Union field task can be only one of the following:
        "containerSpec": {
          "imageUri": CUSTOM_CONTAINER_IMAGE_URI,
          "command": [
            CUSTOM_CONTAINER_COMMAND
          ],
          "args": [
            CUSTOM_CONTAINER_ARGS
          ]
        },
        "pythonPackageSpec": {
          "executorImageUri": EXECUTOR_IMAGE_URI,
          "packageUris": [
            PYTHON_PACKAGE_URIS
          ],
          "pythonModule": PYTHON_MODULE,
          "args": [
            PYTHON_PACKAGE_ARGS
          ]
        }
        // End of list of possible types for union field task.
      }
      // Specify one workerPoolSpec for single replica training, or multiple workerPoolSpecs
      // for distributed training.
    ],
    "scheduling": {
      "timeout": TIMEOUT
    }
  },
  "labels": {
    LABEL_NAME_1": LABEL_VALUE_1,
    LABEL_NAME_2": LABEL_VALUE_2
  }
}

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/customJobs"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/customJobs" | Select-Object -Expand Content

{
  "name": "projects/PROJECT_ID/locations/LOCATION/customJobs/JOB_ID",
  "displayName": "JOB_NAME",
  "trainingTaskInputs": {
    "workerPoolSpecs": [
      {
        "machineSpec": {
          "machineType": "MACHINE_TYPE",
          "acceleratorType": "ACCELERATOR_TYPE",
          "acceleratorCount": ACCELERATOR_COUNT
        },
        "replicaCount": "1",
        "pythonPackageSpec": {
          "executorImageUri": "us-docker.pkg.dev/vertex-ai/training/training-tf-cpu.2-1:latest",
          "packageUris": [
            "gs://BUCKET_NAME/training/hello-custom-training-1.0.tar.gz"
          ],
          "pythonModule": "trainer.task",
          "args": [
            "--model-dir=gs://BUCKET_NAME/output/"
          ]
        }
      }
    ]
  },
  "state": "JOB_STATE_PENDING",
  "createTime": "2020-09-15T19:09:54.342080Z",
  "startTime": "2020-09-15T19:13:42.991045Z",
}

¿Qué sigue?

• Obtén información sobre las reservas de los recursos zonales de Compute Engine.
• Obtén información para usar reservas con la inferencia en línea de Agent Platform.
• Obtén información para usar reservas con la inferencia por lotes de Agent Platform.
• Obtén información para ver las reservas.
• Obtén más información para supervisar el consumo de reservas.