Ajuste continuo para el ajuste del aprendizaje por refuerzo

El ajuste continuo te permite seguir ajustando un modelo o un punto de control del modelo ya ajustado agregando más épocas o ejemplos de entrenamiento. Usar un modelo o un punto de control ya ajustado como modelo base permite una experimentación de ajuste más eficiente.

Puedes usar el ajuste continuo para los siguientes fines:

  • Ajustar con más datos si un modelo ajustado existente tiene subajuste
  • Para mejorar el rendimiento o mantener el modelo actualizado con datos nuevos
  • Para personalizar aún más un modelo ajustado existente

Patrones de ajuste continuo admitidos

Se admiten los siguientes patrones de ajuste continuo:

  • Ajuste supervisado → Ajuste del aprendizaje por refuerzo
  • Ajuste del aprendizaje por refuerzo → Ajuste del aprendizaje por refuerzo

Configura el ajuste continuo

Puedes configurar un trabajo de ajuste continuo en la consola de Cloud de Confiance o con la API de REST.

Console

Para configurar un trabajo de ajuste continuo en la consola de Cloud de Confiance , sigue estos pasos:

  1. En la consola de Cloud de Confiance , ve a la página Modelos > Ajuste.

    Ir a Ajuste

  2. Haz clic en Crear modelo ajustado.
  3. En Método de ajuste, selecciona Ajuste fino con aprendizaje por refuerzo.
  4. En la sección Modelo base, selecciona Ajustar un modelo previamente ajustado.
  5. Haz clic en Seleccionar modelo, elige el modelo que ajustaste anteriormente y selecciona una versión o un punto de control desde el que continuar el ajuste.
  6. Continúa con los pasos restantes para configurar tus funciones de recompensa, el conjunto de datos de entrenamiento y los hiperparámetros. Para obtener más información, consulta la guía de inicio rápido de la consola deCloud de Confiance .

REST

Para configurar un trabajo de ajuste continuo de forma programática, incluye un bloque preTunedModel en el cuerpo de la solicitud que apunte al modelo ajustado previamente (y, de manera opcional, a un punto de control específico). El resto de la solicitud sigue el mismo esquema que un trabajo nuevo de ajuste de aprendizaje por refuerzo.

{
  "description": "DESCRIPTION",
  "tunedModelDisplayName": "TUNED_MODEL_DISPLAY_NAME",
  "reinforcementTuningSpec": {
    "trainingDatasetUri": "TRAINING_DATASET",
    "validationDatasetUri": "VALIDATION_DATASET",
    "hyperParameters": HYPERPARAMETERS,
    "singleRewardConfig": REWARD_CONFIG
  },
  "preTunedModel": {
    "tunedModelName": "projects/PROJECT_ID/locations/LOCATION_ID/models/PRETUNED_MODEL_ID",
    "checkpointId": "CHECKPOINT_ID"
  }
}

Reemplaza lo siguiente:

  • DESCRIPTION: Es una descripción del trabajo de ajuste. Es opcional.
  • TUNED_MODEL_DISPLAY_NAME: Nombre visible del modelo ajustado.
  • TRAINING_DATASET: Es el URI de Cloud Storage del archivo JSONL del conjunto de datos de entrenamiento.
  • VALIDATION_DATASET: URI de Cloud Storage del archivo JSONL del conjunto de datos de validación. Es opcional.
  • HYPERPARAMETERS: Es la configuración de hiperparámetros para el trabajo de ajuste continuo. Para obtener más información, consulta la página Hiperparámetros.
  • REWARD_CONFIG: Es la configuración de la recompensa. Para obtener más detalles, consulta la página Funciones de recompensa.
  • PROJECT_ID: Es el ID del proyecto de Cloud de Confiance by S3NS .
  • LOCATION_ID: Es el ID de la ubicación.
  • PRETUNED_MODEL_ID: Es el ID del modelo ajustado previamente desde el que se continuará.
  • CHECKPOINT_ID: Es el ID de un punto de control específico del modelo ajustado anteriormente. Opcional: Si se omite, se usa el punto de control más reciente del modelo previo al ajuste.

¿Qué sigue?