Evaluación continua con supervisores en línea

La supervisión en línea te permite evaluar de forma continua la calidad de tus agentes en producción. Este enfoque proactivo te ayuda a identificar la desviación de la calidad, una disminución observable en el rendimiento del agente con el tiempo, causada por cambios en el comportamiento del usuario o en los datos externos. Si configuras Online Monitors, puedes calificar de forma asíncrona los seguimientos en vivo con métricas predefinidas y personalizadas, lo que garantiza que tu agente siga siendo confiable y esté alineado con tus estándares de rendimiento.

Antes de comenzar

Para habilitar la supervisión en línea de tus agentes, asegúrate de que se cumplan los siguientes requisitos:

  • Implementa tu agente como se describe en Implementa un agente.
  • Asegúrate de que Cloud Trace esté habilitado para tu proyecto.
  • (Opcional) Si planeas crear supervisores de forma programática, consulta la página Evalúa tus agentes para obtener instrucciones de inicialización del SDK de Agent Platform.

Requisitos de la telemetría

La supervisión en línea requiere que tu agente exporte indicadores de OpenTelemetry específicos para proporcionar el contexto necesario para la evaluación:

  1. Intervalo de invocación del agente: Debe incluir los siguientes atributos:

    • gen_ai.agent.name: Es el identificador del agente.
    • gen_ai.agent.description: Es una breve descripción del propósito del agente.
    • gen_ai.conversation.id: Es un identificador único para la sesión de conversación específica.

  2. Eventos de inferencia: El evento gen_ai.client.inference.operation.details debe capturar lo siguiente:

    • gen_ai.input.messages: Son las instrucciones que se envían al agente.
    • gen_ai.output.messages: Son las respuestas que genera el agente.
    • gen_ai.system_instructions: Son las instrucciones del sistema subyacentes.
    • gen_ai.tool.definitions: Son metadatos sobre las herramientas disponibles para el agente.

Si usas el Kit de desarrollo de agentes, debes habilitar estas funciones de telemetría configurando las siguientes variables de entorno:

OTEL_SEMCONV_STABILITY_OPT_IN='gen_ai_latest_experimental'
OTEL_INSTRUMENTATION_GENAI_CAPTURE_MESSAGE_CONTENT='EVENT_ONLY'

Graba contenido multimedia en Cloud Storage

Si tu agente usa datos multimodales, como imágenes o documentos grandes, te recomendamos que registres las entradas y salidas en un bucket de Cloud Storage en lugar de incorporarlas directamente en los intervalos de seguimiento. Configura las siguientes variables de entorno para habilitar esta opción:

OTEL_INSTRUMENTATION_GENAI_UPLOAD_FORMAT='jsonl'
OTEL_INSTRUMENTATION_GENAI_COMPLETION_HOOK='upload'
OTEL_INSTRUMENTATION_GENAI_UPLOAD_BASE_PATH='gs://STORAGE_BUCKET_NAME/PATH'

Para obtener más información, consulta Recopila instrucciones y respuestas multimodales.

Cómo funcionan los supervisores en línea

Los supervisores en línea se ejecutan en un bucle de evaluación programado, por lo general, cada 10 minutos. El bucle sigue estos pasos:

  1. Consulta: Muestra datos de Cloud Trace y Cloud Logging según tus filtros.
  2. Evaluar: Ejecuta las métricas configuradas con el servicio de evaluación de Gemini Enterprise Agent Platform.
  3. Informe: Escribe los resultados en Cloud Logging y exporta las puntuaciones numéricas a Cloud Monitoring.

Crea un supervisor en línea

  1. En la consola de Cloud de Confiance , navega a la página Agent Platform > Agentes > Evaluación.

    Ir a Evaluación

  2. Selecciona la pestaña Monitores en línea y haz clic en Nuevo monitor.

  3. Especifica los seguimientos de filtros:

    • Motor del agente: Selecciona el agente que quieres supervisar en el menú desplegable.
    • Criterios de filtro: Elige si deseas evaluar Todos los seguimientos del agente o aplicar Criterios de filtro específicos.

  4. Define los criterios de filtro (si usas seguimientos filtrados):

    • Inspección inicial: Selecciona un período (por ejemplo, Último día) para obtener una vista previa de los seguimientos de producción que coinciden con tu filtro.
    • Filtros: Ingresa criterios para segmentar el tráfico específico. Puedes filtrar por propiedades como Duration (por ejemplo, Duration > 2) o Token usage.

  5. Configura las métricas: Agrega las métricas de las que quieras hacer un seguimiento continuo, como Seguridad.

  6. Establece el muestreo:

    • Porcentaje de muestreo: Define qué porcentaje de tu tráfico en vivo se debe evaluar.
    • Cantidad máxima de muestras por ejecución: Establece un límite para administrar los costos de evaluación.

  7. Haz clic en Crear.

Administra monitores

Una vez que crees un supervisor, podrás administrarlo desde la lista Supervisores en línea:

  • Botón de activación de estado: Haz clic en Más opciones y selecciona Habilitar o Inhabilitar para pausar la evaluación sin borrar la configuración.
  • Pausar y reanudar: Usa Más opciones para detener la evaluación de forma temporal.
  • Duplicar: Crea un nuevo monitor con la configuración precompletada de uno existente.
  • Ver seguimientos: Haz clic en el vínculo Ver seguimientos en la columna Seguimientos de muestra de un monitor para navegar directamente a los seguimientos filtrados en la pestaña Seguimientos del agente.

Visualiza los resultados en el panel de observabilidad

Para ver tus métricas de evaluación junto con otros indicadores de rendimiento, sigue estos pasos:

  1. En la consola de Cloud de Confiance , navega a la página Agent Platform > Agentes.
  2. En el menú de navegación de la izquierda, selecciona Implementaciones.

  3. Selecciona el agente.

    Ir a Implementaciones

  4. En la vista Panel, selecciona la subsección Evaluación para ver gráficos de series temporales de las métricas configuradas, como la calidad de la respuesta, la seguridad y las tasas de alucinación.

Visualiza los resultados de seguimientos individuales

También puedes inspeccionar los resultados de la evaluación de conversaciones específicas directamente en la vista de seguimientos:

  1. En la consola de Cloud de Confiance , navega a la pestaña Seguimientos del agente.
  2. Selecciona una sesión o un seguimiento de la tabla para abrir el panel de detalles.
  3. Selecciona la pestaña Evaluación para ver las puntuaciones y los fundamentos de esa interacción específica.

Soluciona problemas de los supervisores en línea

Si tu Online Monitor está activo, pero no aparecen resultados en tu panel, haz lo siguiente:

  1. Verifica la telemetría: Asegúrate de que tu agente exporte correctamente los intervalos y eventos de OpenTelemetry requeridos. Verifica Cloud Trace para ver si los seguimientos en vivo contienen los atributos gen_ai..
  2. Verifica los filtros: Revisa los criterios de filtro de tu monitor. Usa la función Inspección inicial para confirmar que tus filtros coincidan con tu tráfico de producción.

  3. Verifica los registros internos: Los supervisores en línea escriben información de diagnóstico en Cloud Logging. Si una evaluación falla, se produce un registro de errores. Puedes encontrar estos registros en el Explorador de registros buscando tu ID de supervisión o seguimientos y agentes específicos:

    resource.labels.online_evaluator="projects/YOUR_PROJECT_ID/locations/YOUR_REGION/onlineEvaluators/YOUR_MONITOR_ID"
# Or search by trace or agent
labels.trace="YOUR_TRACE_ID"
labels.reasoning_engine_id="YOUR_AGENT_ID"