Evalúa agentes de IA generativa

Después de crear y evaluar tu modelo de IA generativa, puedes usarlo para crear un agente, como un chatbot. Gen AI Evaluation Service te permite medir la capacidad de tu agente para completar tareas y objetivos en tu caso de uso.

Descripción general

Tienes las siguientes opciones para evaluar tu agente:

• Evaluación de la respuesta final: Evalúa el resultado final de un agente (si el agente logró su objetivo o no).

• Evaluación de la trayectoria: Evalúa la ruta (secuencia de llamadas a herramientas) que tomó el agente para llegar a la respuesta final.

Con Gen AI Evaluation Service, puedes activar la ejecución de un agente y obtener métricas para la evaluación de la trayectoria y la evaluación de la respuesta final en una consulta del SDK de Vertex AI.

Agentes compatibles

El servicio de evaluación de IA generativa admite las siguientes categorías de agentes:

Define métricas para la evaluación de agentes

Define tus métricas para la evaluación de la respuesta final o la trayectoria:

Evaluación de respuesta final

La evaluación de la respuesta final sigue el mismo proceso que la evaluación de la respuesta del modelo. Para obtener más información, consulta Define tus métricas de evaluación.

Evaluación de la trayectoria

Las siguientes métricas te ayudan a evaluar la capacidad del modelo para seguir la trayectoria esperada:

Además, las siguientes dos métricas de rendimiento del agente se agregan a los resultados de la evaluación de forma predeterminada. No es necesario que los especifiques en EvalTask.

Prepara tu conjunto de datos para la evaluación del agente

Prepara tu conjunto de datos para la evaluación de la respuesta final o la trayectoria.

El esquema de datos para la evaluación de la respuesta final es similar al de la evaluación de la respuesta del modelo.

Para la evaluación de trayectorias basada en cálculos, tu conjunto de datos debe proporcionar la siguiente información:

Ejemplos de conjuntos de datos de evaluación

En los siguientes ejemplos, se muestran conjuntos de datos para la evaluación de trayectorias. Ten en cuenta que reference_trajectory es obligatorio para todas las métricas, excepto trajectory_single_tool_use.

reference_trajectory = [
# example 1
[
  {
    "tool_name": "set_device_info",
    "tool_input": {
        "device_id": "device_2",
        "updates": {
            "status": "OFF"
        }
    }
  }
],
# example 2
[
    {
      "tool_name": "get_user_preferences",
      "tool_input": {
          "user_id": "user_y"
      }
  },
  {
      "tool_name": "set_temperature",
      "tool_input": {
          "location": "Living Room",
          "temperature": 23
      }
    },
  ]
]

predicted_trajectory = [
# example 1
[
  {
    "tool_name": "set_device_info",
    "tool_input": {
        "device_id": "device_3",
        "updates": {
            "status": "OFF"
        }
    }
  }
],
# example 2
[
    {
      "tool_name": "get_user_preferences",
      "tool_input": {
          "user_id": "user_z"
      }
    },
    {
      "tool_name": "set_temperature",
      "tool_input": {
          "location": "Living Room",
          "temperature": 23
      }
    },
  ]
]

eval_dataset = pd.DataFrame({
    "predicted_trajectory": predicted_trajectory,
    "reference_trajectory": reference_trajectory,
})

Importa tu conjunto de datos de evaluación

Puedes importar tu conjunto de datos en los siguientes formatos:

• Archivo JSONL o CSV almacenado en Cloud Storage

• Tabla de BigQuery

• DataFrame de Pandas

Gen AI Evaluation Service proporciona conjuntos de datos públicos de ejemplo para demostrar cómo puedes evaluar tus agentes. En el siguiente código, se muestra cómo importar los conjuntos de datos públicos desde un bucket de Cloud Storage:

# dataset name to be imported
dataset = "on-device" # Alternatives: "customer-support", "content-creation"

# copy the tools and dataset file
!gcloud storage cp gs://cloud-ai-demo-datasets/agent-eval-datasets/{dataset}/tools.py .
!gcloud storage cp gs://cloud-ai-demo-datasets/agent-eval-datasets/{dataset}/eval_dataset.json .

# load the dataset examples
import json

eval_dataset = json.loads(open('eval_dataset.json').read())

# run the tools file
%run -i tools.py

En el ejemplo anterior, dataset es uno de los siguientes conjuntos de datos públicos:

• "on-device" para un asistente de Home integrado en el dispositivo, que controla los dispositivos para la casa. El agente ayuda con consultas como "Programa el aire acondicionado en el dormitorio para que esté encendido entre las 11 p.m. y las 8 a.m., y apagado el resto del tiempo".

• "customer-support" para un agente de asistencia al cliente. El agente ayuda con consultas como "¿Puedes cancelar los pedidos pendientes y derivar los tickets de asistencia abiertos?".

• "content-creation" para un agente de creación de contenido de marketing. El agente ayuda con consultas como "Reprograma la campaña X para que sea una campaña única en el sitio de redes sociales Y con un presupuesto reducido en un 50%, solo el 25 de diciembre de 2024".

Ejecuta la evaluación de agentes

Ejecuta una evaluación para la trayectoria o la respuesta final:

Para la evaluación de agentes, puedes combinar métricas de evaluación de respuestas y métricas de evaluación de trayectorias, como en el siguiente código:

single_tool_use_metric = TrajectorySingleToolUse(tool_name='tool_name')

eval_task = EvalTask(
    dataset=EVAL_DATASET,
    metrics=[
        "rouge_l_sum",
        "bleu",
        custom_trajectory_eval_metric, # custom computation-based metric
        "trajectory_exact_match",
        "trajectory_precision",
        single_tool_use_metric,
        response_follows_trajectory_metric # llm-based metric
    ],
)
eval_result = eval_task.evaluate(
    runnable=RUNNABLE,
)

Personalización de métricas

Puedes personalizar una métrica basada en un modelo de lenguaje grande para la evaluación de trayectorias con una interfaz con plantilla o desde cero. Para obtener más información, consulta Define tus métricas de evaluación. Aquí tienes un ejemplo de plantilla:

response_follows_trajectory_prompt_template = PointwiseMetricPromptTemplate(
    criteria={
        "Follows trajectory": (
            "Evaluate whether the agent's response logically follows from the "
            "sequence of actions it took. Consider these sub-points:\n"
            "  - Does the response reflect the information gathered during the trajectory?\n"
            "  - Is the response consistent with the goals and constraints of the task?\n"
            "  - Are there any unexpected or illogical jumps in reasoning?\n"
            "Provide specific examples from the trajectory and response to support your evaluation."
        )
    },
    rating_rubric={
        "1": "Follows trajectory",
        "0": "Does not follow trajectory",
    },
    input_variables=["prompt", "predicted_trajectory"],
)

response_follows_trajectory_metric = PointwiseMetric(
    metric="response_follows_trajectory",
    metric_prompt_template=response_follows_trajectory_prompt_template,
)

También puedes definir una métrica personalizada basada en cálculos para la evaluación de la trayectoria o de la respuesta de la siguiente manera:

def essential_tools_present(instance, required_tools = ["tool1", "tool2"]):
    trajectory = instance["predicted_trajectory"]
    tools_present = [tool_used['tool_name'] for tool_used in trajectory]
    if len(required_tools) == 0:
      return {"essential_tools_present": 1}
    score = 0
    for tool in required_tools:
      if tool in tools_present:
        score += 1
    return {
        "essential_tools_present": score/len(required_tools),
    }

custom_trajectory_eval_metric = CustomMetric(name="essential_tools_present", metric_function=essential_tools_present)

Visualiza e interpreta los resultados

Para la evaluación de la trayectoria o de la respuesta final, los resultados de la evaluación se muestran de la siguiente manera:

Los resultados de la evaluación contienen la siguiente información:

Protocolo Agent2Agent (A2A)

Si estás creando un sistema multiagente, te recomendamos que revises el protocolo A2A. El protocolo A2A es un estándar abierto que permite la comunicación y la colaboración fluidas entre agentes de IA, independientemente de sus frameworks subyacentes. Fue donado por Cloud de Confiance by S3NS a la Linux Foundation en junio de 2025. Para usar los SDKs de A2A o probar las muestras, consulta el repositorio de GitHub.

¿Qué sigue?

Prueba los siguientes notebooks de evaluación de agentes:

• Evalúa un agente de LangGraph

• Evalúa un agente de CrewAI

• Evalúa un agente de LangChain con Agent Engine

• Evalúa un agente de LangGraph con Agent Engine

• Evalúa un agente de CrewAI con Agent Engine