Anleitung: Bewertung mit dem GenAI-Client im Agent Platform SDK durchführen

Auf dieser Seite erfahren Sie, wie Sie Ihre generativen KI-Modelle und ‑Anwendungen für eine Reihe von Anwendungsfällen mit dem GenAI-Client im Agent Platform SDK bewerten können.

Hinweis

1. In the Cloud de Confiance console, on the project selector page, select or create a Cloud de Confiance project.

   Roles required to select or create a project

   • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
   • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

   Go to project selector

   Verify that billing is enabled for your Cloud de Confiance project.

2. Installieren Sie das Agent Platform SDK:

   !pip install google-cloud-aiplatform[evaluation]
   

3. Anmeldedaten einrichten Wenn Sie diese Anleitung in Colaboratory ausführen, führen Sie Folgendes aus:

   from google.colab import auth
   auth.authenticate_user()
   

   Informationen zu anderen Umgebungen finden Sie unter Bei der Agent Platform authentifizieren.

GenAI-Client initialisieren

Führen Sie den folgenden Befehl aus, um den GenAI-Client zu initialisieren:

from vertexai import Client

client = Client(project="YOUR_PROJECT_ID", location="YOUR_LOCATION")

Wobei:

• YOUR_PROJECT_ID: Projekt-ID in Cloud de Confiance by S3NS .
• YOUR_LOCATION: Ihre Cloud-Region, z. B. us-central1.

Antworten generieren

Generieren Sie mit run_inference() Modellantworten für Ihr Dataset:

1. Bereiten Sie Ihr Dataset als Pandas-DataFrame vor:

   import pandas as pd
   
   eval_df = pd.DataFrame({
     "prompt": [
         "Explain software 'technical debt' using a concise analogy of planting a garden.",
         "Write a Python function to find the nth Fibonacci number using recursion with memoization, but without using any imports.",
         "Write a four-line poem about a lonely robot, where every line must be a question and the word 'and' cannot be used.",
         "A drawer has 10 red socks and 10 blue socks. In complete darkness, what is the minimum number of socks you must pull out to guarantee you have a matching pair?",
         "An AI discovers a cure for a major disease, but the cure is based on private data it analyzed without consent. Should the cure be released? Justify your answer."
     ]
   })
   

2. Modellantworten mit run_inference() generieren:

   eval_dataset = client.evals.run_inference(
     model="gemini-2.5-flash",
     src=eval_df,
   )
   

3. Visualisieren Sie Ihre Inferenz-Ergebnisse, indem Sie .show() für das EvaluationDataset-Objekt aufrufen, um die Ausgaben des Modells zusammen mit Ihren ursprünglichen Prompts und Referenzen zu prüfen:

   eval_dataset.show()
   

Die folgende Abbildung zeigt das Bewertungs-Dataset mit Prompts und den entsprechenden generierten Antworten:

Bewertung ausführen

Führen Sie evaluate() aus, um die Modellantworten zu bewerten:

1. Bewerten Sie die Modellantworten mit dem standardmäßigen GENERAL_QUALITY adaptiven Messwert auf Basis eines Bewertungsschemas:

   eval_result = client.evals.evaluate(dataset=eval_dataset)
   

2. Visualisieren Sie Ihre Bewertungsergebnisse, indem Sie .show() für das EvaluationResult-Objekt aufrufen, um zusammenfassende Messwerte und detaillierte Ergebnisse anzuzeigen:

   eval_result.show()
   

Die folgende Abbildung zeigt einen Bewertungsbericht mit zusammenfassenden Messwerten und detaillierten Ergebnissen für jedes Prompt-Antwort-Paar.

Bereinigen

In dieser Anleitung werden keine Gemini Enterprise Agent Platform-Ressourcen erstellt.

Nächste Schritte

• Bewertungsmesswerte definieren