Tutorial: esegui la valutazione utilizzando la console

Scopri come iniziare a utilizzare Gen AI evaluation service tramite la console Google Cloud de Confiance .

Prima di iniziare

  1. In the Cloud de Confiance console, on the project selector page, select or create a Cloud de Confiance project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  2. Verify that billing is enabled for your Cloud de Confiance project.

  3. Make sure that you have the following role or roles on the project: Storage Admin

    Check for the roles

    1. In the Cloud de Confiance console, go to the IAM page.

      Go to IAM
    2. Select the project.

    3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

    4. For all rows that specify or include you, check the Role column to see whether the list of roles includes the required roles.

    Grant the roles

    1. In the Cloud de Confiance console, go to the IAM page.

      Go to IAM
    2. Select the project.
    3. Click Grant access.

    4. In the New principals field, enter your user identifier. This is typically the identifier for a user in a workforce identity pool. For details, see Represent workforce pool users in IAM policies, or contact your administrator.

    5. Click Select a role, then search for the role.
    6. To grant additional roles, click Add another role and add each additional role.
    7. Click Save.

valuta il modello

Per valutare il modello:

  1. Nella console Cloud de Confiance , vai alla pagina Valutazione dell'IA generativa.

    Vai a Valutazione

  2. Fai clic su Nuova valutazione per aprire la pagina di valutazione.

  3. Seleziona un'origine per caricare un set di dati per la valutazione:

    • Per caricare un file CSV o JSONL locale, seleziona Carica file. Il set di dati deve contenere prompt o record da utilizzare in un template di prompt e, facoltativamente, risposte del modello. Il massimo è 200 righe.

    • Per generare prompt da un template di prompt, seleziona Genera dati. Il servizio di valutazione dell'AI generativa genera e compila le variabili che hai definito nel modello di prompt durante la creazione del set di dati. Per saperne di più sulla creazione di template di prompt, vedi Utilizzare i template di prompt.

      1. Inserisci il template di prompt con le variabili nel campo Template di prompt.

      2. Per aggiungere una descrizione per ciascuna variabile o per specificare il numero di campioni da generare, espandi Definisci variabili e dimensione del campione.

      3. Fai clic su Genera set di dati per generare prompt.

  4. Genera e valuta le risposte in base ai tuoi prompt:

    1. Nella sezione Candidati per la valutazione, fai clic su Aggiungi candidato per la valutazione oppure, se esiste già un candidato, fai clic su Modifica per definire i prompt e le risposte da valutare. Ad esempio, puoi specificare prompt o risposte dal file caricato o dai dati generati.

    2. Per confrontare più candidati, fai clic su Aggiungi candidato per il confronto.

    3. Nella sezione Metriche, aggiungi almeno una metrica per valutare la qualità delle risposte del candidato. Per saperne di più sui tipi di metriche, consulta la sezione Metriche di valutazione nella pagina di panoramica del servizio di valutazione dell'AI generativa.

    Per alcune rubriche adattive, puoi indirizzare le rubriche generate da ogni prompt espandendo Avanzate e fornendo istruzioni personalizzate, ad esempio Evaluate the dataset on cultural sensitivity.

    1. Nella sezione Configurazione di nome e archiviazione, specifica un nome per la valutazione e un bucket Cloud Storage in cui vengono archiviati i risultati delle valutazioni.

  5. Fai clic su Valuta.

Visualizzare i risultati della valutazione

Per visualizzare un risultato della valutazione:

  1. Nella console Cloud de Confiance , vai alla pagina Valutazione dell'IA generativa.

    Vai a Valutazione

  2. Fai clic sul nome della valutazione.

    Per ogni prompt nel set di dati di valutazione, la risposta viene mostrata insieme ai risultati della valutazione.

Valutare i modelli di partner

Puoi utilizzare Gen AI evaluation service per valutare i seguenti modelli partner:

  • Anthropic
  • Llama

I modelli partner sono supportati tramite Gemini Enterprise Agent Platform Model Garden. Devi attivare un modello partner in Model Garden prima di selezionarlo per la valutazione. Per valutare un modello partner, selezionalo nel menu di selezione del modello durante la configurazione della valutazione.

Prezzi

I prezzi per la valutazione di modelli di terze parti si basano sugli eventuali addebiti sostenuti per l'inferenza del modello in Gemini Enterprise Agent Platform Model Garden. Consulta la pagina dei prezzi per l'AI generativa su Agent Platform.

Passaggi successivi