Testare le funzionalità del modello in Model Garden

Model Garden offre diverse opzioni per visualizzare e testare rapidamente le funzionalità dei modelli. Per i modelli supportati, puoi provare i playground demo o lanciare applicazioni demo chiamate spazi di Model Garden che puoi condividere con altri per mostrare le funzionalità di un modello.

I playground sono basati su endpoint di previsione online di Gemini Enterprise Agent Platform pre-implementati e non comportano addebiti. Quando apri la scheda del modello per un modello supportato, puoi utilizzare il riquadro Prova per testare rapidamente le funzionalità del modello inviando un prompt testuale. Puoi anche impostare alcuni dei parametri più comuni, come la temperatura e il numero di token di output. Il playground è limitato solo all'input e all'output di testo.

Quando avvii Spaces, hai un'applicazione web funzionante pronta per l'uso con un impegno manuale molto inferiore rispetto al deployment di un modello e alla creazione di un'app per utilizzare l'endpoint del modello. Model Garden esegue il deployment del modello selezionato in Gemini Enterprise Agent Platform e dell'app di esempio su un'istanza Cloud Run che utilizza l'endpoint del modello di cui è stato eseguito il deployment. L'applicazione può anche utilizzare endpoint esistenti o un endpoint MaaS.

Prima di iniziare

Questo tutorial richiede la configurazione di un progetto Cloud de Confiance by S3NS e l'abilitazione dell'API Agent Platform.

  1. In the Cloud de Confiance console, on the project selector page, select or create a Cloud de Confiance project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  2. If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

  3. Verify that billing is enabled for your Cloud de Confiance project.

  4. Enable the Gemini Enterprise Agent Platform, Artifact Registry, Cloud Build, Cloud Logging, and Cloud Run Admin APIs, if any are not already enabled.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the APIs

  5. Se vuoi provare Model Garden Spaces, verifica che il account di servizio predefinito di Compute Engine disponga delle autorizzazioni necessarie per avviare Spaces.

Ruoli obbligatori

Per testare le funzionalità del modello in Model Garden, assicurati che sia tu sia il service account predefinito di Compute Engine disponiate dei ruoli IAM richiesti.

Ruoli obbligatori per gli utenti

Per ottenere le autorizzazioni necessarie per testare le funzionalità del modello in Model Garden, chiedi all'amministratore di concederti i seguenti ruoli IAM nel tuo progetto Cloud de Confiance :

Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

Ruoli obbligatori per il account di servizio predefinito di Compute Engine

Il service account predefinito di Compute Engine viene utilizzato per avviare Spaces.

Per assicurarti che il account di servizio predefinito di Compute Engine disponga delle autorizzazioni necessarie per avviare Spaces, chiedi all'amministratore di concedere i seguenti ruoli IAM al account di servizio predefinito di Compute Engine nel tuo progetto Cloud de Confiance :

Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

L'amministratore potrebbe anche essere in grado di concedere al account di servizio predefinito di Compute Engine le autorizzazioni richieste tramite ruoli personalizzati o altri ruoli predefiniti.

Prova un playground

  1. Nella console Cloud de Confiance , vai alla scheda di un modello supportato, ad esempio la scheda del modello Gemma 2.

    Vai a Gemma 2

  2. Se richiesto, esamina e accetta il contratto di licenza del modello per accedere alla scheda del modello e alle funzionalità di test.

  3. Nel riquadro Prova, configura il prompt e i parametri di test:

    1. In Regione, accetta il valore predefinito o scegli la tua regione.

    2. In Endpoint, seleziona Demo playground.

    3. Nella casella Prompt, inserisci Why is the sky blue?.

    4. Espandi la sezione Opzioni avanzate e visualizza i parametri predefiniti.

    Il riquadro di prova per Gemma 2b-it

  4. Fai clic su Invia. L'output viene visualizzato sotto il pulsante Invia.

Prova Spazi

Per avviare un modello, apri la scheda del modello supportato e, nel riquadro Prova Spaces, fai clic su uno spazio per avviarlo. Ti verranno addebitati i costi per le macchine utilizzate per il deployment e per l'istanza Cloud Run che ospita l'app.

Puoi lanciare Spaces con modelli come Gemini, Gemma, Llama e Stable Diffusion.

Avvia Spazi

Avvia Spaces per testare e sperimentare un modello da un'applicazione Gradio di esempio.

  1. Nella console Cloud de Confiance , vai a Model Garden per visualizzare la scheda di un modello.

    Vai a Model Garden

  2. Seleziona il modello da utilizzare. I modelli supportati hanno un riquadro Prova Spaces, come la scheda del modello Gemma 3.

    Vai a Gemma 3

  3. Fai clic su rocket_launch Esegui per avviare uno spazio.

    1. Puoi scegliere di Richiedere l'autenticazione (tramite Identity-Aware Proxy) o Consenti accesso pubblico. Per saperne di più, consulta Abilita le API per il primo deployment e concedi le autorizzazioni.
    1. Fai clic su Crea nuovo servizio per avviare il deployment. Puoi monitorare lo stato del deployment dalla scheda del modello.

  4. Quando lo stato di Spaces diventa Pronto, fai clic per visualizzare i dettagli del deployment.

    Per la protezione di base, l'applicazione web richiede una chiave segreta che deve essere aggiunta all'URL quando si inviano i prompt. Questa chiave segreta viene fornita nel campo Chiave segreta.

    1. Fai clic su Apri per iniziare a utilizzare l'app. Puoi inviare prompt al modello e visualizzare le sue risposte dall'app.

    Puoi condividere l'URL in modo che anche altri possano provare l'app.

    1. Per chiudere l'accesso all'app, fai clic su Modifica nel campo Controllo dell'accesso.

    Nella scheda Sicurezza dell'applicazione Cloud Run, seleziona Richiedi autenticazione e poi fai clic su Salva. L'applicazione non è più disponibile tramite l'URL. Le visite all'URL generano un errore 403 (accesso vietato).

Esegui la pulizia

Per evitare che al tuo account Cloud de Confiance by S3NS vengano addebitati costi relativi alle risorse utilizzate in questa pagina, segui questi passaggi.

Elimina spazi

Per eseguire la pulizia di Spaces, devi eliminare sia le risorse del modello sia quelle dell'applicazione di esempio su Cloud Run.

Elimina le risorse del modello

Dall'app Gradio, puoi eliminare gli endpoint del modello per ripulire le risorse di Gemini Enterprise Agent Platform. Dopodiché, devi eliminare il servizio Cloud Run per arrestare ed eliminare l'app Gradio.

Per eliminare manualmente le risorse di Gemini Enterprise Agent Platform, consulta Annulla il deployment dei modelli ed elimina le risorse.

Elimina servizio Cloud Run

Elimina le risorse correlate a un servizio, incluse tutte le revisioni del servizio. L'eliminazione di un servizio non include elementi come le immagini container di Artifact Registry. Per saperne di più, consulta Gestione dei servizi nella documentazione di Cloud Run.

  1. Nella console Cloud de Confiance , visualizza l'elenco dei servizi Cloud Run:

    Vai a Cloud Run

  2. Individua il servizio da eliminare e selezionalo.

  3. Fai clic su Elimina Elimina. In questo modo vengono eliminate tutte le revisioni del servizio.

Elimina il progetto

Il modo più semplice per eliminare la fatturazione è eliminare il progetto creato per il tutorial.

Per eliminare il progetto:

  1. Nella console Cloud de Confiance , vai alla pagina Gestisci risorse.

    Vai a Gestisci risorse

  2. Nell'elenco dei progetti, seleziona il progetto che vuoi eliminare, quindi fai clic su Elimina.
  3. Nella finestra di dialogo, digita l'ID progetto, quindi fai clic su Chiudi per eliminare il progetto.

Passaggi successivi

Visualizza una panoramica di Model Garden.