Modellfunktionen in Model Garden testen

Model Garden bietet mehrere Optionen, mit denen Sie die Modellfunktionen schnell ansehen und testen können. Für unterstützte Modelle können Sie Demo-Playgrounds ausprobieren oder Demoanwendungen namens Model Garden Spaces starten, die Sie mit anderen teilen können, um die Funktionen eines Modells zu demonstrieren.

Playgrounds werden von vorab bereitgestellten Onlinevorhersage-Endpunkten der Gemini Enterprise Agent Platform unterstützt und sind kostenlos. Wenn Sie die Modellkarte für ein unterstütztes Modell öffnen, können Sie im Bereich Ausprobieren die Funktionen des Modells schnell testen, indem Sie einen Text-Prompt senden. Sie können auch einige der gängigsten Parameter wie Temperatur und Anzahl der Ausgabetokens festlegen. Der Playground ist auf die Texteingabe und -ausgabe beschränkt.

Wenn Sie Spaces starten, haben Sie eine funktionierende Webanwendung, die mit weitaus weniger manuellem Aufwand einsatzbereit ist, als wenn Sie ein Modell bereitstellen und eine Anwendung erstellen, um den Endpunkt des Modells zu verwenden. Model Garden stellt das ausgewählte Modell in der Gemini Enterprise Agent Platform und die Beispiel-App auf einer Cloud Run-Instanz bereit, die den Endpunkt des bereitgestellten Modells verwendet. Die Anwendung kann auch vorhandene Endpunkte oder einen MaaS-Endpunkt verwenden.

Hinweis

Für diese Anleitung müssen Sie ein Cloud de Confiance by S3NS -Projekt einrichten und die Agent Platform API aktivieren.

  1. In the Cloud de Confiance console, on the project selector page, select or create a Cloud de Confiance project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  2. If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

  3. Verify that billing is enabled for your Cloud de Confiance project.

  4. Enable the Gemini Enterprise Agent Platform, Artifact Registry, Cloud Build, Cloud Logging, and Cloud Run Admin APIs, if any are not already enabled.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the APIs

  5. Wenn Sie Model Garden Spaces ausprobieren möchten, prüfen Sie, ob das Compute Engine-Standarddienstkonto die erforderlichen Berechtigungen zum Starten von Spaces hat.

Erforderliche Rollen

Wenn Sie die Modellfunktionen in Model Garden testen möchten, müssen sowohl Sie als auch das Compute Engine-Standarddienstkonto die erforderlichen IAM-Rollen haben.

Erforderliche Rollen für Nutzer

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für Ihr Cloud de Confiance -Projekt zuzuweisen, damit Sie die nötigen Berechtigungen zum Testen von Modellfunktionen in Model Garden haben:

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Erforderliche Rollen für das Compute Engine-Standarddienstkonto

Das Compute Engine-Standarddienstkonto wird zum Starten von Spaces verwendet.

Bitten Sie Ihren Administrator, dem Compute Engine-Standarddienstkonto die folgenden IAM-Rollen für Ihr Cloud de Confiance Projekt zuzuweisen, damit das Compute Engine-Standarddienstkonto die erforderlichen Berechtigungen zum Starten von Spaces hat:

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Ihr Administrator kann dem Compute Engine-Standarddienstkonto die erforderlichen Berechtigungen möglicherweise auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erteilen.

Playground ausprobieren

  1. Rufen Sie in der Cloud de Confiance Console die Modellkarte eines unterstützten Modells auf, z. B. die Modellkarte Gemma 2.

    Zu Gemma 2

  2. Wenn Sie dazu aufgefordert werden, lesen und akzeptieren Sie die Modell-Lizenzvereinbarung, um auf die Modellkarte und die Testfunktionen zuzugreifen.

  3. Konfigurieren Sie im Bereich Ausprobieren den Prompt und die Testparameter:

    1. Übernehmen Sie für Region die Standardeinstellung oder wählen Sie Ihre Region aus.

    2. Wählen Sie für Endpunkt die Option Demo-Playground aus.

    3. Geben Sie im Feld Prompt Why is the sky blue? ein.

    4. Maximieren Sie den Abschnitt Erweiterte Optionen und sehen Sie sich die Standardparameter an.

    Der Bereich zum Ausprobieren von Gemma 2b-it

  4. Klicken Sie auf Senden. Die Ausgabe wird unter dem Button Senden angezeigt.

Spaces ausprobieren

Wenn Sie ein Modell starten möchten, öffnen Sie die Modellkarte für das unterstützte Modell und klicken Sie im Bereich Spaces ausprobieren auf einen Space, um ihn zu starten. Ihnen werden die für die Bereitstellung verwendeten Maschinen und die Cloud Run-Instanz, auf der die Anwendung gehostet wird, in Rechnung gestellt.

Sie können Spaces mit Modellen wie Gemini, Gemma, Llama und Stable Diffusion starten.

Gruppenbereiche starten

Starten Sie Spaces, um ein Modell aus einer Gradio-Beispielanwendung zu testen und damit zu experimentieren.

  1. Rufen Sie in der Cloud de Confiance Console Model Garden auf, um die Modellkarte eines Modells anzusehen.

    Zu Model Garden

  2. Wählen Sie das Modell aus, das Sie verwenden möchten. Unterstützte Modelle haben den Bereich Spaces ausprobieren, z. B. die Modellkarte Gemma 3.

    Zu Gemma 3

  3. Klicken Sie auf rocket_launch Ausführen, um einen Space zu starten.

    1. Sie können Authentifizierung erforderlich (über Identity-Aware Proxy) oder Öffentlichen Zugriff erlauben auswählen. Weitere Informationen finden Sie unter APIs für die erste Bereitstellung aktivieren und Berechtigungen gewähren.
    1. Klicken Sie auf Neuen Dienst erstellen, um die Bereitstellung zu starten. Sie können den Bereitstellungsstatus auf der Modellkarte im Blick behalten.

  4. Wenn sich der Status des Spaces in Bereit ändert, klicken Sie darauf, um Details zur Bereitstellung aufzurufen.

    Für den grundlegenden Schutz benötigt die Webanwendung einen Secret-Schlüssel, der beim Senden von Prompts an die URL angehängt werden muss. Dieser geheime Schlüssel wird im Feld Geheimer Schlüssel angegeben.

    1. Klicken Sie auf Öffnen, um die App zu verwenden. Sie können Prompts an das Modell senden und die Antworten in der App ansehen.

    Sie können die URL teilen, damit andere die App ebenfalls ausprobieren können.

    1. Wenn Sie den Zugriff auf die App sperren möchten, klicken Sie im Feld Zugriffssteuerung auf Bearbeiten.

    Wählen Sie auf dem Tab Sicherheit für Ihre Cloud Run-Anwendung die Option Authentifizierung erforderlich aus und klicken Sie dann auf Speichern. Die Anwendung ist nicht mehr über die URL verfügbar. Aufrufe der URL führen zu einem 403-Fehler (Forbidden).

Bereinigen

Mit den folgenden Schritten vermeiden Sie, dass Ihrem Cloud de Confiance by S3NS -Konto die auf dieser Seite verwendeten Ressourcen in Rechnung gestellt werden:

Spaces löschen

Wenn Sie Spaces bereinigen möchten, müssen Sie sowohl die Ressourcen des Modells als auch die Ressourcen der Beispielanwendung in Cloud Run löschen.

Modellressourcen löschen

In der Gradio-Anwendung können Sie Modellendpunkte löschen, um Gemini Enterprise Agent Platform-Ressourcen zu bereinigen. Anschließend müssen Sie den Cloud Run-Dienst löschen, um die Gradio-Anwendung zu beenden und zu löschen.

Informationen zum manuellen Löschen von Gemini Enterprise Agent Platform-Ressourcen finden Sie unter Bereitstellung von Modellen aufheben und Ressourcen löschen.

Cloud Run-Dienst löschen

Löschen Sie Ressourcen, die mit einem Dienst verknüpft sind, einschließlich aller Versionen des Dienstes. Beim Löschen eines Dienstes werden Elemente wie Container-Images nicht aus Artifact Registry entfernt. Weitere Informationen finden Sie in der Cloud Run-Dokumentation unter Dienste verwalten.

  1. Rufen Sie in der Cloud de Confiance Console die Liste der Cloud Run-Dienste auf:

    Zu Cloud Run

  2. Suchen Sie den zu löschenden Dienst und wählen Sie ihn aus.

  3. Klicken Sie auf Löschen Löschen. Dadurch werden alle Überarbeitungen des Dienstes gelöscht.

Projekt löschen

Am einfachsten vermeiden Sie weitere Kosten durch Löschen des für die Anleitung erstellten Projekts.

So löschen Sie das Projekt:

  1. Wechseln Sie in der Cloud de Confiance -Console zur Seite Ressourcen verwalten.

    Zur Seite „Ressourcen verwalten“

  2. Wählen Sie in der Projektliste das Projekt aus, das Sie löschen möchten, und klicken Sie dann auf Löschen.
  3. Geben Sie im Dialogfeld die Projekt-ID ein und klicken Sie auf Shut down (Beenden), um das Projekt zu löschen.

Nächste Schritte

Übersicht über Model Garden