Einige generative KI-Modelle wie Gemini haben verwaltete APIs und können Prompts ohne Bereitstellung akzeptieren. Eine Liste der Modelle finden Sie unter Google-Modelle.
Andere generative KI-Modelle müssen auf einem Endpunkt bereitgestellt werden, bevor sie Prompts akzeptieren können. Es gibt zwei Arten von generativen Modellen, die bereitgestellt werden müssen:
Abgestimmte Modelle, die Sie durch Abstimmen eines unterstützten Foundation Models mit Ihren eigenen Daten erstellen.
Generative Modelle ohne verwaltete APIs. Im Model Garden sind dies Modelle, die nicht als API verfügbar oder Agent Platform Studio gekennzeichnet sind, z. B. Llama 2.
Wenn Sie ein Modell für einen Endpunkt bereitstellen, verknüpft die Gemini Enterprise Agent Platform Rechenressourcen und einen URI mit dem Modell, damit es Prompt-Anfragen verarbeiten kann.
Abgestimmtes Modell bereitstellen
Abgestimmte Modelle werden automatisch in die Gemini Enterprise Agent Platform Model Registry hochgeladen und auf einem freigegebenen öffentlichen endpoint der Agent Platform bereitgestellt. Abgestimmte Modelle werden nicht in Model Garden angezeigt, da sie mit Ihren Daten abgestimmt werden.
Weitere Informationen finden Sie unter Modellabstimmung – Übersicht.
Sobald der Endpunkt aktiv ist, kann er Prompt-Anfragen an seinen URI akzeptieren. Das Format des API-Aufrufs für ein abgestimmtes Modell ist mit dem des Foundation Models identisch, auf dem es basiert. Wenn Ihr Modell beispielsweise auf Gemini abgestimmt ist, sollte Ihre Prompt-Anfrage der Gemini API entsprechen.
Achten Sie darauf, dass Sie Prompt-Anfragen an den Endpunkt Ihres abgestimmten Modells und nicht an die verwaltete API senden. Der Endpunkt des abgestimmten Modells hat das folgende Format:
https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/endpoints/ENDPOINT_ID
Informationen zum Abrufen der Endpunkt-ID finden Sie unter Endpunkt ansehen oder verwalten.
Generatives Modell ohne verwaltete API bereitstellen
Wenn Sie ein Modell aus dem Model Garden verwenden möchten, das keine verwaltete API hat, müssen Sie das Modell in die Model Registry hochladen und auf einem Endpunkt bereitstellen, bevor Sie Prompt-Anfragen senden können. Dies ähnelt dem Hochladen und Bereitstellen eines benutzerdefinierten trainierten Modells für Onlinevorhersagen in der Agent Platform.
Wenn Sie eines dieser Modelle bereitstellen möchten, rufen Sie Model Garden auf und wählen Sie das gewünschte Modell aus.
Auf jeder Modellkarte wird mindestens eine der folgenden Bereitstellungsoptionen angezeigt:
Button Bereitstellen: Die meisten generativen Modelle im Model Garden haben einen Button Bereitstellen, der Sie durch die Bereitstellung auf der Agent Platform führt. Wenn Sie die Schaltfläche Bereitstellen nicht sehen, fahren Sie mit dem nächsten Punkt fort.
Für die Bereitstellung auf der Agent Platform können Sie die vorgeschlagenen Einstellungen verwenden oder ändern. Sie können auch erweiterte Bereitstellungseinstellungen festlegen, um beispielsweise eine Compute Engine-Reservierung auszuwählen.
Button Notebook öffnen: Mit dieser Option wird ein Jupyter-Notebook geöffnet. Diese Option wird auf jeder Modellkarte angezeigt. Das Jupyter-Notebook enthält eine Anleitung und Beispielcode zum Hochladen des Modells in die Model Registry, zum Bereitstellen des Modells auf einem Endpunkt und zum Senden einer Prompt-Anfrage.
Wenn die Bereitstellung abgeschlossen ist und der Endpunkt aktiv ist, kann er Prompt-Anfragen an den URI akzeptieren. Das Format der API ist predict und das Format der einzelnen instance im Anfragetext hängt vom Modell ab. Weitere Informationen finden Sie in den folgenden Ressourcen:
Achten Sie darauf, dass Sie genügend Maschinenkontingent haben, um Ihr Modell bereitzustellen. Wenn Sie Ihr aktuelles Kontingent ansehen oder ein höheres Kontingent anfordern möchten, rufen Sie in der Cloud de Confiance Console die Seite Kontingente auf.
Filtern Sie dann nach dem Kontingentnamen Custom Model Serving, um die Kontingente für Onlinevorhersagen aufzurufen. Weitere Informationen finden Sie unter Kontingente aufrufen und verwalten.
Kapazität für bereitgestellte Modelle mit Compute Engine-Reservierungen sicherstellen
Sie können Model Garden-Modelle auf VM-Ressourcen bereitstellen, die über Compute Engine-Reservierungen zugewiesen wurden. Mit Reservierungen sorgen Sie dafür, dass die Kapazität verfügbar ist, wenn Ihre Modellvorhersageanfragen sie benötigen. Weitere Informationen finden Sie unter Reservierungen mit Vorhersage verwenden.
Modell ansehen oder verwalten
Bei optimierten Modellen können Sie das Modell und den zugehörigen Abstimmungsjob in der Cloud de Confiance Console auf der Seite Abstimmen und destillieren aufrufen.
Zu „Abstimmen und destillieren“
In Model Registry können Sie auch alle Ihre hochgeladenen Modelle aufrufen und verwalten.
In Model Registry wird ein abgestimmtes Modell als Großes Modell kategorisiert und hat Labels, die das Foundation Model und die Pipeline oder den Abstimmungsjob angeben, die für die Abstimmung verwendet wurden.
Bei Modellen, die mit dem Button Bereitstellen bereitgestellt werden, wird Model Garden als Source angegeben.
Wenn das Modell in Model Garden aktualisiert wird, wird Ihr hochgeladenes Modell in Model Registry nicht aktualisiert.
Weitere Informationen finden Sie unter Einführung in die Model Registry der Gemini Enterprise Agent Platform.
Endpunkt ansehen oder verwalten
Wenn Sie Ihren Endpunkt aufrufen und verwalten möchten, rufen Sie die Seite Onlinevorhersage der Agent Platform auf. Standardmäßig entspricht der Name des Endpunkts dem Namen des Modells.
Weitere Informationen finden Sie unter Modell auf einem Endpunkt bereitstellen.
Traffic am Modellendpunkt überwachen
Informationen zum Überwachen des Modellendpunkt-Traffics finden Sie unter Modelle überwachen.
Beschränkungen
- Ein abgestimmtes Gemini-Modell kann nur auf einem freigegebenen öffentlichen Endpunkt bereitgestellt werden. Die Bereitstellung auf dedizierten öffentlichen Endpunkten, Private Service Connect-Endpunkten und privaten Endpunkten wird nicht unterstützt.
Preise
Für abgestimmte Modelle werden Ihnen pro Token dieselben Kosten in Rechnung gestellt wie für das Foundation Model, auf dem Ihr Modell basiert. Für den Endpunkt fallen keine Kosten an, da die Abstimmung als kleiner Adapter auf dem Foundation Model implementiert wird.
Bei Modellen ohne verwaltete APIs werden Ihnen die Maschinenstunden, die von Ihrem Endpunkt verwendet werden, zum selben Preis wie für Onlinevorhersagen auf der Agent Platform in Rechnung gestellt. Die Abrechnung erfolgt nicht pro Token. Weitere Informationen finden Sie unter Preise für Vorhersagen in der Agent Platform.