Plattformpartnermodelle für MaaS auf der Gemini Enterprise Agent Platform

Die Gemini Enterprise Agent Platform unterstützt eine ausgewählte Liste von Modellen, die von Google-Partnern entwickelt wurden. Partnermodelle können mit der Gemini Enterprise Agent Platform als Model as a Service (MaaS) verwendet werden und werden als verwaltete API angeboten. Wenn Sie ein Partnermodell verwenden, senden Sie Ihre Anfragen weiterhin an Endpunkte der Gemini Enterprise Agent Platform. Partnermodelle sind serverlos, sodass Sie keine Infrastruktur bereitstellen oder verwalten müssen.

Partnermodelle können mithilfe von Model Garden gefunden werden. Sie können Modelle auch mit Model Garden bereitstellen. Weitere Informationen finden Sie unter KI-Modelle in Model Garden entdecken. Informationen zu jedem verfügbaren Partnermodell finden Sie auf der Modellkarte in Model Garden. In dieser Anleitung sind nur Drittanbietermodelle, die als MaaS mit der Gemini Enterprise Agent Platform funktionieren, dokumentiert.

Die Claude- und Mistral-Modelle von Anthropic sind Beispiele für von Drittanbietern verwaltete Modelle, die auf der Gemini Enterprise Agent Platform verwendet werden können.

Partnermodelle

Die folgenden Partnermodelle werden als verwaltete APIs im Gemini Enterprise Agent Platform Model Garden (MaaS) angeboten:

Partnermodelle mit dem Gen AI Evaluation Service bewerten

Der Gen AI Evaluation Service unterstützt die Bewertung von Partnermodellen wie Anthropic- und Llama-Modellen. Die Bewertung von Partnermodellen wird über Model Garden unterstützt. Sie müssen das Modell also aktivieren, bevor Sie Bewertungen für ein Partnermodell ausführen können.

Weitere Informationen finden Sie unter Bewertung mit der Console durchführen.

Preise für Partnermodelle der Gemini Enterprise Agent Platform mit Kapazitätsgarantie

Google bietet einen bereitgestellten Durchsatz für Partnermodelle, der den Durchsatz für Ihre Modelle zu einer festen Gebühr reserviert. Sie entscheiden über die Durchsatzkapazität und in welchen Regionen diese Kapazität reserviert werden soll. Weil Anfragen zum bereitgestellten Durchsatz Vorrang vor den standardmäßigen "Pay as you go"-Anfragen haben, bietet bereitgestellter Durchsatz eine höhere Verfügbarkeit. Wenn das System überlastet ist, können Anfragen weiterhin abgeschlossen werden, solange der Durchsatz unter der der reservierten Durchsatzkapazität bleibt. Wenn Sie weitere Informationen wünschen oder den Dienst abonnieren möchten: Vertrieb kontaktieren.

Regionale, globale und multiregionale Endpunkte

Bei regionalen Endpunkten werden Anfragen von der von Ihnen angegebenen Region verarbeitet. Wenn Sie Anforderungen an den Datenstandort haben oder ein Modell den globalen Endpunkt nicht unterstützt, verwenden Sie die regionalen Endpunkte.

Wenn Sie den globalen Endpunkt verwenden, kann Google Ihre Anfragen in jeder Region verarbeiten und bereitstellen, die vom verwendeten Modell unterstützt wird. Dies kann in einigen Fällen zu einer höheren Latenz führen. Der globale Endpunkt trägt dazu bei, die allgemeine Verfügbarkeit zu verbessern und Fehler zu reduzieren.

Multiregionale Endpunkte ermöglichen den hochverfügbaren Zugriff auf Partnermodelle, während der Datenstandort innerhalb einer größeren Geografie wie den USA beibehalten wird.

Je nach ausgewähltem Endpunkttyp gibt es einen Preisunterschied. Weitere Informationen zu Kontingenten und Funktionen finden Sie auf der entsprechenden Seite des Drittanbietermodells.

Globaler Endpunkt

Wenn Sie den globalen Endpunkt verwenden möchten, legen Sie die Region auf global fest.

Die Anfrage-URL für einen curl-Befehl hat beispielsweise das folgende Format: https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/publishers/PUBLISHER_NAME/models/MODEL_NAME

Für das Agent Platform SDK ist ein regionaler Endpunkt die Standardeinstellung. Legen Sie die Region auf GLOBAL fest, um den globalen Endpunkt zu verwenden.

Unterstützte Modelle für den globalen Endpunkt

Der globale Endpunkt ist für die folgenden Modelle verfügbar:

• Anthropic Claude Sonnet 5.5 in Google Cloud
• Claude Fable 5.1 von Anthropic in Google Cloud
• Anthropic Claude Sonnet 5 in Google Cloud
• Anthropic Claude Opus 5.5 in Google Cloud
• Anthropic Claude Opus 5 in Google Cloud
• Anthropic Claude Fable 5 in Google Cloud
• Anthropic Claude Opus 4.8 in Google Cloud
• Anthropic Claude Opus 4.7 in Google Cloud
• Claude Opus 4.6 von Anthropic in Google Cloud
• Anthropic Claude Sonnet 4.6 in Google Cloud
• Anthropic Claude Opus 4.5 in Google Cloud
• Claude Sonnet 4.5 von Anthropic in Google Cloud
• Claude 3.7 Sonnet in Google Cloud
• Claude 3.5 Sonnet v2 in Google Cloud
• Claude Haiku 5.5 von Anthropic in Google Cloud
• Claude Haiku 4.5 von Anthropic in Google Cloud
• Grok 4.20
• Grok 4.3
• Grok 4.6
• Grok 4.7
• Muse Spark 1.3 von Meta

Nutzung globaler API-Endpunkt einschränken

Um die Verwendung regionaler Endpunkte zu erzwingen, können Sie die Einschränkung der Organisationsrichtlinie constraints/gcp.restrictEndpointUsage verwenden, um Anfragen an den globalen API-Endpunkt zu blockieren. Weitere Informationen finden Sie unter Endpunktnutzung einschränken.

Multiregionaler Endpunkt

Multiregionale Endpunkte ermöglichen einen hochverfügbaren Zugriff auf Partnermodelle, während der Datenstandort innerhalb einer größeren Geografie wie den USA oder der Europäischen Union beibehalten wird.

Wählen Sie den entsprechenden Tab für die Multiregion aus, die Sie verwenden möchten:

Weitere Informationen zum MODEL_NAME-Format finden Sie in der Anthropic-Dokumentation.

Unterstützte Modelle für den multiregionalen Endpunkt:

Multiregionale Endpunkte unterstützen alle Claude-Modelle mit Version 4.7 und höher (z. B. claude-opus-4-7, claude-opus-4-8 und claude-fable-5). Verwenden Sie die vollständige Modell-ID, einschließlich des Versionsdatums, falls zutreffend.

Grok 4.6 (grok-4.6) und Grok 4.7 (grok-4.7) sind am multiregionalen Endpunkt für die USA verfügbar. Grok-Modelle verwenden die OpenAI-kompatiblen APIs für Chat-Vervollständigungen und Antworten. Der Anfragepfad verwendet daher endpoints/openapi. Beispiel: https://aiplatform.us.rep.googleapis.com/v1/projects/PROJECT_ID/locations/us/endpoints/openapi/responses.

Beispielanfrage:

So rufen Sie den multiregionalen Endpunkt mit curl auf:

export PROJECT_ID="YOUR_PROJECT_ID"
# Example using claude-opus-4-7

# Option 1: US Region
export LOCATION="us"
export ENDPOINT="aiplatform.us.rep.googleapis.com"

# Option 2: EU Region
# export LOCATION="eu"
# export ENDPOINT="aiplatform.eu.rep.googleapis.com"

export MODEL_ID="claude-opus-4-7"

curl -X POST \
  -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \
  -H "Content-Type: application/json" \
  "https://${ENDPOINT}/v1/projects/${PROJECT_ID}/locations/${LOCATION}/publishers/anthropic/models/${MODEL_ID}:rawPredict" \
  -d '{
    "max_tokens": 300,
    "messages": [
      {
        "role": "user",
        "content": [
          {
            "type": "text",
            "text": "Why is the sky blue?"
          }
        ]
      }
    ],
    "anthropic_version": "vertex-2023-10-16"
  }'

Multiregionale Kontingente:

Es werden dedizierte multiregionale Kontingente erzwungen. Sie können diese Standardkontingentwerte in der Cloud de Confiance Console einsehen und Erhöhungen anfordern.

• Beispiele für US-Kontingente:

  • UsOnlinePredictionInputTokensPerMinutePerBaseModel
  • UsOnlinePredictionOutputTokensPerMinutePerBaseModel
  • UsOnlinePredictionRequestsPerMinPerProjectPerBaseModel
  • UsOnlinePredictionWebSearchRequestsPerProjectPerPublisher

• Beispiele für EU-Kontingente:

  • EuOnlinePredictionInputTokensPerMinutePerBaseModel
  • EuOnlinePredictionOutputTokensPerMinutePerBaseModel
  • EuOnlinePredictionRequestsPerMinPerProjectPerBaseModel
  • EuOnlinePredictionWebSearchRequestsPerProjectPerPublisher

Nutzern Zugriff auf Partnermodelle gewähren

Damit Sie Partnermodelle aktivieren und eine Prompt-Anfrage stellen können, muss ein Cloud de Confiance-Administrator die erforderlichen Berechtigungen festlegen und prüfen, ob die Organisationsrichtlinie die Verwendung der erforderlichen APIs zulässt.

Erforderliche Berechtigungen zur Verwendung von Partnermodellen festlegen

Die folgenden Rollen und Berechtigungen sind für die Verwendung von Partnermodellen erforderlich:

• Sie benötigen die IAM-Rolle (Identity and Access Management) „Manager von Nutzer-Beschaffungsberechtigungen“. Nutzer, denen diese Rolle zugewiesen wurde, können Partnermodelle in Model Garden aktivieren.

• Sie benötigen die Berechtigung aiplatform.endpoints.predict. Diese Berechtigung ist in der IAM-Rolle „Agent Platform User“ enthalten. Weitere Informationen finden Sie unter Gemini Enterprise Agent Platform-Nutzer und Zugriffssteuerung.

Organisationsrichtlinie für den Zugriff auf Partnermodelle festlegen

Damit Partnermodelle aktiviert werden können, muss die folgende API in Ihrer Organisationsrichtlinie zulässig sein: Cloud Commerce Consumer Procurement API – cloudcommerceconsumerprocurement.googleapis.com

Wenn Ihre Organisation eine Organisationsrichtlinie zur Einschränkung der Dienstnutzung festlegt, muss ein Organisationsadministrator prüfen, ob cloudcommerceconsumerprocurement.googleapis.com zulässig ist, indem er die Organisationsrichtlinie festlegt.

Wenn Sie eine Organisationsrichtlinie haben, die die Modellnutzung in Model Garden einschränkt, muss die Richtlinie den Zugriff auf Partnermodelle zulassen. Weitere Informationen finden Sie unter Modellzugriff steuern.

Einhaltung regulatorischer Anforderungen für das Partnermodell

Die Zertifizierungen für generative KI auf der Agent Platform gelten weiterhin, wenn Partnermodelle als verwaltete API über die Gemini Enterprise Agent Platform verwendet werden. Wenn Sie Details zu den Modellen selbst benötigen, finden Sie zusätzliche Informationen in der jeweiligen Modellkarte oder Sie können sich an den jeweiligen Modell-Publisher wenden.

Ihre Daten werden im Ruhezustand in der ausgewählten Region oder Multiregion für Partnermodelle auf der Gemini Enterprise Agent Platform gespeichert. Die Regionalisierung der Datenverarbeitung kann jedoch variieren. Eine detaillierte Liste der Verpflichtungen zur Datenverarbeitung für Partnermodelle finden Sie unter Datenstandort für Partnermodelle.

Kunden-Prompts und Modellantworten werden bei Verwendung der Gemini Enterprise API nicht an Dritte weitergegeben, einschließlich Partnermodelle. Google verarbeitet Kundendaten nur gemäß den Anweisungen des Kunden. Weitere Informationen finden Sie im Zusatz zur Verarbeitung von Cloud-Daten.