Vollständig verwaltete Llama-Modelle


Llama-Modelle sind als verwaltete APIs und selbst bereitgestellte Modelle auf der Gemini Enterprise Agent Platform verfügbar. Sie können Ihre Antworten streamen, um die vom Endnutzer wahrgenommene Latenz zu reduzieren. Eine gestreamte Antwort verwendet Server-Sent Events (SSE), um die Antwort schrittweise zu streamen.

Verwaltete Llama-Modelle

Llama-Modelle bieten vollständig verwaltete und serverlose Modelle als APIs. Wenn Sie ein Llama-Modell auf der Agent Platform verwenden möchten, senden Sie eine Anfrage direkt an den API-Endpunkt der Agent Platform. Wenn Sie Llama-Modelle als verwaltete API verwenden, müssen Sie keine Infrastruktur bereitstellen oder verwalten.

Die folgenden Modelle sind von Llama zur Verwendung in der Gemini Enterprise Agent Platform verfügbar. Rufen Sie die zugehörige Model Garden-Modellkarte auf, um auf ein Llama-Modell zuzugreifen.

Llama 4 Maverick 17B-128E Das größte und leistungsstärkste multimodale Llama 4-Modell (MoE 17B aktiv / 400B insgesamt), optimiert für Programmierung, komplexes Reasoning, anspruchsvolle Chats und hochpräzises Bildverständnis.
Llama 4 Scout 17B-16E Hocheffizientes MoE-Modell (17 Milliarden aktive / 109 Milliarden insgesamt), das modernste Ergebnisse für das Abrufen von Langkontexten, die Zusammenfassung von Dokumenten und das Reasoning in großen Codebases liefert.
Llama 3.3 70B Ein reines Textmodell mit 70 Milliarden Parametern, das auf Anweisungen abgestimmt ist und im Vergleich zu Llama 3.1 70B und Llama 3.2 90B eine verbesserte Leistung für reine Textanwendungen bietet.

Llama-Modelle verwenden

Für verwaltete Modelle können Sie curl-Befehle verwenden, um Anfragen mit den folgenden Modellnamen an den Gemini Enterprise Agent Platform-Endpunkt zu senden. Informationen zum Senden von Streaming- und Nicht-Streaming-Aufrufen an Llama-Modelle finden Sie unter Open-Model-APIs aufrufen.

So verwenden Sie ein selbst bereitgestelltes Gemini Enterprise Agent Platform-Modell:

  1. Rufen Sie die Model Garden Console auf.
  2. Suchen Sie nach dem relevanten Modell der Gemini Enterprise Agent Platform.
  3. Klicken Sie auf Aktivieren und füllen Sie das bereitgestellte Formular aus, um die erforderlichen Lizenzen für die kommerzielle Nutzung zu erhalten.

Weitere Informationen zum Bereitstellen und Verwenden von Partnermodellen finden Sie unter Partnermodell bereitstellen und Vorhersageanfragen stellen.

Nächste Schritte

Informationen zur Verwendung von Llama-Modellen