Modelli Llama completamente gestiti


I modelli Llama sono disponibili per l'utilizzo come API gestite e modelli autodistribuiti su Gemini Enterprise Agent Platform. Puoi trasmettere in streaming le risposte per ridurre la percezione della latenza da parte dell'utente finale. Una risposta in streaming utilizza gli eventi inviati dal server (SSE) per trasmettere la risposta in modo incrementale.

Modelli Llama gestiti

I modelli Llama offrono modelli serverless e completamente gestiti come API. Per utilizzare un modello Llama su Agent Platform, invia una richiesta direttamente all&#3endpoint APIPI Agent Platform. Quando utilizzi i modelli Llama come API gestita, non è necessario eseguire il provisioning o gestire l'infrastruttura.

I seguenti modelli sono disponibili da Llama per l'utilizzo in Gemini Enterprise Agent Platform. Per accedere a un modello Llama, vai alla relativa scheda del modello Model Garden.

Llama 4 Maverick 17B-128E Il modello multimodale Llama 4 più grande e potente (MoE 17B attivo / 400B totale), ottimizzato per la programmazione, il ragionamento approfondito, la chat sofisticata e la comprensione delle immagini ad alta precisione.
Llama 4 Scout 17B-16E Modello MoE ad alta efficienza (17 miliardi attivi / 109 miliardi totali) che offre risultati allo stato dell'arte per il recupero di contesti lunghi, il riepilogo di documenti e il ragionamento su codebase di grandi dimensioni.
Llama 3.3 70B Un modello ottimizzato per le istruzioni da 70 miliardi di parametri solo di testo che offre prestazioni migliori rispetto a Llama 3.1 70B e Llama 3.2 90B per le applicazioni solo di testo.

Utilizzare i modelli Llama

Per i modelli gestiti, puoi utilizzare i comandi curl per inviare richieste all'endpoint Gemini Enterprise Agent Platform utilizzando i seguenti nomi di modelli. Per scoprire come effettuare chiamate di streaming e non di streaming ai modelli Llama, consulta Chiama le API del modello aperto.

Per utilizzare un modello Gemini Enterprise Agent Platform con deployment automatico:

  1. Vai alla console Model Garden.
  2. Trova il modello Gemini Enterprise Agent Platform pertinente.
  3. Fai clic su Attiva e compila il modulo fornito per ottenere le licenze di utilizzo commerciale necessarie.

Per saperne di più sul deployment e sull'utilizzo dei modelli partner, consulta Eseguire il deployment di un modello partner ed effettuare richieste di previsione.

Passaggi successivi

Scopri come utilizzare i modelli Llama.