Alcuni modelli di AI generativa, come Gemini, dispongono di API gestite e sono pronti ad accettare prompt senza deployment. Per un elenco dei modelli, consulta Modelli Google.
Per altri modelli di AI generativa, è necessario eseguire il deployment in un endpoint prima che siano pronti ad accettare prompt. È necessario eseguire il deployment di due tipi di modelli generativi:
Modelli ottimizzati, che crei ottimizzando un modello di base supportato con i tuoi dati.
Modelli generativi che non dispongono di API gestite. In Model Garden, si tratta di modelli che non sono etichettati come API disponibile o Agent Platform Studio, ad esempio Llama 2.
Quando esegui il deployment di un modello in un endpoint, Gemini Enterprise Agent Platform associa risorse di computing e un URI al modello in modo che possa gestire le richieste di prompt.
Esegui il deployment di un modello ottimizzato
I modelli ottimizzati vengono caricati automaticamente nel
Model Registry di Gemini Enterprise Agent Platform
e ne viene eseguito il deployment in un endpoint pubblico condiviso di Agent Platform. I modelli ottimizzati non vengono visualizzati in Model Garden perché sono ottimizzati con i tuoi dati.
Per saperne di più, consulta Panoramica dell'ottimizzazione dei modelli.
Una volta che l'endpoint è attivo, è pronto ad accettare richieste di prompt al suo URI. Il formato della chiamata API per un modello ottimizzato è lo stesso del foundation model da cui è stato ottimizzato. Ad esempio, se il tuo modello è ottimizzato su Gemini, la richiesta di prompt deve seguire l'API Gemini.
Assicurati di inviare le richieste di prompt all'endpoint del modello ottimizzato anziché all'API gestita. L'endpoint del modello ottimizzato è nel formato:
https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/endpoints/ENDPOINT_ID
Per ottenere l'ID endpoint, consulta Visualizza o gestisci un endpoint.
Esegui il deployment di un modello generativo che non dispone di un'API gestita
Per utilizzare un modello di Model Garden che non dispone di un'API gestita, devi caricarlo in Model Registry ed eseguirne il deployment in un endpoint prima di poter inviare richieste di prompt. Questo è simile al caricamento e al deployment di un modello con addestramento personalizzato per la previsione online in Agent Platform.
Per eseguire il deployment di uno di questi modelli, vai a Model Garden e seleziona il modello di cui vuoi eseguire il deployment.
Ogni scheda del modello mostra una o più delle seguenti opzioni di deployment:
Pulsante Esegui il deployment: la maggior parte dei modelli generativi in Model Garden ha un pulsante Esegui il deployment che ti guida nel deployment su Agent Platform. Se non vedi il pulsante Esegui il deployment, vai al punto successivo.
Per il deployment su Agent Platform, puoi utilizzare le impostazioni suggerite o modificarle. Puoi anche configurare le impostazioni di deployment avanzate, ad esempio per selezionare una prenotazione di Compute Engine.
Pulsante Apri notebook: questa opzione apre un notebook Jupyter. Questa opzione viene visualizzata in ogni scheda del modello. Il blocco note Jupyter include istruzioni e codice campione per caricare il modello in Model Registry, eseguire il deployment del modello su un endpoint e inviare una richiesta di prompt.
Una volta completato il deployment e quando l'endpoint è attivo, è pronto ad accettare richieste di prompt al suo URI. Il formato dell'API è predict e il formato di ogni instance nel corpo della richiesta dipende dal modello. Per maggiori informazioni, consulta le seguenti risorse:
Assicurati di disporre di una quota di macchine sufficiente per eseguire il deployment del modello. Per visualizzare la quota corrente o richiederne una maggiore, vai alla pagina Quote nella console Cloud de Confiance .
Quindi, filtra in base al nome della quota Custom Model Serving per visualizzare le quote per la previsione online. Per saperne di più, consulta Visualizza e gestisci le quote.
Garantisci la capacità per i modelli di cui è stato eseguito il deployment con le prenotazioni di Compute Engine
Puoi eseguire il deployment dei modelli di Model Garden su risorse VM allocate tramite le prenotazioni di Compute Engine. Le prenotazioni contribuiscono a garantire che la capacità sia disponibile quando le richieste di previsione del modello ne hanno bisogno. Per ulteriori informazioni, consulta Utilizza le prenotazioni con la previsione.
Visualizza o gestisci un modello
Per i modelli ottimizzati, puoi visualizzare il modello e il relativo job di ottimizzazione nella pagina Ottimizza e distilla della console Cloud de Confiance .
Puoi anche visualizzare e gestire tutti i modelli caricati in Model Registry.
In Model Registry, un modello ottimizzato è classificato come Modello di grandi dimensioni e ha etichette che specificano il foundation model e la pipeline o il job di ottimizzazione utilizzato per l'ottimizzazione.
I modelli di cui viene eseguito il deployment con il pulsante Esegui il deployment indicheranno Model Garden come Source.
Tieni presente che, se il modello viene aggiornato in Model Garden, il modello caricato in Model Registry non viene aggiornato.
Per saperne di più, consulta Introduzione a Model Registry di Gemini Enterprise Agent Platform.
Visualizza o gestisci un endpoint
Per visualizzare e gestire l'endpoint, vai alla pagina Previsione online di Agent Platform. Per impostazione predefinita, il nome dell'endpoint è lo stesso del nome del modello.
Per saperne di più, consulta Esegui il deployment di un modello in un endpoint.
Monitora il traffico degli endpoint del modello
Per scoprire come monitorare il traffico degli endpoint dei modelli, consulta Monitora i modelli.
Limitazioni
- Un modello Gemini ottimizzato può essere distribuito solo su un endpoint pubblico condiviso. Il deployment su endpoint pubblici dedicati, endpoint Private Service Connect ed endpoint privati non è supportato.
Prezzi
Per i modelli ottimizzati, ti viene addebitato un costo per token alla stessa tariffa del foundation model da cui è stato ottimizzato il tuo modello. L'endpoint non ha costi perché l'ottimizzazione viene implementata come un piccolo adattatore sopra il foundation model.
Per i modelli senza API gestite, ti vengono addebitate le ore macchina utilizzate dal tuo endpoint alla stessa tariffa delle previsioni online di Agent Platform. Non ti viene addebitato alcun costo per token. Per saperne di più, consulta i prezzi per le previsioni in Agent Platform.