Panoramica di come ottenere inferenze su Agent Platform

Un'inferenza è l'output di un modello di machine learning addestrato. Questa pagina fornisce una panoramica del flusso di lavoro per ottenere inferenze dai modelli su Gemini Enterprise Agent Platform.

Agent Platform supporta le inferenze online:

  • Le inferenze online sono richieste sincrone effettuate a un modello di cui è stato eseguito il deployment in un Endpoint. Pertanto, prima di inviare una richiesta, devi prima eseguire il deployment della Model risorsa in un endpoint. In questo modo, le risorse di calcolo vengono associate al modello in modo che possa fornire inferenze online a bassa latenza. Utilizza le inferenze online quando effettui richieste in risposta all'input dell'applicazione o in situazioni che richiedono un'inferenza tempestiva inferenza.

Testare il modello in locale

Prima di ottenere inferenze, è utile eseguire il deployment del modello in un endpoint locale durante la fase di sviluppo e test. In questo modo, puoi eseguire iterazioni più rapidamente e testare il modello senza eseguirne il deployment in un endpoint online o sostenere costi di inferenza. Il deployment locale è destinato allo sviluppo e ai test in locale, non ai deployment di produzione.

Per eseguire il deployment di un modello in locale, utilizza l'SDK Agent Platform per Python ed esegui il deployment di un LocalModel in un LocalEndpoint.

Anche se il client non è scritto in Python, puoi comunque utilizzare l'SDK Agent Platform per Python per avviare il container e il server in modo da poter testare le richieste dal client.

Ottenere inferenze da modelli con addestramento personalizzato

Per ottenere inferenze, devi prima importare il modello. Una volta importato, diventa una Model risorsa visibile in Model Registry.

Poi, leggi la seguente documentazione per scoprire come ottenere inferenze:

Eseguire il deployment di un modello in un endpoint e ottenere inferenze online.

Passaggi successivi