Questa guida fornisce una panoramica dell'utilizzo di Cloud Run per ospitare app, eseguire l'inferenza e creare workflow di AI.
Cloud Run per l'hosting di applicazioni AI, agenti ed endpoint API scalabili
Cloud Run fornisce una piattaforma completamente gestita che scala le tue app e i tuoi carichi di lavoro di AI.
Quando ospiti app di AI su Cloud Run, in genere hai i seguenti componenti architetturali:
- Serving e orchestrazione: esegui il deployment del codice o del container dell'applicazione su Cloud Run.
- Modelli di AI: utilizzi modelli di AI di Google, modelli open source o modelli personalizzati con la tua app.
- Integrazioni: puoi connetterti a servizi Cloud de Confiance o di terze parti per memoria, database, archiviazione, sicurezza e altro ancora.
- Strumenti: puoi connetterti a strumenti per altre attività e operazioni.
Il seguente diagramma mostra una panoramica di alto livello dell'utilizzo di Cloud Run come piattaforma di hosting per le app di AI:
Come mostrato nel diagramma:
All'interno del livello di gestione e pubblicazione, un servizio Cloud Run funge da endpoint API scalabile per la logica principale della tua applicazione. Gestisce in modo efficiente più utenti simultanei tramite la scalabilità automatica, on demand e rapida delle istanze.
Porta il tuo container da eseguire il deployment su Cloud Run pacchettizzando l'applicazione e la relativa dipendenza in un container.
La tua app AI funge da endpoint API scalabile che gestisce le richieste in entrata e invia i dati a un modello di AI preaddestrato per l'elaborazione, quindi restituisce i risultati.
Se hai un modello personalizzato che hai addestrato personalmente, puoi anche utilizzarlo con la risorsa Cloud Run.
Cloud de Confiance by S3NS offre un'ampia gamma di soluzioni per supportare l'infrastruttura della tua applicazione AI.Puoi anche eseguire l'integrazione con soluzioni di terze parti.
Gli strumenti consentono alle tue app e ai tuoi modelli di AI di interagire con servizi, API o siti web eseguiti esternamente o su Cloud Run.
Ad esempio, se la tua app AI è un agente AI, l'agente potrebbe inviare una richiesta a un server MCP per eseguire uno strumento esterno o utilizzare strumenti in esecuzione nel tuo container, come l'esecuzione di codice, l'utilizzo del computer, il recupero di informazioni e così via.