Ce guide présente l'utilisation de Cloud Run pour héberger des applications, exécuter l'inférence et créer des workflows d'IA.
Cloud Run pour héberger des applications et des agents d'IA, ainsi que des points de terminaison d'API évolutifs
Cloud Run fournit une plate-forme entièrement gérée qui met à l'échelle vos applications et charges de travail d'IA.
Lorsque vous hébergez des applications d'IA sur Cloud Run, vous disposez généralement des composants architecturaux suivants :
- Diffusion et orchestration : vous déployez le code ou le conteneur de votre application sur Cloud Run.
- Modèles d'IA : vous utilisez les modèles d'IA de Google, des modèles Open Source ou des modèles personnalisés avec votre application.
- Intégrations : vous pouvez vous connecter à des services Cloud de Confiance ou à des services tiers pour la mémoire, les bases de données, le stockage, la sécurité et plus encore.
- Outils : vous pouvez vous connecter à des outils pour d'autres tâches et opérations.
Le schéma suivant présente une vue d'ensemble de l'utilisation de Cloud Run comme plate-forme d'hébergement pour les applications d'IA :
Comme le montre le schéma :
Dans la couche de diffusion et d'orchestration, un service Cloud Run sert de point de terminaison d'API évolutif pour la logique principale de votre application. Il gère efficacement plusieurs utilisateurs simultanés grâce à un scaling automatique, à la demande et rapide des instances.
Vous apportez votre conteneur à déployer sur Cloud Run en empaquetant votre application et sa dépendance dans un conteneur.
Votre application d'IA sert de point de terminaison d'API évolutif qui gère les requêtes entrantes et envoie les données à un modèle d'IA pré-entraîné pour traitement, puis renvoie les résultats.
Si vous disposez d'un modèle personnalisé que vous avez entraîné vous-même, vous pouvez également l'utiliser avec votre ressource Cloud Run.
Cloud de Confiance by S3NS propose une grande variété de solutions pour prendre en charge l'infrastructure de votre application d'IA.Vous pouvez également l'intégrer à des solutions tierces.
Les outils permettent à vos applications et modèles d'IA d'interagir avec des services, des API ou des sites Web qui s'exécutent en externe ou sur Cloud Run.
Par exemple, si votre application d'IA est un agent d'IA, votre agent peut envoyer une requête à un serveur MCP pour exécuter un outil externe ou utiliser des outils s'exécutant dans votre conteneur, comme l'exécution de code, l'utilisation de l'ordinateur, la récupération d'informations, etc.