Cas d'utilisation de l'IA sur Cloud Run

Que vous créiez des agents, exécutiez des modèles d'inférence ou que vous vous intégriez à différents services d'IA, Cloud Run offre l'évolutivité, la flexibilité et la facilité d'utilisation nécessaires pour donner vie à vos innovations en matière d'IA.

Cette page présente quelques cas d'utilisation de haut niveau pour l'hébergement, la création et le déploiement de charges de travail d'IA sur Cloud Run.

Pourquoi utiliser Cloud Run pour les charges de travail d'IA ?

Cloud Run offre plusieurs avantages pour garantir que vos applications d'IA sont évolutives, flexibles et gérables. Voici quelques points importants :

  • Compatibilité flexible avec les conteneurs : empaquetez votre application et ses dépendances dans un conteneur, ou utilisez n'importe quel langage, bibliothèque ou framework compatible. En savoir plus sur le contrat d'exécution de conteneurs de Cloud Run.
  • Point de terminaison HTTP : après avoir déployé un service ou une instance Cloud Run, recevez un point de terminaison d'URL Cloud Run sécurisé et prêt à l'emploi. Cloud Run fournit la diffusion en flux continu grâce à la prise en charge de l'encodage de transfert fragmenté HTTP, HTTP/2 et WebSockets.
  • Scaling automatique ou manuel : pour les services Cloud Run, Cloud Run met automatiquement à l'échelle votre service en fonction de la demande. Cela vous permet de ne payer que ce que vous utilisez, ce qui est idéal pour les charges de travail d'IA imprévisibles. Vous pouvez également définir le scaling manuel de votre service en fonction de vos besoins en matière de trafic et d'utilisation du processeur. Pour les instances Cloud Run, l'autoscaling n'est pas applicable. Elles s'exécutent en tant que singletons que vous démarrez et arrêtez manuellement.

Principaux cas d'utilisation de l'IA

Voici quelques façons d'utiliser Cloud Run pour optimiser vos applications d'IA :

Héberger des agents et des bots d'IA

Cloud Run est une plate-forme idéale pour héberger la logique de backend des agents d'IA, des chatbots et des assistants virtuels. Ces agents peuvent orchestrer des appels à des modèles d'IA tels que Gemini sur Vertex AI, gérer l'état et s'intégrer à divers outils et API.

  • Microservices pour les agents : déployez des fonctionnalités d'agent individuelles en tant que services ou instances Cloud Run distincts. Pour en savoir plus, consultez la section Héberger des agents IA.
  • Serveurs Model Context Protocol (MCP) : implémentez des serveurs MCP pour fournir un contexte standardisé aux LLM à partir de vos outils et sources de données. Pour en savoir plus, consultez la section Héberger des serveurs MCP.

Diffuser des modèles d'IA/de ML pour l'inférence

Déployez vos modèles de machine learning entraînés en tant que points de terminaison HTTP évolutifs.

  • Inférence en temps réel : diffusez des prédictions à partir de modèles créés avec des frameworks tels que TensorFlow, PyTorch, scikit-learn ou à l'aide de modèles ouverts tels que Gemma.
  • Dissocier les fichiers de modèles volumineux de votre conteneur : l'adaptateur Cloud Storage FUSE vous permet d'installer un bucket Cloud Storage et de le rendre accessible en tant que répertoire local dans votre conteneur Cloud Run.

Héberger des API et des backends basés sur l'IA

Créez des API et des microservices qui intègrent des fonctionnalités d'IA.

  • API intelligentes : développez des API qui utilisent des LLM pour la compréhension du langage naturel, analyse des sentiments, la traduction, la synthèse, etc.
  • Workflows automatisés : créez des services qui déclenchent des actions basées sur l'IA en fonction d'événements ou de requêtes.

Créer des prototypes et tester des idées

Itérez rapidement des idées d'IA.

  • Répartition du trafic : utilisez la fonctionnalité de répartition du trafic de Cloud Run pour effectuer des tests A/B sur différents modèles, requêtes ou configurations, et Google Cloud Observability pour surveiller les métriques (latence, taux d'erreur, coût) afin de mesurer le succès des tests A/B.

Étape suivante

En fonction de votre connaissance des concepts d'IA et de votre cas d'utilisation de l'IA, explorez les ressources d'IA de Cloud Run.