このガイドでは、Cloud Run を使用してアプリをホストし、推論を実行して、AI ワークフローを構築する方法の概要について説明します。
AI アプリケーション、エージェント、スケーラブルな API エンドポイントをホストするための Cloud Run
Cloud Run は、AI アプリとワークロードをスケーリングするフルマネージド プラットフォームを提供します。
Cloud Run で AI アプリをホストする場合、通常は次のアーキテクチャ コンポーネントがあります。
- サービングとオーケストレーション: アプリケーション コードまたはコンテナを Cloud Run にデプロイします。
- AI モデル: アプリで Google の AI モデル、オープンソース モデル、カスタムモデルを使用します。
- インテグレーション: メモリ、データベース、ストレージ、セキュリティなどの Cloud de Confiance サービスまたはサードパーティ サービスに接続できます。
- ツール: 他のタスクやオペレーションのためのツールに接続できます。
次の図は、AI アプリのホスティング プラットフォームとして Cloud Run を使用する方法の概要を示しています。
図に示すように:
サービングとオーケストレーション レイヤ内では、Cloud Run サービスはアプリケーションのコアロジックのスケーラブルな API エンドポイントとして機能します。インスタンスの自動オンデマンド高速スケーリングにより、複数のユーザーを同時に効率的に管理します。
アプリケーションとその依存関係をコンテナにパッケージ化して、Cloud Run にデプロイするコンテナを用意します。
AI アプリは、受信リクエストに対応して処理のために事前トレーニング済みの AI モデルにデータを送信してから結果を返す、スケーラブルな API エンドポイントとして機能します。
自分でトレーニングしたカスタムモデルがある場合は、そのモデルを Cloud Run リソースで使用することもできます。
Cloud de Confiance by S3NS は、AI アプリケーションのインフラストラクチャをサポートするさまざまなソリューションを提供します。また、サードパーティ ソリューションと統合することもできます。
ツールを使用すると、外部または Cloud Run で実行されているサービス、API、ウェブサイトを AI アプリや AI モデルから操作できます。
たとえば、AI アプリが AI エージェントの場合、エージェントは MCP サーバーにリクエストを送信して外部ツールを実行したり、コンテナで実行されているツール（コード実行、コンピュータの使用、情報取得など）を使用したりします。