本指南將概要說明如何使用 Cloud Run 託管應用程式、執行推論及建構 AI 工作流程。
Cloud Run：用於代管 AI 應用程式、代理程式和可擴充的 API 端點
Cloud Run 提供全代管平台，可調整 AI 應用程式和工作負載的資源配置。
在 Cloud Run 上託管 AI 應用程式時，通常會有下列架構元件：
- 服務和自動化調度管理：將應用程式程式碼或容器部署至 Cloud Run。
- AI 模型：您可以在應用程式中使用 Google 的 AI 模型、開放原始碼模型或自訂模型。
- 整合：你可以連結 Cloud de Confiance 服務或第三方服務，以取得記憶體、資料庫、儲存空間、安全性等資源。
- 工具：你可以連結其他工具，執行其他工作和作業。
下圖顯示使用 Cloud Run 做為 AI 應用程式代管平台的概要總覽：
如圖所示：
在服務和協調層中，Cloud Run 服務會做為應用程式核心邏輯的可擴充 API 端點。透過自動、隨選和快速調度執行個體資源，有效管理多位並行使用者。
您將應用程式及其依附元件封裝至容器，即可將容器部署至 Cloud Run。
AI 應用程式會做為可擴充的 API 端點，處理傳入的要求並將資料傳送至預先訓練的 AI 模型進行處理，然後傳回結果。
如果您有自行訓練的自訂模型，也可以搭配 Cloud Run 資源使用。
Cloud de Confiance by S3NS 提供各種解決方案，支援 AI 應用程式的基礎架構。您也可以與第三方解決方案整合。
工具可讓 AI 應用程式和模型與外部或 Cloud Run 上執行的服務、API 或網站互動。
舉例來說，如果 AI 應用程式是 AI 代理程式，代理程式可能會將要求傳送至 MCP 伺服器，以執行外部工具，或使用在容器中執行的工具，例如程式碼執行、電腦使用、資訊擷取等。