無論是建構代理程式、執行推論模型，還是整合各種 AI 服務，Cloud Run 都能提供擴充性、彈性和易用性，協助您將 AI 創新技術付諸實現。
本頁面將著重說明在 Cloud Run 上代管、建構及部署 AI 工作負載的一些高階用途。
為何要使用 Cloud Run 處理 AI 工作負載？
Cloud Run 提供多項優勢，可確保 AI 應用程式具備可擴充性、彈性和可管理性。以下列舉幾項重點功能：
- 彈性的容器支援：將應用程式及其依附元件封裝在容器中，或使用任何支援的語言、程式庫或架構。進一步瞭解 Cloud Run 的容器執行階段合約。
- HTTP 端點：部署 Cloud Run 服務或執行個體後，即可取得立即可用的安全 Cloud Run 網址端點。Cloud Run 支援 HTTP 分塊傳輸編碼、HTTP/2 和 WebSocket，因此可提供串流功能。
- 自動或手動調度資源：對於 Cloud Run 服務，Cloud Run 會根據需求自動調度服務資源。這樣一來，您只需依實際用量付費，非常適合處理難以預測的 AI 工作負載。您也可以根據流量和 CPU 使用率需求，將服務設為手動調度。Cloud Run 執行個體不適用於自動調度資源，因為這些執行個體會以單例模式執行，且必須手動啟動及停止。
- 企業適用：Cloud Run 提供直接 VPC 連線、精細的安全性和網路控制項。
主要 AI 用途
以下是幾種使用 Cloud Run 支援 AI 應用程式的方式：
託管 AI 代理和機器人
Cloud Run 是託管 AI 代理程式、聊天機器人和虛擬助理後端邏輯的理想平台。這些代理程式可以協調對 Vertex AI 上 Gemini 等 AI 模型的呼叫、管理狀態，以及整合各種工具和 API。
- 代理程式微服務：將個別代理程式功能部署為獨立的 Cloud Run 服務或執行個體。詳情請參閱「主機 AI 代理」。
- Model Context Protocol (MCP) 伺服器：導入 MCP 伺服器，從工具和資料來源為 LLM 提供標準化脈絡。詳情請參閱「代管 MCP 伺服器」。
提供 AI/機器學習模型以進行推論
將訓練好的機器學習模型部署為可擴充的 HTTP 端點。
- 即時推論：根據使用 TensorFlow、PyTorch、scikit-learn 等架構建構的模型，或 Gemma 等開放式模型提供預測。
- 將大型模型檔案與容器分離：Cloud Storage FUSE 轉接器可讓您掛接 Cloud Storage bucket，並在 Cloud Run 容器中以本機目錄的形式存取。
代管採用 AI 技術的 API 和後端
建立內嵌 AI 功能的 API 和微服務。
- 智慧型 API：開發使用 LLM 的 API，進行自然語言理解、情緒分析、翻譯、摘要等作業。
- 自動化工作流程：根據事件或要求建構服務，觸發 AI 導向的動作。
設計原型並實驗構想
快速疊代 AI 構想。
- 流量分配：使用 Cloud Run 的流量分配功能，對不同的模型、提示或設定進行 A/B 測試，並透過 Google Cloud Observability 監控延遲時間、錯誤率和費用等指標，評估 A/B 測試的成效。
後續步驟
視您對 AI 概念的熟悉程度和 AI 用途，探索 Cloud Run AI 資源。