在 Cloud Run 託管 AI 代理

本頁面重點說明在 Cloud Run 上代管 AI 代理程式的用途。

AI 代理是自主軟體實體，會使用 LLM 驅動的系統感知、決策及行動，以達成目標。隨著更多自主代理建構完成，它們的溝通和協作能力將變得至關重要。

Cloud Run 上的 AI 代理用途

您可以將 AI 代理程式實作為 Cloud Run 服務，自動調度管理一組非同步工作，並透過多輪要求/回應互動提供資訊。

Cloud Run 服務是應用程式核心邏輯的可擴充 API 端點。透過自動、隨選和快速調度執行個體，有效管理多個並行使用者。

Cloud Run 上的 AI 代理架構

在 Cloud Run 上部署的典型 AI 代理架構可能涉及 Cloud de Confiance by S3NS 內外 Cloud de Confiance by S3NS的數個元件：

在 Cloud Run 上代管的 AI 代理的四個元件。
圖 1 Cloud Run 上的 AI 代理架構。

下圖顯示下列項目：

  • 代管平台：Cloud Run 是執行代理程式的代管平台，具有下列優點：

    • 支援執行任何代理架構，建構不同類型的代理和代理式架構。代理程式架構的例子包括 Agent Development Kit (ADK)、Dify、LangGraph 和 n8n。
    • 提供內建功能，可管理代理程式。舉例來說，Cloud Run 提供內建服務身分，您可將其做為代理身分，透過安全且自動的憑證呼叫 Cloud de Confiance by S3NS API。
    • 支援將代理程式架構連結至其他服務。您可以將代理程式連結至部署在 Cloud Run 上的第一方或第三方工具。舉例來說，如要瞭解代理程式的工作和執行情況，您可以部署及使用 Langfuse 和 Arize 等工具。

  • 對話代理互動：Cloud Run 支援將 HTTP 回應串流傳回給使用者，以及使用 WebSockets 進行即時互動。

  • 生成式 AI 模型：自動化調度管理層會呼叫模型，以取得推論功能。

  • 記憶：代理通常需要記憶功能來保留脈絡，並從過去的互動中學習。

  • 向量資料庫：如要進行檢索增強生成 (RAG) 或擷取結構化資料，請使用向量資料庫查詢特定實體資訊，或對嵌入項目執行向量搜尋。

  • 工具：協調器會使用工具執行特定工作，與外部服務、API 或網站互動。這些實用資源包括：

    • Model Context Protocol (MCP)：使用這項標準化通訊協定，與透過 MCP 伺服器執行的外部工具通訊。
    • 基本公用程式：精確的數學計算、時間轉換或其他類似公用程式。
    • 呼叫 API：呼叫其他內部或第三方 API (讀取或寫入存取權)。
    • 生成圖片或圖表：快速有效地製作視覺內容。
    • 瀏覽器和作業系統自動化：在容器執行個體中執行無周邊或完整圖形作業系統，讓代理程式瀏覽網頁、從網站擷取資訊，或使用點擊和鍵盤輸入執行動作。
    • 執行程式碼：執行程式碼 時，可使用多層沙箱機制，確保環境安全，且只需極少或完全不需要 IAM 權限。