Gemini Enterprise Agent Platform 支援的 RAG Engine 模型

本頁面列出 Gemini Enterprise Agent Platform 上，支援 RAG Engine 的 Gemini 模型、自行部署的模型，以及具備代管 API 的模型。

Gemini 模型

下列模型支援 RAG Engine：

按一下即可展開支援的機型

如果 Gemini 模型在 Gemini Enterprise Agent Platform 上使用 RAG Engine，則不支援微調後的 Gemini 模型。

自行部署的模型

Gemini Enterprise Agent Platform 中的 RAG Engine 支援 Model Garden 的所有模型。

搭配使用 RAG Engine 與自行部署的開放式模型端點。

替換程式碼範例中使用的變數：

PROJECT_ID：專案 ID。
LOCATION：處理要求的區域。

ENDPOINT_ID：端點 ID。

  # Create a model instance with your self-deployed open model endpoint
  rag_model = GenerativeModel(
      "projects/PROJECT_ID/locations/LOCATION/endpoints/ENDPOINT_ID",
      tools=[rag_retrieval_tool]
  )

在 Agent Platform 採用代管 API 的模型

Agent Platform 上支援 RAG Engine 的代管 API 模型包括：

下列程式碼範例說明如何使用 Gemini GenerateContent API 建立生成模型執行個體。模型 ID /publisher/meta/models/llama-3.1-405B-instruct-maas 位於模型資訊卡中。

替換程式碼範例中使用的變數：

PROJECT_ID：專案 ID。
LOCATION：處理要求的區域。

RAG_RETRIEVAL_TOOL：RAG 檢索工具。

  # Create a model instance with Llama 3.1 MaaS endpoint
  rag_model = GenerativeModel(
      "projects/PROJECT_ID/locations/LOCATION/publisher/meta/models/llama-3.1-405B-instruct-maas",
      tools=RAG_RETRIEVAL_TOOL
  )

下列程式碼範例說明如何使用與 OpenAI 相容的 ChatCompletions API 生成模型回覆。

替換程式碼範例中使用的變數：

PROJECT_ID：專案 ID。
LOCATION：處理要求的區域。
MODEL_ID：用於生成內容的 LLM 模型。例如：meta/llama-3.1-405b-instruct-maas。
INPUT_PROMPT：傳送至 LLM 的文字，用於生成內容。提示應與 Agent Search 中的文件相關。
RAG_CORPUS_ID：RAG 語料庫資源的 ID。
ROLE：您的角色。
USER：您的使用者名稱。

CONTENT：您的內容。

  # Generate a response with Llama 3.1 MaaS endpoint
  response = client.chat.completions.create(
      model="MODEL_ID",
      messages=[{"ROLE": "USER", "content": "CONTENT"}],
      extra_body={
          "extra_body": {
              "google": {
                  "vertex_rag_store": {
                      "rag_resources": {
                          "rag_corpus": "RAG_CORPUS_ID"
                      },
                      "similarity_top_k": 10
                  }
              }
          }
      },
  )

後續步驟

搭配使用嵌入模型與 RAG Engine。