部署生成式 AI 模型

部分生成式 AI 模型 (例如 Gemini) 具有代管 API，不需部署即可接受提示。如需模型清單，請參閱「Google 模型」。

其他生成式 AI 模型必須先部署至端點，才能接受提示。您必須部署兩種生成式模型：

  • 調整後的模型：使用自己的資料調整支援的基礎模型，即可建立這類模型。

  • 沒有代管 API 的生成式模型。在 Model Garden 中，這些模型未標示為「API available」(可使用 API) 或「Agent Platform Studio」，例如 Llama 2。

將模型部署至端點時，Gemini Enterprise Agent Platform 會將運算資源和 URI 與模型建立關聯，以便處理提示要求。

部署調整後的模型

調整後的模型會自動上傳至 Gemini Enterprise Agent Platform Model Registry，並部署至 Agent Platform 共用公開 endpoint。調整後的模型不會顯示在 Model Garden 中，因為這些模型是使用您的資料調整。詳情請參閱「模型調整總覽」。

端點啟用後，即可在 URI 接受提示詞要求。微調模型的 API 呼叫格式與微調前的基礎模型相同。舉例來說，如果模型是依據 Gemini 調整，提示要求就應遵循 Gemini API。

請務必將提示要求傳送至調整後模型的端點，而非代管 API。調整後模型的端點格式如下：

https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/endpoints/ENDPOINT_ID

如要取得端點 ID，請參閱「查看或管理端點」。

部署沒有代管 API 的生成模型

如要使用 Model Garden 中沒有代管 API 的模型，必須先將模型上傳至 Model Registry 並部署至端點，才能傳送提示要求。這與在 Agent Platform 中上傳及部署自訂訓練模型以進行線上預測類似。

如要部署其中一個模型，請前往 Model Garden，然後選取要部署的模型。

前往 Model Garden

每張模型資訊卡會顯示下列一或多個部署選項：

  • 「Deploy」(部署) 按鈕：Model Garden 中的大多數生成式模型都有「Deploy」(部署) 按鈕，可引導您部署至 Agent Platform。如果沒有看到「Deploy」(部署) 按鈕，請前往下一個項目。

    如要在 Agent Platform 部署，可以使用建議設定或自行修改。您也可以調整「Advanced」(進階) 部署設定，例如選取 Compute Engine 預留項目。

  • 「Open Notebook」(開啟筆記本) 按鈕：這個選項會開啟 Jupyter 筆記本。每個模型資訊卡都會顯示這個選項。Jupyter 筆記本包含操作說明和程式碼範例，可協助您將模型上傳至 Model Registry、將模型部署至端點，以及傳送提示要求。

部署作業完成且端點啟用後，即可在 URI 接受提示要求。API 的格式為 predict，要求主體中每個 instance 的格式則取決於模型。詳情請參閱下列資源：

請確認您有足夠的機器配額來部署模型。如要查看目前的配額或要求更多配額，請前往 Cloud de Confiance 控制台的「Quotas」(配額) 頁面。

前往配額

然後依配額名稱 Custom Model Serving 篩選，查看線上預測的配額。詳情請參閱「查看及管理配額」。

使用 Compute Engine 預留項目，確保已部署的模型有足夠容量

您可以將 Model Garden 模型部署至透過 Compute Engine 預留項目分配的 VM 資源。預留項目可確保模型預測要求需要時，有足夠的容量可用。詳情請參閱「使用預留項目搭配預測工作」。

查看或管理模型

如要查看調整過的模型和調整工作，請前往 Cloud de Confiance 控制台的「Tune and Distill」(調整及精煉) 頁面。

前往「調整及蒸餾」

您也可以在 Model Registry 中查看及管理所有上傳的模型。

前往「Model Registry」

在 Model Registry 中，調整後的模型會歸類為大型模型，並具有標籤，指定基礎模型和用於調整的管道或調整工作。

使用「Deploy」(部署) 按鈕部署的模型，其 Source 會顯示為「Model Garden」。請注意，如果模型在 Model Garden 中更新，您在 Model Registry 中上傳的模型不會更新。

詳情請參閱「Gemini Enterprise Agent Platform Model Registry 簡介」。

查看或管理端點

如要查看及管理端點，請前往 Agent Platform 的「線上預測」頁面。根據預設，端點名稱與模型名稱相同。

前往「線上預測」

詳情請參閱「將模型部署至端點」。

監控模型端點流量

如要瞭解如何監控模型端點流量，請參閱「監控模型」。

限制

  • 調整後的 Gemini 模型只能部署至共用公開端點。不支援部署至專屬公開端點、Private Service Connect 端點和私人端點。

定價

微調模型的計費方式是依據詞元數量，費率與微調前的基礎模型相同。調整作業是以小型轉接器的形式在基礎模型上執行，因此端點不會產生費用。

如果模型沒有代管 API，則會依據端點使用的機器時數計費，費率與 Agent Platform 線上預測相同。我們不會按詞元計費。詳情請參閱「Agent Platform 預測功能定價」。

後續步驟