脈絡快取總覽

如果傳送至 Gemini 的要求含有重複內容，脈絡快取功能可降低成本和延遲時間。Gemini Enterprise Agent Platform 提供兩種快取類型：

  • 隱含快取：預設啟用自動快取，可在快取命中時節省費用。隱含快取包括記憶體內快取和永久快取。
  • 明確快取：使用 Gemini Enterprise API 啟用手動快取，明確宣告要快取的內容，以及提示是否應參照快取內容。

無論是隱含或明確快取，回應中繼資料的 cachedContentTokenCount 欄位都會指出輸入內容快取部分的權杖數量。

快取儲存費用

無論是隱性或顯性快取，系統都會按照標準輸入權杖價格，針對用於建立快取的輸入權杖向您收費。如果是明確快取，則會根據快取儲存時間長度收取儲存費用。隱含快取不會產生儲存費用。詳情請參閱「Agent Platform 計價方式」。

隱含快取

根據預設，所有 Cloud de Confiance by S3NS 專案都會啟用隱含快取。與標準輸入詞元相比，隱含快取可為快取詞元提供 90% 的折扣。啟用後，系統會自動將隱含快取命中節省的費用轉移給你。

隱含快取會在兩個儲存空間層級中儲存前置字元：

  • 記憶體內快取：快取的前置字串會保留在記憶體中。記憶體容量有限，因此系統會回收容量，並清除前置字元。
  • 持久快取：從記憶體內儲存空間移除前置字串時，系統會將其移至持久儲存空間，而非捨棄。後續要求如果重複使用前置字元，仍可命中快取，因此如果工作負載重複使用相同脈絡的時間間隔較長，快取命中率就會提高。

兩個級別預設皆為啟用。快取前置字串會在建立後 24 小時內到期，且大多數項目會提前移除。您可以停用永久快取並保留記憶體快取，也可以完全停用隱含快取。如果您對資料保留有疑慮，請參閱「不保留資料」一節，瞭解快取資料的處理方式，以及如何停用各層。

如要提高隱含快取命中的可能性，請按照下列步驟操作：

  • 在提示開頭放置大型且常見的內容。
  • 在短時間內傳送具有類似前置字串的要求。

支援的模型

支援的 Gemini 模型可使用隱式快取，其中部分模型可使用永久快取。

記憶體快取

使用下列模型時，支援記憶體內快取：

按一下即可展開支援的模型

持久快取

使用下列模型時，系統支援持久性快取：

隱式快取功能也支援開放模型。詳情請參閱「Agent Platform 模型即服務開放模型」。

明確快取

明確快取可提供更多控制權，並確保參照現有內容快取的輸入權杖享有折扣。如果是 Gemini 2.5 以上版本模型，折扣為 90%；如果是 Gemini 2.0 模型，折扣為 75%。

使用 Gemini Enterprise API，您可以執行下列工作：

您也可以使用 Gemini Enterprise API 擷取脈絡快取的相關資訊。

明確快取會與隱含快取互動，因此建立快取時，可能會產生指定內容以外的其他快取。如要避免保留快取資料，請停用隱含快取，並避免建立明確快取。詳情請參閱「啟用及停用快取功能」。

支援的模型

使用下列模型時，支援明確快取：

按一下即可展開支援的模型

脈絡快取功能的使用時機

如果後續要求會反覆參照大量初始脈絡，就特別適合使用脈絡快取。

快取脈絡項目 (例如大量文字、音訊檔案或影片檔案) 可用於 Gemini API 的提示要求，以生成輸出內容。使用相同快取的提示詞要求，也會包含各提示詞專屬的文字。舉例來說，構成對話的每個提示要求，可能都包含參照影片的相同脈絡快取，以及構成對話中每個回合的專屬文字。

建議在下列情況使用脈絡快取：

  • 具備大量系統指令的聊天機器人
  • 重複分析冗長的影片檔案
  • 定期查詢大型文件集
  • 經常分析程式碼存放區或修正錯誤

佈建輸送量支援隱含和明確快取 (以預先發布版的形式提供)。詳情請參閱佈建輸送量指南。快取適用於所有流量類型。舉例來說，使用佈建輸送量時建立的快取，也適用於 PayGo。

可用性

在可以使用 Agent Platform 生成式 AI 的區域，即可使用脈絡快取功能。詳情請參閱「Agent Platform 的生成式 AI 位置」。

限制

脈絡快取會遵守下表中的限制：

脈絡快取限制

隱性和顯性快取的最低快取權杖數
  • Gemini 3 (例外狀況除外) 和 Gemini 4 模型：4,096 個權杖
  • Gemini 3.0 Flash 預先發布版、3.1 Pro 預先發布版、3.7 Flash 和 3.8 Flash (僅限隱含快取)：6,144 個詞元
  • Gemini 2 系列模型：2,048 個權杖

使用 blob 或文字可快取的內容大小上限

 10 MB

快取建立後到過期的最短時間

 1 分鐘

快取建立後失效前的最長時間

 快取時間沒有上限

隱含快取前置字串的存留時間上限

 最長 24 小時

代理工作負載的快取資料隔離和安全性

Cloud de Confiance 會使用專案編號隔離快取資料，且快取內容絕不會跨專案共用。

為防止代理工作負載中的跨使用者資料外洩，請將快取的提示資料和輸出內容限定在各個使用者工作階段。執行背景代理程式或多租戶 Proxy 時，請將快取界線與使用者授權對齊，以免代理程式跨使用者重複使用快取憑證或資料。

VPC Service Controls 支援

內容快取支援 VPC Service Controls，因此快取內容不會外洩到服務 perimeter 以外。如果您使用 Cloud Storage 建構快取，請一併將 bucket 納入 service perimeter，保護快取內容。

詳情請參閱 Agent Platform 說明文件中的「搭配使用 VPC Service Controls 與 Agent Platform」。

後續步驟