瞭解 Cloud AI 的應用研究和工程

隨著大型語言模型 (LLM) 的發展，企業的 LLM 服務成本效益日益受到「每部機器一個模型」部署模式的限制。模型共同託管功能可讓多個模型執行個體共用相同的虛擬機器和 GPU 資源，解決效率落差問題。這篇技術網誌詳細說明 Vertex AI 工程團隊的流程，如何將模型共同託管功能導入可供正式環境使用的雲端服務。