推理结果是经过训练的机器学习模型的输出。本页面简要介绍了在 Gemini Enterprise Agent Platform 上从模型获取推理结果的工作流。
Agent Platform 支持在线推理：-
在线推理 是指向部署到
的模型发出的同步请求
Endpoint。 因此，在发送请求之前，您必须先将Model资源部署到端点。这会将 计算资源与 模型相关联，以便模型以 低延迟方式执行在线推理。如果您要发出请求以响应应用输入，或者在其他需要及时推理的情况下，可以使用在线推理。
在本地测试模型
在获取推理结果之前，在开发和测试阶段将您的模型部署到本地端点会很有用。这样，您就可以更快地迭代并测试模型，而无需将其部署到在线端点，也不会产生推理费用。本地部署适用于本地开发和测试，而不是用于生产部署。
如需在本地部署模型，请使用 Python 版 Agent Platform SDK 并将
LocalModel
部署到
LocalEndpoint。
即使您的客户端不是用 Python 编写的，您仍然可以使用 Python 版 Agent Platform SDK 来启动容器和服务器，以测试来自客户端的请求。
从自定义训练模型获取推理结果
如需获取推理结果，您必须先导入
模型。
导入后，它将成为
Model资源
，在
Model Registry中显示。
然后，阅读以下文档以了解如何获取推理结果：
后续步骤
- 了解用于 推理的计算资源。
- 了解 Agent Platform Cloud de Confiance 与 Google Cloud 的区别。