Agent Platform での推論取得の概要

推論とは、トレーニング済み ML モデルの出力です。このページでは、Gemini Enterprise Agent Platform のモデルから推論を取得するワークフローの概要について説明します。

• オンライン推論は、 Endpointにデプロイされたモデルに対して行われる同期リクエストです。 したがって、リクエストを送信する前に、まず Model リソースをエンドポイントにデプロイする必要があります。これにより、コンピューティング リソースがモデルに関連付けられ、モデルが低レイテンシでオンライン推論を行えるようになります。アプリケーションの入力に応じてリクエストを行う場合や、タイムリーな推論が必要な場合は、オンライン推論を使用します。

ローカルでモデルをテストする

推論を取得する前に、開発およびテストフェーズ中にモデルをローカル エンドポイントにデプロイすると便利です。これにより、オンライン エンドポイントにデプロイすることや推論費用を発生させることなく、イテレーションを迅速に行い、モデルをテストできます。ローカルへのデプロイは、ローカルでの開発とテストを目的としており、本番環境へのデプロイを目的とするものではありません。

モデルをローカルにデプロイするには、Agent Platform SDK for Python を使用して、 LocalModel を LocalEndpointにデプロイします。

クライアントが Python で作成されていない場合でも、Agent Platform SDK for Python を使用してコンテナとサーバーを起動し、クライアントからのリクエストをテストできます。

カスタム トレーニング済みモデルから推論を取得する

推論を取得するには、まずモデルをインポートする 必要があります。 インポートしたモデルは Model リソース となり、 Model Registry に表示されます。

その後、推論を取得する方法について、次のドキュメントをご覧ください。

モデルを エンドポイントに デプロイし、オンライン推論を 取得する。

次のステップ

• 推論用のコンピューティング リソースについて 確認する。
• と Cloud de Confiance Google Cloud での Agent Platform の相違点について確認する。