Agent Platform의 추론 가져오기 개요

추론은 학습된 머신러닝 모델의 출력입니다. 이 페이지에서는 Gemini Enterprise Agent Platform의 모델에서 추론을 수행할 수 있는 워크플로를 간략하게 설명합니다.

Agent Platform은 온라인 추론을 지원합니다.

  • 온라인 추론은 Endpoint에 배포된 모델로 전송된 동기식 요청입니다. 따라서 요청을 전송하기 전에 Model 리소스를 엔드포인트에 배포해야 합니다. 이렇게 하면 컴퓨팅 리소스가 모델과 연결되므로 모델이 짧은 지연 시간으로 온라인 추론을 제공할 수 있습니다. 애플리케이션 입력에 대한 응답으로 요청하거나 적시의 추론이 필요한 상황에서 요청하는 경우에 온라인 추론을 사용하세요.

로컬에서 모델 테스트

추론을 수행하기 전에 모델을 개발 및 테스트 단계 중에 로컬 엔드포인트에 배포하는 것이 좋습니다. 이렇게 하면 모델을 더 빠르게 반복하고 모델을 온라인 엔드포인트에 배포하지 않거나 추론 비용 없이 모델을 테스트할 수 있습니다. 로컬 배포는 프로덕션 배포가 아닌 로컬 개발 및 테스트를 대상으로 합니다.

모델을 로컬로 배포하려면 Python용 Agent Platform SDK를 사용하여 LocalModel 을(를) LocalEndpoint에 배포합니다.

클라이언트가 Python으로 작성되지 않았더라도 Agent Platform SDK for Python을 사용하여 컨테이너와 서버를 실행할 수 있으므로 클라이언트의 요청을 테스트할 수 있습니다.

커스텀 학습 모델에서 추론 가져오기

추론을 수행하려면 먼저 모델을 가져와야 합니다. 가져오면 Model 리소스 가 Model Registry에 표시됩니다.

그런 다음, 추론 수행 방법을 알아보려면 다음 문서를 참조하세요.

모델을 엔드포인트에 배포하고 온라인 추론을 수행합니다.

다음 단계