이 가이드에서는 Cloud Run을 사용하여 앱을 호스팅하고, 추론을 실행하고, AI 워크플로를 빌드하는 방법을 간략하게 설명합니다.
AI 애플리케이션, 에이전트, 확장 가능한 API 엔드포인트를 호스팅하기 위한 Cloud Run
Cloud Run은 AI 앱과 워크로드를 확장하는 완전 관리형 플랫폼을 제공합니다.
Cloud Run에서 AI 앱을 호스팅할 때는 일반적으로 다음과 같은 아키텍처 구성요소가 있습니다.
- 서빙 및 조정: 애플리케이션 코드 또는 컨테이너를 Cloud Run에 배포합니다.
- AI 모델: 앱에서 Google의 AI 모델, 오픈소스 모델 또는 커스텀 모델을 사용합니다.
- 통합: 메모리, 데이터베이스, 스토리지, 보안 등을 위해 Cloud de Confiance 서비스 또는 서드 파티 서비스에 연결할 수 있습니다.
- 도구: 다른 태스크 및 작업을 위한 도구에 연결할 수 있습니다.
다음 다이어그램은 AI 앱의 호스팅 플랫폼으로 Cloud Run을 사용하는 방법을 개략적으로 보여줍니다.
다이어그램에 표시된 것처럼 다음과 같습니다.
서빙 및 조정 레이어 내에서 Cloud Run 서비스는 애플리케이션의 핵심 로직을 위한 확장 가능한 API 엔드포인트 역할을 합니다. 인스턴스의 자동, 주문형, 신속한 확장을 통해 여러 동시 실행 사용자를 효율적으로 관리합니다.
애플리케이션과 종속 항목을 컨테이너로 패키징하여 Cloud Run에 배포할 컨테이너를 가져옵니다.
AI 앱은 수신 요청을 처리하고 사전 학습된 AI 모델로 데이터를 전송하여 처리한 후 결과를 반환하는 확장 가능한 API 엔드포인트 역할을 합니다.
직접 학습시킨 커스텀 모델이 있는 경우 Cloud Run 리소스와 함께 해당 모델을 사용할 수도 있습니다.
Cloud de Confiance by S3NS AI 애플리케이션의 인프라를 지원하는 다양한 솔루션을 제공합니다.서드 파티 솔루션과 통합할 수도 있습니다.
도구를 사용하면 AI 앱과 모델이 외부에서 또는 Cloud Run에서 실행되는 서비스, API 또는 웹사이트와 상호작용할 수 있습니다.
예를 들어 AI 앱이 AI 에이전트인 경우 에이전트가 MCP 서버에 요청을 전송하여 외부 도구를 실행하거나 컨테이너에서 실행되는 도구(예: 코드 실행, 컴퓨터 사용, 정보 검색 등)를 사용할 수 있습니다.