이 페이지의 일부 또는 모든 정보는 S3NS의 Cloud de Confiance에 적용되지 않을 수 있습니다. 자세한 내용은
Google Cloud와의 차이점을 참조하세요.
Google은 AI 기술을 사용하여 콘텐츠를 사용자의 기본 언어로 번역합니다. AI 번역에는 오류가 있을 수 있습니다.
Cloud AI의 응용 연구 및 엔지니어링에 대해 알아보기
대규모 언어 모델 (LLM)의 환경이 진화함에 따라 '머신당 하나의 모델' 배포 패턴이 기업의 LLM 서빙 비용 효율성에 심각한 병목 현상이 되고 있습니다. 모델 공동 호스팅은 여러 모델 인스턴스가 동일한 가상 머신 및 GPU 리소스를 공유할 수 있도록 하여 이러한 효율성 격차를 해결합니다. 이 기술 블로그에서는 모델 공동 호스팅을 프로덕션 지원 클라우드 서비스로 가져오는 Vertex AI 엔지니어링의 프로세스를 자세히 설명합니다.
[[["이해하기 쉬움","easyToUnderstand","thumb-up"],["문제가 해결됨","solvedMyProblem","thumb-up"],["기타","otherUp","thumb-up"]],[["필요한 정보가 없음","missingTheInformationINeed","thumb-down"],["너무 복잡함/단계 수가 너무 많음","tooComplicatedTooManySteps","thumb-down"],["오래됨","outOfDate","thumb-down"],["번역 문제","translationIssue","thumb-down"],["샘플/코드 문제","samplesCodeIssue","thumb-down"],["기타","otherDown","thumb-down"]],[],[],[]]
