Compute Engine의 Cloud TPU 리소스

Compute Engine 리소스를 사용하여 텐서 처리 장치 (TPU)를 만들고 관리할 수 있습니다. 이 페이지에서는 Compute Engine에서 TPU를 사용하는 개념을 간략하게 설명합니다. TPU 개념을 Compute Engine 리소스에 매핑하고 TPU 리소스를 만들기 위한 대략적인 워크플로를 설명합니다.

기본 TPU 개념

Compute Engine 내에서 TPU 리소스를 관리하려면 다음과 같은 기본 TPU 개념을 이해하는 것이 좋습니다.

  • TPU VM: TPU 하드웨어에 직접 연결되는 가상 머신입니다.
  • TPU 슬라이스: 하나 이상의 TPU VM을 통해 액세스되는 상호 연결된 TPU 칩의 논리적 그룹입니다. 슬라이스에는 다음 범위 중 하나가 있습니다.
    • 단일 호스트 슬라이스: 호스트 머신 하나로 구성된 슬라이스입니다. 일반적으로 이는 하나의 TPU VM에 매핑됩니다.
    • 멀티 호스트 슬라이스: 고속 칩 간 상호 연결 (ICI)을 사용하여 상호 연결된 여러 TPU VM 으로 구성된 슬라이스입니다.

    TPU 및 Compute Engine 개념 지도

    다음 표에서는 TPU 개념이 Compute Engine 리소스에 매핑되는 방법을 설명합니다.

    Cloud TPU 개념 Compute Engine 리소스 리소스 세부정보 사용 사례
    TPU VM VM 인스턴스 TPU 하드웨어에 직접 액세스할 수 있는 Compute Engine VM입니다. 개별 VM 작업, SSH 명령어 실행 또는 디버깅
    TPU 단일 호스트 슬라이스 단일 VM이 있는 VM 인스턴스 또는 MIG 하나의 물리적 호스트 머신으로 구성된 구성입니다. 자동 확장을 통한 추론
    TPU 멀티 호스트 슬라이스 워크로드 정책에 가속기 토폴로지가 지정된 MIG ICI를 사용하여 상호 연결되고 단일 논리 단위로 관리되는 TPU VM 그룹입니다. 원자적 프로비저닝이 필요한 대규모 분산 학습

    Cloud TPU API에서 마이그레이션

    Google Cloud CLI 및 Cloud TPU용 Cloud 클라이언트 라이브러리를 포함한 Cloud TPU API는 더 이상 활발하게 개발되지 않습니다. Cloud TPU API는 버그 수정 및 보안 업데이트만 수신합니다. TPU7x (Ironwood)부터 시작되는 새로운 하드웨어 세대는 Compute Engine 또는 Google Kubernetes Engine (GKE)을 통해서만 지원됩니다. 최신 기능과 최신 TPU 버전에 대한 지원을 받으려면 기존 Cloud TPU API 호출을 Compute Engine 또는 GKE의 동등한 호출로 대체하여 마이그레이션하세요.

    오케스트레이션 및 워크로드 요구사항에 따라 다음 경로 중 하나를 선택하세요.

    • Compute Engine: 직접 VM 수준 제어 또는 커스텀 OS 이미지가 필요한 사용자에게 권장됩니다. Compute Engine에서 TPU 프로비저닝을 시작하려면 빠른 시작: TPU VM 만들기를 참조하세요.
    • GKE: 컨테이너화된 워크로드, 자동 확장, 대규모 오케스트레이션에 권장됩니다. GKE에서 TPU를 사용하는 방법에 대한 자세한 내용은 GKE의 TPU 정보를 참조하세요.

    기존 TPU 리소스

    Cloud TPU API (Node 또는 QueuedResource REST 객체)를 사용하여 만든 TPU 리소스는 Compute Engine 및 GKE와 호환되지 않습니다. Compute Engine 또는 GKE를 사용하려면 다음 단계를 따르세요.

    • Cloud TPU API를 사용하는 스크립트를 Compute Engine 또는 GKE API를 사용하도록 다시 작성합니다.
    • Cloud TPU API를 사용하여 리소스를 삭제하고 Compute Engine 또는 GKE API를 사용하여 다시 만듭니다.

    제한사항

    Compute Engine의 TPU에는 다음과 같은 제한사항이 있습니다.

    • TPU 버전: Compute Engine은 v5p, v6e, TPU7x를 지원합니다.
    • 용량 모드: 모든 용량 모드 는 Compute Engine에서 사용할 수 없습니다.
    • 멀티슬라이스: 상호 연결된 멀티 호스트 TPU 슬라이스 그룹을 만드는 것은 Compute Engine에서 사용할 수 없습니다. 멀티슬라이스를 사용하려면 Google Kubernetes Engine (GKE)을 사용해야 합니다. 자세한 내용은 GKE에서 TPU 멀티슬라이스 배포를 참조하세요.
    • 컬렉션: 컬렉션 예약은 Compute Engine에서 사용할 수 없습니다. 컬렉션 예약을 사용하려면 GKE를 사용해야 합니다. 자세한 내용은 GKE 문서의 컬렉션 예약 을 참조하세요.

    다음 단계