Zona AI

Zona AI adalah zona khusus yang digunakan untuk workload pelatihan dan inferensi Kecerdasan Buatan dan Machine Learning (AI dan ML). Mereka menyediakan kapasitas akselerator ML (GPU dan TPU) yang signifikan.

Dalam suatu region, zona AI berlokasi secara geografis jauh dari zona standar (non-AI). Gambar berikut menunjukkan contoh zona AI (us-south1-ai1b) yang terletak lebih jauh dibandingkan dengan zona standar di region us-south1.

Parent zone

Setiap zona AI dikaitkan dengan zona standar di region, yang disebut sebagai zona induk. Zona induk adalah zona standar dengan akhiran yang sama dengan zona AI. Misalnya, dalam diagram, us-central1-a adalah zona induk dari us-central1-ai1a. Mereka berbagi jadwal update software dan terkadang infrastruktur. Artinya, masalah software atau infrastruktur apa pun yang memengaruhi zona induk juga dapat memengaruhi zona AI. Saat mendesain solusi ketersediaan tinggi, tinjau Pertimbangan ketersediaan tinggi (HA) untuk memperhitungkan dependensi pada zona induk.

Kapan harus menggunakan zona AI

Zona AI dioptimalkan untuk workload AI dan ML. Gunakan panduan berikut untuk menentukan workload mana yang paling cocok untuk zona AI dan workload mana yang lebih baik dilayani oleh zona standar.

Direkomendasikan untuk:

• Pelatihan skala besar: Ideal untuk beban kerja pelatihan skala besar—seperti pelatihan Model Bahasa Besar (LLM) dan model dasar—karena ketersediaan sejumlah besar akselerator.

• Pelatihan, penyesuaian, inferensi massal, dan pelatihan ulang skala kecil: Zona AI berperforma baik untuk workload yang memerlukan kapasitas akselerator yang besar.

• Inferensi ML real-time: Zona AI mendukung beban kerja inferensi real-time. Performa bergantung pada desain aplikasi dan persyaratan latensi model, terutama jika beban kerja memerlukan permintaan pulang pergi ke wilayah induk.

Tidak direkomendasikan untuk:

• Workload non-ML: Karena zona AI tidak menawarkan semua Cloud de Confiance by S3NS layanan secara lokal, sebaiknya jalankan workload non-ML Anda di zona standar.

Mengakses layanan dari zona AI

Anda dapat mengakses semua produk Cloud de Confiance by S3NS di wilayah Cloud de Confiance by S3NS dari zona AI-nya. Namun, mengakses layanan di region Cloud de Confiance by S3NS dari zona AI dapat menambah latensi jaringan, karena zona AI secara fisik terpisah dari lokasi zona standar region.

Untuk melihat zona AI di konsol Cloud de Confiance , Google Cloud CLI, dan REST API, Anda harus mengaktifkan visibilitas zona AI untuk project Anda. Visibilitas zona AI terpisah dari kontrol akses dan batas Organization Policy Service. Untuk mengetahui informasi selengkapnya, lihat Mengelola visibilitas zona AI.

Produk tertentu mendukung pembuatan atau akses resource zonal secara lokal di zona AI. Untuk mengetahui informasi selengkapnya tentang layanan ini, lihat tabel berikut:

Lokasi

Zona AI tersedia di lokasi berikut:

Untuk meninjau jenis GPU dan TPU yang tersedia di zona AI, lihat artikel berikut:

• Melihat jenis dan lokasi GPU yang tersedia di zona AI
• Melihat jenis dan lokasi TPU yang tersedia di zona AI

Men-deploy resource ke zona AI

Zona AI dapat diakses melalui konsol Cloud de Confiance , Google Cloud CLI, atau REST. Namun, saat menggunakan konsol Cloud de Confiance untuk membuat VM, Anda harus memilih zona AI secara manual. Zona ini tidak dipilih untuk Anda, seperti halnya zona standar. Untuk menggunakan zona AI dengan fitur berikut, Anda harus memilih zona AI secara eksplisit saat menyiapkan resource ini.

• Fitur Compute Engine tertentu: Zona AI tidak otomatis dipilih dalam fitur regional Compute Engine tertentu, seperti operasi penyisipan massal regional atau grup instance terkelola (MIG) regional.

  • Penyisipan Massal: Untuk menyertakan zona AI dalam operasi penyisipan massal regional, Anda harus menggunakan kolom locationPolicy.zones[]. Kolom locations[] tidak mendukung zona AI. Contoh berikut menunjukkan format ini untuk zona us-south1-ai1b:

    {
      "locationPolicy": {
        "zones": [
          "zones/us-south1-ai1b"
        ]
      }
    }
    

  • MIG regional: Untuk membuat instance di zona AI dalam region yang dipilih, Anda harus menentukannya secara eksplisit dalam kebijakan distribusi (distributionPolicy.zones[]) bersama dengan zona pilihan lainnya. Contoh berikut menunjukkan format ini untuk us-south1-ai1b zona:

    {
      "distributionPolicy": {
        "zones": [
          "zones/us-south1-a",
          "zones/us-south1-b",
          "zones/us-south1-ai1b"
        ]
      }
    }
    

• Fitur GKE tertentu: Zona AI tidak otomatis dipilih dalam fitur regional GKE tertentu, seperti cluster GKE regional. Untuk mengetahui detail selengkapnya tentang GKE, lihat Menggunakan zona AI di GKE dalam dokumen ini.

• Vertex AI: Produk regional Vertex AI berbasis GKE harus mengonfigurasi GKE untuk menyertakan zona AI dalam cluster regional. Anda tidak perlu mengaktifkan Vertex AI. Vertex AI mengelola konfigurasi ini.

• Cloud de Confiance by S3NS Service Metadata Locations API: Anda harus mengaktifkan tanda --extraLocationTypes saat menggunakan locations.list API untuk memastikan zona AI hanya muncul bagi pengguna yang ingin menggunakannya.

• Batasan workload non-akselerator: Compute Engine membatasi pembuatan VM khusus CPU di zona AI.

Menggunakan zona AI di GKE

Secara default, GKE tidak men-deploy workload Anda di zona AI. Untuk menggunakan zona AI, Anda mengonfigurasi salah satu opsi berikut:

• ComputeClasses: Tetapkan prioritas tertinggi Anda untuk meminta TPU on-demand di zona AI. ComputeClass membantu Anda menentukan daftar konfigurasi hardware yang diprioritaskan untuk beban kerja Anda. Untuk contoh, lihat Tentang ComputeClass.

• Node auto-provisioning: Gunakan nodeSelector atau nodeAffinity dalam spesifikasi pod untuk menginstruksikan node auto-provisioning agar membuat node pool di zona AI. Jika workload Anda tidak secara eksplisit menargetkan zona AI, penyediaan otomatis node hanya mempertimbangkan zona standar saat membuat node pool baru. Konfigurasi ini memastikan bahwa workload yang tidak menjalankan model AI/ML tetap berada di zona standar kecuali jika Anda mengonfigurasi secara eksplisit. Untuk contoh manifes yang menggunakan nodeSelector, lihat Menetapkan zona default untuk node yang dibuat otomatis.

• GKE Standard: Jika Anda mengelola node pool secara langsung, gunakan zona AI di flag --node-locations saat membuat node pool. Untuk contohnya, lihat Men-deploy workload TPU di GKE Standard.

Batasan

Berikut ini tidak tersedia di zona AI:

• Persistent disk menurut region
• Hyperdisk Balanced High Availability

Pertimbangan desain dengan zona AI

Pertimbangkan hal berikut saat mendesain aplikasi Anda untuk menggunakan zona AI.

Pertimbangan ketersediaan tinggi (HA)

Zona AI berbagi peluncuran software dan infrastruktur dengan zona induknya. Untuk memastikan ketersediaan tinggi untuk workload Anda, hindari pola deployment berikut saat Anda memilih zona, baik secara otomatis maupun manual:

• Hindari men-deploy workload HA di seluruh zona AI dan zona induknya.

• Hindari men-deploy beban kerja HA di dua zona AI yang berbagi zona induk yang sama.

Praktik terbaik penyimpanan

Sebaiknya gunakan arsitektur penyimpanan bertingkat untuk menyeimbangkan biaya, daya tahan, dan performa:

1. Lapisan penyimpanan dingin: Gunakan bucket Cloud Storage regional di zona standar untuk penyimpanan yang persisten dan sangat tahan lama dari set data pelatihan dan titik pemeriksaan model Anda.

2. Lapisan performa: Gunakan layanan penyimpanan zonal khusus untuk bertindak sebagai cache berkecepatan tinggi atau ruang scratch sementara. Pendekatan ini menghilangkan latensi antar-zona dan memaksimalkan goodput selama tugas aktif.

   Untuk membantu memastikan GPU dan TPU tetap sepenuhnya tersaturasi, sehingga memaksimalkan goodput, sediakan lapisan performa Anda di zona AI yang sama dengan resource komputasi Anda.

Solusi penyimpanan berikut direkomendasikan untuk mengoptimalkan performa sistem AI dan ML dengan zona AI:

Menyertakan atau mengecualikan zona AI

Untuk menyertakan atau mengecualikan zona AI secara manual dari daftar zona, gunakan filter:

• Untuk memfilter daftar zona agar hanya menyertakan zona AI, lihat Menelusuri zona AI.
• Untuk memfilter daftar zona guna mengecualikan zona AI, lihat Mengecualikan zona AI dari daftar.

Langkah berikutnya

• Lihat daftar zona AI
• Menyiapkan kebijakan organisasi untuk membatasi pembuatan VM di zona AI