Tentang ketersediaan tinggi lintas region yang elastis

Anda dapat mencapai ketersediaan tinggi lintas region yang elastis untuk workload inferensi AI yang menuntut di Google Kubernetes Engine (GKE) untuk mengakses kapasitas akselerator secara efisien dan andal di berbagai region. Cloud de Confiance Solusi ini menggunakan fitur penskalaan otomatis GKE dan GKE Multi-Cluster Inference Gateway, yang memungkinkan workload Anda mengakses dan menskalakan kapasitas akselerator di berbagai region. Pendekatan ini meningkatkan ketersediaan, skalabilitas, dan ketahanan resource untuk aplikasi AI Anda. Dokumen ini menjelaskan manfaat, komponen utama, dan mekanisme keseluruhan cara kerja ketersediaan tinggi lintas region yang elastis.

Sebelum membaca dokumen ini, Anda harus memahami hal-hal berikut:

Dokumen ini ditujukan untuk persona berikut:

  • Engineer machine learning (ML), administrator dan operator platform, serta spesialis data dan AI yang tertarik menggunakan Kubernetes untuk menyajikan beban kerja AI/ML
  • Arsitek cloud atau spesialis jaringan yang berinteraksi dengan jaringan Kubernetes

Untuk mempelajari lebih lanjut peran umum dan contoh tugas yang kami referensikan dalam Cloud de Confiance konten, lihat Peran dan tugas pengguna GKE Enterprise umum.

Manfaat ketersediaan tinggi lintas region yang elastis

Ketersediaan tinggi lintas region yang elastis memberikan beberapa manfaat utama untuk mengelola workload inferensi AI/ML Anda, termasuk yang berikut:

  • Kapasitas dan skalabilitas yang lebih besar: mengatasi kekurangan akselerator satu region dengan mengumpulkan resource GPU atau TPU dari beberapa cluster di berbagai region. Anda juga dapat menggunakan berbagai jenis akselerator untuk memperluas lebih lanjut kumpulan kapasitas. Pendekatan ini memungkinkan workload inferensi AI Anda melampaui kapasitas satu region atau jenis akselerator, dengan otomatis memanfaatkan resource yang tersedia di fleet Anda, terlepas dari region.
  • Pengalihan otomatis serta keandalan dan ketersediaan yang ditingkatkan: Gateway secara cerdas merutekan traffic, memprioritaskan region atau cluster pilihan. Saat batas kapasitas tercapai di satu lokasi, traffic akan otomatis dialihkan ke lokasi lain yang memiliki resource yang tersedia. Pendekatan ini, yang dikombinasikan dengan deployment multi-region, meningkatkan ketersediaan tinggi dan fault tolerance karena sistem dapat melewati cluster atau region yang mengalami masalah.
  • Distribusi traffic yang dioptimalkan AI: gunakan Load Balancing Berbasis Pemanfaatan dengan metrik khusus AI kustom, seperti penggunaan cache key-value. Penyiapan ini memastikan keputusan perutean yang dioptimalkan secara global. Distribusi traffic yang dioptimalkan AI mengirimkan permintaan ke backend yang siap menanganinya, sehingga memaksimalkan performa dan membantu mencegah kelebihan beban di seluruh fleet Inferensi Multi-Cluster Anda.

Cara kerja ketersediaan tinggi lintas region elastis

Ketersediaan tinggi lintas region yang elastis di GKE memungkinkan workload inferensi AI Anda menggunakan kapasitas akselerator (seperti GPU atau TPU) secara otomatis di beberapa region. Cloud de Confiance Saat region utama Anda mengalami batasan kapasitas untuk resource yang diperlukan, solusi ini secara cerdas merutekan traffic dan menskalakan workload ke region lain dengan kapasitas yang tersedia, sekaligus mematuhi preferensi yang Anda tetapkan.

Berikut penjelasan komponen utama ketersediaan tinggi lintas-region elastis dan cara kerjanya:

  • Multi-Cluster Inference Gateway: aplikasi inferensi Anda di-deploy di beberapa cluster GKE di region yang berbeda. Cluster ini dikelola sebagai bagian dari fleet GKE. GKE Multi-Cluster Inference Gateway (MCG) dikonfigurasi dengan Load Balancer Internal, yang menyediakan satu endpoint pribadi untuk permintaan inferensi Anda. Gateway ini mengetahui deployment layanan Anda di semua cluster dalam fleet.
  • Penyeimbangan berbasis pemanfaatan: bukan menggunakan rasio permintaan dasar, load balancer mendistribusikan traffic berdasarkan metrik pemanfaatan kustom real-time yang dilaporkan dari server model Anda. Untuk inferensi AI, hal ini sering kali merupakan metrik seperti pemanfaatan cache KV, yang mencerminkan beban sebenarnya pada server.
  • Preferensi lokasi dan resource: Anda dapat mengonfigurasi wilayah atau zona yang diizinkan untuk menjalankan beban kerja inferensi AI selama pembuatan cluster, dan Anda dapat menentukan urutan preferensi menggunakan hal berikut:
    • GCPBackendPolicy: kebijakan ini dilampirkan ke gateway dan memungkinkan Anda menentukan backend pilihan. Anda dapat menentukan wilayah (yaitu, cluster) yang harus diprioritaskan oleh load balancer untuk mengirim traffic. Kebijakan ini biasanya selaras dengan tempat Anda memiliki kapasitas yang dicadangkan atau tempat Anda memiliki persyaratan latensi yang lebih rendah.
    • Kelas Komputasi Kustom (opsional, jika Anda menggunakan pembuatan otomatis node pool): dalam setiap cluster GKE, Anda dapat menggunakan objek ComputeClass kustom untuk menentukan jenis node pilihan, termasuk jenis mesin (misalnya, a3-highgpu-8g), jenis kapasitas (seperti yang dicadangkan, sesuai permintaan, dan spot), dan bahkan zona pilihan dalam region tersebut.
  • Penskalaan dinamis dan perutean traffic: traffic diskalakan dan dirutekan sesuai dengan proses berikut:
    • Permintaan masuk mencapai Load Balancer Internal Gateway Multi-Cluster Ingress.
    • Load balancer, yang dipandu oleh GCPBackendPolicy, mengirimkan traffic ke backend di region pilihan Anda terlebih dahulu.
    • Traffic didistribusikan dalam satu region dan di seluruh backend berdasarkan metrik pemanfaatan kustom.
    • Horizontal-Pod-Autoscaler (HPA) di setiap cluster menskalakan jumlah Pod server model ke atas atau ke bawah berdasarkan metrik penggunaan yang sama
    • GKE Cluster Autoscaler dan node auto-provisioning, yang dipandu oleh ComputeClass kustom, menambahkan atau menghapus node dari jenis dan zona pilihan untuk memenuhi permintaan penskalaan Pod.
  • Ketersediaan tinggi lintas region yang elastis sedang beroperasi: jika server model di region pilihan digunakan sepenuhnya (yaitu, tanpa kapasitas tambahan yang tersedia), load balancer akan otomatis meluapkan traffic ke cluster di region lain yang dikonfigurasi dan memiliki kapasitas yang tersedia. HPA dan Cluster Autoscaler kemudian akan melakukan peningkatan skala resource di region penggantian tersebut sesuai kebutuhan.

Langkah berikutnya