Tentang ketersediaan tinggi lintas region yang elastis

Anda dapat mencapai ketersediaan tinggi lintas region yang elastis untuk workload inferensi AI yang menuntut di Google Kubernetes Engine (GKE) guna mengakses kapasitas akselerator secara efisien dan andal di berbagai region Cloud de Confiance . Solusi ini menggunakan Gateway Inferensi Multi-Cluster GKE dan fitur penskalaan otomatis GKE, sehingga workload Anda dapat mengakses dan melakukan penskalaan dengan kapasitas akselerator di berbagai region. Pendekatan ini meningkatkan ketersediaan, skalabilitas, dan ketahanan resource untuk aplikasi AI Anda. Dokumen ini menjelaskan manfaat, komponen utama, dan mekanisme keseluruhan cara kerja ketersediaan tinggi lintas region yang elastis.

Sebelum membaca dokumen ini, Anda harus memahami hal-hal berikut:

Dokumen ini ditujukan untuk persona berikut:

  • Engineer machine learning (ML), administrator dan operator platform, serta pakar data dan AI yang tertarik menggunakan Kubernetes untuk menyajikan workload AI/ML
  • Cloud architect atau spesialis jaringan yang berinteraksi dengan jaringan Kubernetes

Untuk mempelajari lebih lanjut peran umum dan contoh tugas yang kami referensikan dalam kontenCloud de Confiance , lihat Peran dan tugas pengguna GKE Enterprise umum.

Manfaat ketersediaan tinggi lintas region yang elastis

Ketersediaan tinggi lintas region yang elastis memberikan beberapa manfaat utama untuk mengelola workload inferensi AI/ML Anda, termasuk yang berikut:

  • Kapasitas dan skalabilitas yang lebih besar: mengatasi kekurangan akselerator di satu region dengan menggabungkan resource GPU atau TPU dari beberapa cluster di berbagai region. Anda juga dapat menggunakan berbagai jenis akselerator untuk memperluas kumpulan kapasitas lebih lanjut. Pendekatan ini memungkinkan workload inferensi AI Anda melampaui kapasitas satu region atau jenis akselerator, dengan otomatis memanfaatkan resource yang tersedia di armada Anda, terlepas dari region.
  • Pengalihan otomatis serta keandalan dan ketersediaan yang ditingkatkan: Gateway secara cerdas merutekan traffic, memprioritaskan region atau cluster pilihan. Saat batas kapasitas tercapai di satu lokasi, traffic akan otomatis diluapkan ke lokasi lain yang memiliki resource yang tersedia. Pendekatan ini, yang dikombinasikan dengan deployment multi-region, meningkatkan ketersediaan tinggi dan fault tolerance karena sistem dapat mengabaikan cluster atau region yang mengalami masalah.
  • Distribusi traffic yang dioptimalkan AI: gunakan Load Balancing Berbasis Penggunaan dengan metrik kustom khusus AI, seperti penggunaan cache nilai kunci. Penyiapan ini memastikan keputusan perutean yang dioptimalkan secara global. Distribusi traffic yang dioptimalkan AI mengirimkan permintaan ke backend yang dilengkapi untuk menanganinya, sehingga meningkatkan performa dan membantu mencegah kelebihan beban di seluruh fleet Inferensi Multi-Cluster Anda.

Cara kerja ketersediaan tinggi lintas region yang elastis

Ketersediaan tinggi lintas region yang elastis di GKE memungkinkan workload inferensi AI Anda menggunakan kapasitas akselerator (seperti GPU atau TPU) secara otomatis di beberapa region Cloud de Confiance . Jika region utama Anda mengalami batasan kapasitas untuk resource yang diperlukan, solusi ini akan merutekan traffic dan menskalakan workload secara cerdas ke region lain dengan kapasitas yang tersedia, sekaligus mematuhi preferensi yang Anda tentukan.

Berikut ini penjelasan komponen utama ketersediaan tinggi lintas region yang elastis dan cara kerjanya:

  • Multi-Cluster Inference Gateway: aplikasi inferensi Anda di-deploy di beberapa cluster GKE di berbagai region. Cluster ini dikelola sebagai bagian dari fleet GKE. GKE Multi-Cluster Inference Gateway (MCG) dikonfigurasi dengan Load Balancer Internal, yang menyediakan satu endpoint pribadi untuk permintaan inferensi Anda. Gateway ini mengetahui deployment layanan Anda di semua cluster dalam fleet.
  • Penyeimbangan berbasis pemanfaatan: alih-alih menggunakan rasio permintaan dasar, load balancer mendistribusikan traffic berdasarkan metrik pemanfaatan kustom real-time yang dilaporkan dari server model Anda. Untuk inferensi AI, hal ini sering kali merupakan metrik seperti pemanfaatan cache KV, yang mencerminkan beban sebenarnya pada server.
  • Preferensi lokasi dan resource: Anda dapat mengonfigurasi wilayah atau zona yang diizinkan untuk menjalankan beban kerja inferensi AI selama pembuatan cluster, dan Anda dapat menentukan urutan preferensi menggunakan opsi berikut:
    • GCPBackendPolicy: kebijakan ini dilampirkan ke gateway dan memungkinkan Anda menentukan backend pilihan. Anda dapat menentukan region (yaitu, cluster) yang harus diprioritaskan oleh load balancer untuk mengirim traffic. Kebijakan ini biasanya selaras dengan tempat Anda memiliki kapasitas yang dicadangkan atau tempat Anda memiliki persyaratan latensi yang lebih rendah.
    • Custom Compute Class (opsional, jika Anda menggunakan pembuatan otomatis node pool): dalam setiap cluster GKE, Anda dapat menggunakan objek ComputeClass kustom untuk menentukan jenis node yang diinginkan, termasuk jenis mesin (misalnya, a3-highgpu-8g), jenis kapasitas (seperti yang direservasi, on-demand, dan spot), dan bahkan zona yang diinginkan dalam region tersebut.
  • Penskalaan dinamis dan perutean traffic: traffic diskalakan dan dirutekan sesuai dengan proses berikut:
    • Permintaan masuk mencapai Load Balancer Internal Gateway Ingress Multi-Cluster.
    • Load balancer, yang dipandu oleh GCPBackendPolicy, mengirimkan traffic ke backend di region pilihan Anda terlebih dahulu.
    • Traffic didistribusikan dalam satu region dan di seluruh backend berdasarkan metrik pemakaian kustom.
    • Horizontal-Pod-Autoscaler (HPA) di setiap cluster menskalakan jumlah Pod server model naik atau turun berdasarkan metrik pemakaian yang sama
    • Autoscaler Cluster GKE dan node auto-provisioning, yang dipandu oleh ComputeClass kustom, menambahkan atau menghapus node dari jenis dan zona yang diinginkan untuk memenuhi permintaan penskalaan Pod.
  • Ketersediaan tinggi lintas region yang elastis sedang beroperasi: jika server model di region pilihan menjadi penuh (yaitu, tanpa kapasitas tambahan yang tersedia), load balancer akan otomatis meluapkan traffic ke cluster di region lain yang dikonfigurasi dan memiliki kapasitas yang tersedia. HPA dan Cluster Autoscaler kemudian akan meningkatkan skala resource di region penggantian tersebut sesuai kebutuhan.

Langkah berikutnya