Tentang ketersediaan tinggi lintas region yang elastis

Anda dapat mencapai ketersediaan tinggi lintas region yang elastis untuk workload inferensi AI yang berat di Google Kubernetes Engine (GKE) guna mengakses kapasitas akselerator secara efisien dan andal di berbagai Cloud de Confiance region. Solusi ini menggunakan GKE Multi-Cluster Inference Gateway dan fitur penskalaan otomatis GKE, yang memungkinkan workload Anda mengakses dan menskalakan kapasitas akselerator di berbagai region. Pendekatan ini meningkatkan ketersediaan, skalabilitas, dan ketahanan resource untuk aplikasi AI Anda. Dokumen ini menjelaskan manfaat, komponen utama, dan mekanisme keseluruhan cara kerja ketersediaan tinggi lintas region yang elastis.

Sebelum membaca dokumen ini, Anda harus memahami hal berikut:

Dokumen ini ditujukan untuk persona berikut:

  • Engineer machine learning (ML), administrator dan operator platform, serta spesialis data dan AI yang tertarik menggunakan Kubernetes untuk menayangkan workload AI/ML
  • Arsitek cloud atau spesialis jaringan yang berinteraksi dengan jaringan Kubernetes

Untuk mempelajari lebih lanjut peran umum dan contoh tugas yang kami referensikan di Cloud de Confiance konten, lihat Peran dan tugas pengguna GKE Enterprise umum.

Manfaat ketersediaan tinggi lintas region yang elastis

Ketersediaan tinggi lintas region yang elastis memberikan beberapa manfaat utama untuk mengelola workload inferensi AI/ML Anda, termasuk hal berikut:

  • Kapasitas dan skalabilitas yang lebih besar: mengatasi kekurangan akselerator satu region dengan mengumpulkan resource GPU atau TPU dari beberapa cluster di berbagai region. Anda juga dapat menggunakan berbagai jenis akselerator untuk memperluas kumpulan kapasitas lebih lanjut. Pendekatan ini memungkinkan workload inferensi AI Anda melampaui kapasitas jenis akselerator atau region tunggal, dengan otomatis memanfaatkan resource yang tersedia di fleet Anda, terlepas dari region.
  • Spillover otomatis serta peningkatan keandalan dan ketersediaan: Gateway merutekan traffic secara cerdas, dengan memprioritaskan region atau cluster pilihan. Saat batas kapasitas tercapai di satu lokasi, traffic akan otomatis melimpah ke lokasi lain yang memiliki resource. Pendekatan ini, yang dikombinasikan dengan deployment multi-region, meningkatkan ketersediaan tinggi dan toleransi fault karena sistem dapat melewati cluster atau region yang mengalami masalah.
  • Distribusi traffic yang dioptimalkan AI: gunakan Load Balancing Berbasis Pemakaian dengan metrik kustom khusus AI, seperti penggunaan cache nilai kunci. Penyiapan ini memastikan keputusan pemilihan rute yang dioptimalkan secara global. Distribusi traffic yang dioptimalkan AI mengirimkan permintaan ke backend yang dilengkapi untuk menanganinya, yang meningkatkan performa maksimal dan membantu mencegah kelebihan beban di seluruh fleet Inferensi Multi-Cluster Anda.

Cara kerja ketersediaan tinggi lintas region yang elastis

Ketersediaan tinggi lintas region yang elastis di GKE memungkinkan workload inferensi AI Anda menggunakan kapasitas akselerator (seperti GPU atau TPU) secara otomatis di berbagai Cloud de Confiance region. Jika region utama Anda mengalami batasan kapasitas untuk resource yang diperlukan, solusi ini akan merutekan traffic dan menskalakan workload secara cerdas ke region lain dengan kapasitas yang tersedia, sambil tetap mematuhi preferensi yang Anda tentukan.

Berikut ini penjelasan tentang komponen utama ketersediaan tinggi lintas region yang elastis dan cara kerjanya:

  • Multi-Cluster Inference Gateway: aplikasi inferensi Anda di-deploy di beberapa cluster GKE di berbagai region. Cluster ini dikelola sebagai bagian dari fleet GKE. GKE Multi-Cluster Inference Gateway (MCG) dikonfigurasi dengan Load Balancer Internal, yang menyediakan satu endpoint pribadi untuk permintaan inferensi Anda. Gateway ini mengetahui deployment layanan Anda di semua cluster dalam fleet.
  • Penyeimbangan berbasis pemakaian: bukan menggunakan tarif permintaan dasar, load balancer mendistribusikan traffic berdasarkan metrik pemakaian kustom real-time yang dilaporkan dari server model Anda. Untuk inferensi AI, ini sering kali merupakan metrik seperti pemakaian cache KV, yang mencerminkan beban sebenarnya di server.
  • Preferensi lokasi dan resource: Anda dapat mengonfigurasi region atau zona mana yang diizinkan untuk menjalankan workload inferensi AI selama pembuatan cluster, dan Anda dapat menentukan urutan preferensi menggunakan hal berikut:
    • GCPBackendPolicy: kebijakan ini dilampirkan ke gateway dan memungkinkan Anda menentukan backend pilihan. Anda dapat menentukan region (yaitu, cluster) mana yang harus diprioritaskan oleh load balancer untuk mengirim traffic. Kebijakan ini biasanya selaras dengan tempat Anda memiliki kapasitas yang dicadangkan atau tempat Anda memiliki persyaratan latensi yang lebih rendah.
    • Compute Class Kustom (opsional, jika Anda menggunakan pembuatan otomatis node pool): dalam setiap cluster GKE, Anda dapat menggunakan objek ComputeClass kustom untuk menentukan jenis node pilihan, termasuk jenis mesin (misalnya, a3-highgpu-8g), jenis kapasitas (seperti yang dicadangkan, sesuai permintaan, dan spot), dan bahkan zona pilihan dalam region tersebut.
  • Penskalaan dinamis dan pemilihan rute traffic: traffic diskalakan dan dirutekan sesuai dengan proses berikut:
    • Permintaan masuk mencapai Load Balancer Internal Multi-Cluster Ingress Gateway.
    • Load balancer, yang dipandu oleh GCPBackendPolicy, mengirimkan traffic ke backend di region pilihan Anda terlebih dahulu.
    • Traffic didistribusikan dalam region dan di seluruh backend berdasarkan metrik pemakaian kustom.
    • Horizontal-Pod-Autoscaler (HPA) di setiap cluster menskalakan jumlah Pod server model ke atas atau ke bawah berdasarkan metrik pemakaian yang sama
    • Autoscaler Cluster GKE dan penyediaan otomatis node, yang dipandu oleh ComputeClass kustom, menambahkan atau menghapus node dari jenis dan zona pilihan untuk memenuhi permintaan penskalaan Pod.
  • Ketersediaan tinggi lintas region yang elastis dalam tindakan: jika server model di region pilihan digunakan sepenuhnya (yaitu, tanpa kapasitas tambahan yang tersedia), load balancer akan otomatis melimpahkan traffic ke cluster di region lain yang dikonfigurasi dan memiliki kapasitas yang tersedia. HPA dan Autoscaler Cluster kemudian menskalakan resource di region penggantian tersebut sesuai kebutuhan.

Langkah berikutnya