La puerta de enlace de inferencia de Google Kubernetes Engine (GKE) para varios clústeres balancea las cargas de tus cargas de trabajo de inferencia de IA/AA en varios clústeres de GKE. Integra las puertas de enlace de varios clústeres de GKE para el enrutamiento de tráfico entre clústeres con Inference Gateway para la entrega de modelos de IA/AA. Esta integración mejora la escalabilidad y la alta disponibilidad de tus implementaciones. En este documento, se explican los conceptos y los beneficios principales de la puerta de enlace.
Para obtener más información sobre cómo implementar la Inference Gateway de GKE multiclúster, consulta Configura la Inference Gateway de GKE multiclúster.
Para comprender este documento, debes estar familiarizado con lo siguiente:
- Organización de IA y AA en GKE.
- Terminología de la IA generativa.
- Conceptos de redes de GKE, incluidos los servicios, la puerta de enlace de varios clústeres de GKE y la API de Gateway.
- Balanceo de cargas en Cloud de Confiance, en especial, cómo interactúan los balanceadores de cargas con GKE.
Este documento está dirigido a los siguientes roles:
- Ingenieros de aprendizaje automático (AA), administradores y operadores de plataformas, y especialistas en datos y en IA interesados en usar las funciones de organización de contenedores de Kubernetes para entregar cargas de trabajo de IA y AA.
- Arquitectos de nube o especialistas en redes que interactúan con las redes de Kubernetes
Para obtener más información sobre los roles comunes y las tareas de ejemplo a las que hacemos referencia en el contenido de Cloud de Confiance by S3NS , consulta Roles de usuario y tareas comunes de GKE Enterprise.
Beneficios de la Inference Gateway de varios clústeres de GKE
GKE Inference Gateway de varios clústeres proporciona varios beneficios para administrar tus cargas de trabajo de inferencia de IA/AA, incluidos los siguientes:
- Mejora la alta disponibilidad y la tolerancia a errores a través del balanceo de cargas inteligente en varios clústeres de GKE, incluso en diferentes regiones geográficas. Tus cargas de trabajo de inferencia siguen disponibles y el sistema vuelve a enrutar las solicitudes de forma automática si un clúster o una región experimentan problemas, lo que minimiza el tiempo de inactividad.
- Mejora la escalabilidad y optimiza el uso de recursos agrupando los recursos de GPU y TPU de varios clústeres para controlar el aumento de la demanda. Esta agrupación permite que tus cargas de trabajo aumenten más allá de la capacidad de un solo clúster y usen de manera eficiente los recursos disponibles en tu flota.
- Maximiza el rendimiento con un enrutamiento optimizado a nivel global. La puerta de enlace usa métricas avanzadas, como el uso de la caché de pares clave-valor (KV) de todos los clústeres, para tomar decisiones de enrutamiento eficientes. Este enfoque ayuda a garantizar que las solicitudes se dirijan al clúster mejor equipado para controlarlas, lo que maximiza el rendimiento general de tu flota de inferencia de IA/AA.
Limitaciones
La GKE Inference Gateway de varios clústeres tiene las siguientes limitaciones:
Integración de Model Armor: La puerta de enlace de inferencia de GKE multiclúster no admite la integración de Model Armor.
Límites de grupos de extremos de red (NEG): tiene un límite de 50 NEG por servicio de backend deCloud de Confiance by S3NS . Cuando se usa un InferencePool de varios puertos, cada puerto de cada zona crea un NEG dedicado. Por ejemplo, un InferencePool con ocho puertos en un clúster regional típico (tres zonas) genera 24 NEG. Por lo tanto, una puerta de enlace de varios clústeres solo puede agregar un InferencePool de este tipo desde un máximo de dos clústeres (dos clústeres × 24 NEG = 48 NEG) antes de alcanzar el límite de 50 NEG.
Redes de VPC: Todos los clústeres de destino y el clúster de configuración deben estar en la misma red de VPC. No se admite el balanceo de cargas entre VPC.
Componentes clave
La GKE Inference Gateway de varios clústeres usa varios recursos personalizados de Kubernetes para administrar las cargas de trabajo de inferencia y el enrutamiento del tráfico:
- InferencePool: Agrupa backends de servidores de modelos idénticos en tu clúster de destino. Este recurso simplifica la administración y el escalamiento de tus instancias de entrega de modelos. Los objetos InferencePool de varios puertos se admiten en implementaciones de un solo clúster y de varios clústeres.
InferenceObjective: Define las prioridades de enrutamiento para modelos específicos dentro de un InferencePool. Este enrutamiento ayuda a garantizar que ciertos modelos reciban preferencia de tráfico según tus requisitos.GCPInferencePoolImport: Hace que los backends de tu modelo estén disponibles para la configuración de enrutamiento conHTTPRouteen el clúster de configuración. Este recurso se crea automáticamente en tu clúster de configuración cuando exportas un InferencePool desde un clúster de destino. El clúster de configuración actúa como el punto central de control para tu entorno de varios clústeres.GCPBackendPolicy: Personaliza cómo se balancea la carga del tráfico en tus backends. Por ejemplo, puedes habilitar el balanceo de cargas en función de métricas personalizadas o establecer límites para las solicitudes en tránsito por extremo para proteger tus servidores de modelos.AutoscalingMetric: Define métricas personalizadas, comovllm:kv_cache_usage_perc, para exportar desde tus servidores de modelos. Luego, puedes usar estas métricas enGCPBackendPolicypara tomar decisiones de balanceo de cargas más inteligentes y optimizar el rendimiento y el uso de recursos.
Cómo funciona GKE Inference Gateway de varios clústeres
La GKE Inference Gateway de varios clústeres administra y enruta el tráfico a tus modelos de IA y AA implementados en varios clústeres de GKE. Esto funciona de la siguiente manera:
- Administración centralizada del tráfico: Un clúster de configuración dedicado define tus reglas de enrutamiento de tráfico. El clúster de configuración actúa como el punto central de control para tu entorno de varios clústeres. Debes designar un clúster de GKE como el clúster de configuración cuando habilites Ingress de varios clústeres para tu flota. Este enfoque centralizado te permite administrar cómo se dirigen las solicitudes a tus modelos en toda tu flota de clústeres de GKE desde un solo lugar.
- Implementación flexible de modelos: Tus modelos de IA/AA reales se ejecutan en clústeres de destino independientes. Esta separación te permite implementar modelos donde tenga más sentido (por ejemplo, más cerca de los datos o de los clústeres con hardware específico).
- Integración sencilla de modelos: Cuando implementas un modelo en un clúster de destino, agrupas sus instancias de entrega con un InferencePool. Exportar este InferencePool hace que esté disponible automáticamente para el enrutamiento en tu clúster de configuración.
- Balanceo de cargas inteligente: La puerta de enlace no solo distribuye el tráfico, sino que también toma decisiones de enrutamiento inteligentes. Si la configuras para que use varios indicadores, incluidas las métricas personalizadas de tus servidores de modelos, la puerta de enlace ayuda a garantizar que las solicitudes entrantes se envíen al clúster o a la instancia de modelo mejor equipados, lo que puede maximizar el rendimiento y el uso de recursos. Por ejemplo, puedes enrutar las solicitudes al clúster con la capacidad de inferencia más disponible según métricas como el uso de la caché de pares clave-valor (KV).
¿Qué sigue?
- Para implementar la puerta de enlace, consulta Configura la GKE Inference Gateway de varios clústeres.
- Para aprender a usar el campo
scopesen el recursoGCPBackendPolicy, consulta Personaliza las configuraciones de backend con los permisos deGCPBackendPolicy.