Realiza operaciones de lanzamiento para GKE Inference Gateway

En esta página, se muestra cómo realizar operaciones de lanzamiento incremental, que implementan gradualmente versiones nuevas de tu infraestructura de inferencia para GKE Inference Gateway. Esta puerta de enlace te permite realizar actualizaciones seguras y controladas en tu infraestructura de inferencia. Puedes actualizar nodos, modelos base y adaptadores LoRA con una interrupción mínima del servicio. En esta página, también se proporcionan orientación sobre la división del tráfico y las reversiones para garantizar implementaciones confiables.

Esta página está dirigida a los administradores de cuentas y de identidades de GKE, y a los desarrolladores que quieran realizar operaciones de lanzamiento para GKE Inference Gateway.

Se admiten los siguientes casos de uso:

Actualiza el lanzamiento de un nodo

Las actualizaciones de nodos migran de forma segura las cargas de trabajo de inferencia a nuevas configuraciones de hardware o aceleradores de nodos. Este proceso se realiza de forma controlada sin interrumpir el servicio del modelo. Usa las actualizaciones de nodos para minimizar la interrupción del servicio durante las actualizaciones de hardware, de controladores o de resolución de problemas de seguridad.

  1. Crea un InferencePool nuevo: Implementa un InferencePool configurado con las especificaciones actualizadas del nodo o hardware.

  2. Divide el tráfico con un HTTPRoute: Configura un HTTPRoute para distribuir el tráfico entre los recursos InferencePool existentes y nuevos. Usa el campo weight en backendRefs para administrar el porcentaje de tráfico dirigido a los nodos nuevos.

  3. Mantén un InferenceObjective coherente: Conserva la configuración de InferenceObjective existente para garantizar un comportamiento uniforme del modelo en ambas configuraciones de nodos.

  4. Conserva los recursos originales: Mantén activos los nodos y los recursos InferencePool originales durante el lanzamiento para habilitar las reversiones si es necesario.

Por ejemplo, puedes crear un InferencePool nuevo llamado llm-new. Configura este grupo con la misma configuración de modelo que tu llm InferencePool existente. Implementa el grupo en un conjunto nuevo de nodos dentro de tu clúster. Usa un objeto HTTPRoute para dividir el tráfico entre el llm original y el llm-new InferencePool nuevo. Esta técnica te permite actualizar de forma incremental los nodos de tu modelo.

En el siguiente diagrama, se ilustra cómo GKE Inference Gateway realiza un lanzamiento de actualización de nodos.

Proceso de lanzamiento de la actualización de nodos
Figura: Proceso de lanzamiento de la actualización de nodos

Para realizar un lanzamiento de actualización de nodos, sigue estos pasos:

  1. Guarda el siguiente manifiesto de muestra como routes-to-llm.yaml:

    apiVersion: gateway.networking.k8s.io/v1
kind: HTTPRoute
metadata:
  name: routes-to-llm
spec:
  parentRefs:
    - name: my-inference-gateway
      group: gateway.networking.k8s.io
      kind: Gateway
  rules:
  - backendRefs:
    - name: llm
      group: inference.networking.k8s.io
      kind: InferencePool
      weight: 90
    - name: llm-new
      group: inference.networking.k8s.io
      kind: InferencePool
      weight: 10

  2. Aplica el manifiesto de muestra a tu clúster:

    kubectl apply -f routes-to-llm.yaml

El InferencePool llm original recibe la mayor parte del tráfico, mientras que el InferencePool llm-new recibe el resto. Aumenta el peso del tráfico de forma gradual para que llm-new InferencePool complete el lanzamiento de la actualización de nodos.

Lanza un modelo de base

Las actualizaciones del modelo base se lanzan en fases para un nuevo LLM base, lo que mantiene la compatibilidad con los adaptadores LoRA existentes. Puedes usar las actualizaciones de lanzamiento del modelo base para actualizarte a arquitecturas de modelos mejoradas o abordar problemas específicos del modelo.

Para lanzar una actualización del modelo base, haz lo siguiente:

  1. Implementar infraestructura nueva: Crea nodos nuevos y un InferencePool configurado con el nuevo modelo base que elegiste.
  2. Configura la distribución del tráfico: Usa un HTTPRoute para dividir el tráfico entre el InferencePool existente (que usa el modelo base anterior) y el nuevo InferencePool (que usa el modelo base nuevo). El campo backendRefs weight controla el porcentaje de tráfico asignado a cada grupo.
  3. Mantén la integridad de InferenceObjective: No modifiques la configuración de InferenceObjective. Este enfoque ayuda a garantizar que el sistema aplique los mismos adaptadores LoRA de manera coherente en ambas versiones del modelo base.
  4. Conservar la capacidad de reversión: Conserva los nodos originales y InferencePool durante el lanzamiento para facilitar una reversión si es necesario.

Creas un InferencePool nuevo llamado llm-pool-version-2. Este grupo implementa una nueva versión del modelo base en un nuevo conjunto de nodos. Si configuras un HTTPRoute, como se muestra en el ejemplo proporcionado, puedes dividir el tráfico de forma incremental entre el llm-pool original y llm-pool-version-2. Esto te permite controlar las actualizaciones del modelo base en tu clúster.

Para implementar una actualización del modelo base, sigue estos pasos:

  1. Guarda el siguiente manifiesto de muestra como routes-to-llm.yaml:

    apiVersion: gateway.networking.k8s.io/v1
kind: HTTPRoute
metadata:
  name: routes-to-llm
spec:
  parentRefs:
    - name: my-inference-gateway
      group: gateway.networking.k8s.io
      kind: Gateway
  rules:
  - backendRefs:
    - name: llm-pool
      group: inference.networking.k8s.io
      kind: InferencePool
      weight: 90
    - name: llm-pool-version-2
      group: inference.networking.k8s.io
      kind: InferencePool
      weight: 10

  2. Aplica el manifiesto de muestra a tu clúster:

    kubectl apply -f routes-to-llm.yaml

El InferencePool llm-pool original recibe la mayor parte del tráfico, mientras que el InferencePool llm-pool-version-2 recibe el resto. Aumenta el peso del tráfico de forma gradual para el llm-pool-version-2 InferencePool para completar el lanzamiento de la actualización del modelo base.

¿Qué sigue?