Zonas de IA

Las zonas de IA son zonas especializadas que se utilizan para las cargas de trabajo de inferencia y entrenamiento de inteligencia artificial y aprendizaje automático (IA y AA). Proporcionan una capacidad significativa de aceleradores de AA (GPU y TPU).

Dentro de una región, las zonas de IA se encuentran geográficamente alejadas de las zonas estándar (sin IA). En la siguiente figura, se muestra un ejemplo de una zona de IA (us-south1-ai1b) ubicada más lejos en relación con las zonas estándar de la región us-south1.

Zona de padres

Cada zona de IA está asociada con una zona estándar de la región, a la que se hace referencia como su zona principal. Una zona principal es una zona estándar con el mismo sufijo que la zona de IA. Por ejemplo, en el diagrama, us-central1-a es la zona principal de us-central1-ai1a. Comparten cronogramas de actualizaciones de software y, a veces, infraestructura. Esto significa que cualquier problema de software o infraestructura que afecte a una zona principal también podría afectar a la zona de IA. Cuando diseñes tus soluciones de alta disponibilidad, revisa las Consideraciones de alta disponibilidad (HA) para tener en cuenta la dependencia de la zona principal.

Cuándo usar las zonas de IA

Las zonas de IA están optimizadas para cargas de trabajo de IA y AA. Usa la siguiente guía para determinar cuáles de tus cargas de trabajo son más adecuadas para las zonas de IA y cuáles se benefician más de las zonas estándar.

Recomendado para:

• Entrenamiento a gran escala: Son ideales para cargas de trabajo de entrenamiento a gran escala, como el entrenamiento de modelos de lenguaje grandes (LLM) y modelos de base, debido a la disponibilidad de una gran cantidad de aceleradores.

• Entrenamiento, ajuste, inferencia masiva y reentrenamiento a pequeña escala: Las zonas de IA funcionan bien para las cargas de trabajo que requieren una capacidad de aceleración sustancial.

• Inferencia de AA en tiempo real: Las zonas de IA admiten cargas de trabajo de inferencia en tiempo real. El rendimiento depende del diseño de la aplicación y de los requisitos de latencia del modelo, en especial si la carga de trabajo requiere solicitudes de ida y vuelta a la región principal.

No se recomienda para lo siguiente:

• Cargas de trabajo que no son de AA: Dado que las zonas de IA no ofrecen todos los servicios de Cloud de Confiance by S3NS de forma local, recomendamos ejecutar tus cargas de trabajo que no son de AA en las zonas estándar.

Cómo acceder a servicios desde una zona de IA

Puedes acceder a todos los productos Cloud de Confiance by S3NS en una región Cloud de Confiance by S3NS desde su zona de IA. Sin embargo, acceder a los servicios en una región Cloud de Confiance by S3NS desde una zona de IA puede agregar latencia de red, ya que la zona de IA está físicamente separada de las ubicaciones de las zonas estándar de la región.

Para ver las zonas de IA en la Cloud de Confiance consola, Google Cloud CLI y la API de REST, debes activar la visibilidad de las zonas de IA para tu proyecto. La visibilidad de la zona de IA es independiente del control de acceso y de los límites del servicio de políticas de la organización. Para obtener más información, consulta Cómo administrar la visibilidad de las zonas de IA.

Algunos productos específicos admiten la creación o el acceso a recursos zonales de forma local en una zona de IA. Para obtener más información sobre estos servicios, consulta la siguiente tabla:

Ubicaciones

Las zonas de IA están disponibles en las siguientes ubicaciones:

Para revisar qué tipos de GPU y TPU están disponibles en las zonas de IA, consulta lo siguiente:

• Consulta los tipos y las ubicaciones de GPU disponibles en las zonas de IA
• Consulta los tipos y las ubicaciones de TPU disponibles en las zonas de IA

Implementa recursos en zonas de IA

Se puede acceder a las zonas de IA a través de la Cloud de Confiance consola, Google Cloud CLI o REST. Sin embargo, cuando usas la consola de Cloud de Confiance para crear tus VMs, debes seleccionar manualmente una zona de IA. No se selecciona automáticamente, como sucede con las zonas estándar. Para usar zonas de IA con las siguientes funciones, debes seleccionar explícitamente una zona de IA mientras configuras estos recursos.

• Algunas funciones de Compute Engine: Las zonas de IA no se seleccionan automáticamente en algunas funciones regionales de Compute Engine, como las operaciones de inserción masiva regionales o los grupos de instancias administrados (MIG) regionales.

  • Inserción masiva: Para incluir zonas de IA en las operaciones de inserción masiva regionales, debes usar el campo locationPolicy.zones[]. El campo locations[] no admite zonas de IA. En el siguiente ejemplo, se muestra este formato para la zona us-south1-ai1b:

    {
      "locationPolicy": {
        "zones": [
          "zones/us-south1-ai1b"
        ]
      }
    }
    

  • MIG regionales: Para crear instancias en una zona de IA en la región seleccionada, debes especificarla de forma explícita en la política de distribución (distributionPolicy.zones[]) junto con las otras zonas preferidas. En el siguiente ejemplo, se muestra este formato para la zona us-south1-ai1b:

    {
      "distributionPolicy": {
        "zones": [
          "zones/us-south1-a",
          "zones/us-south1-b",
          "zones/us-south1-ai1b"
        ]
      }
    }
    

• Determinadas funciones de GKE: Las zonas de IA no se seleccionan automáticamente en determinadas funciones regionales de GKE, como los clústeres regionales de GKE. Para obtener más detalles sobre GKE, consulta Uso de zonas de IA en GKE en este documento.

• Vertex AI: Los productos regionales de Vertex AI basados en GKE deben configurar GKE para incluir zonas de IA en los clústeres regionales. No es necesario que habilites Vertex AI. Vertex AI administra esta configuración.

• Cloud de Confiance by S3NS API de Service Metadata Locations: Debes habilitar la marca --extraLocationTypes cuando uses la API de locations.list para garantizar que las zonas de IA aparezcan solo para quienes tengan la intención de usarlas.

• Restricciones de cargas de trabajo sin acelerador: Compute Engine limita la creación de VMs solo con CPU en zonas de IA.

Usa zonas de IA en GKE

De forma predeterminada, GKE no implementa tus cargas de trabajo en zonas de IA. Para usar una zona de IA, debes configurar una de las siguientes opciones:

• ComputeClasses: Establece la prioridad más alta para solicitar TPU según demanda en una zona de IA. Las ComputeClasses te ayudan a definir una lista priorizada de configuraciones de hardware para tus cargas de trabajo. Para ver un ejemplo, consulta Acerca de ComputeClasses.

• Aprovisionamiento automático de nodos: Usa un nodeSelector o un nodeAffinity en la especificación de tu pod para indicarle al aprovisionamiento automático de nodos que cree un grupo de nodos en la zona de IA. Si tu carga de trabajo no se orienta de forma explícita a una zona de IA, el aprovisionamiento automático de nodos solo considera las zonas estándar cuando crea grupos de nodos nuevos. Esta configuración garantiza que las cargas de trabajo que no ejecutan modelos de IA/AA permanezcan en zonas estándar, a menos que configures explícitamente lo contrario. Para ver un ejemplo de un manifiesto que usa un nodeSelector, consulta Cómo establecer las zonas predeterminadas para los nodos creados automáticamente.

• GKE Estándar: Si administras directamente tus grupos de nodos, usa una zona de IA en la marca --node-locations cuando crees un grupo de nodos. Para ver un ejemplo, consulta Implementa cargas de trabajo de TPU en GKE Standard.

Limitaciones

Las siguientes funciones no están disponibles en las zonas de IA:

• Discos persistentes regionales
• Hyperdisk Balanced High Availability

Consideraciones de diseño con zonas de IA

Ten en cuenta lo siguiente cuando diseñes tus aplicaciones para usar zonas de IA.

Consideraciones sobre la alta disponibilidad (HA)

Las zonas de IA comparten lanzamientos de software e infraestructura con sus zonas principales. Para garantizar la alta disponibilidad de tus cargas de trabajo, evita estos patrones de implementación cuando selecciones zonas, ya sea de forma automática o manual:

• Evita implementar cargas de trabajo de HA en una zona de IA y su zona principal.

• Evita implementar cargas de trabajo de HA en dos zonas de IA que compartan la misma zona principal.

Prácticas recomendadas de almacenamiento

Recomendamos una arquitectura de almacenamiento por niveles para equilibrar el costo, la durabilidad y el rendimiento:

1. Capa de almacenamiento en frío: Usa buckets regionales de Cloud Storage en zonas estándar para el almacenamiento persistente y altamente duradero de tus conjuntos de datos de entrenamiento y puntos de control del modelo.

2. Capa de rendimiento: Usa servicios de almacenamiento zonales especializados para que actúen como una caché de alta velocidad o un espacio provisorio temporal. Este enfoque elimina la latencia entre zonas y maximiza el rendimiento útil durante los trabajos activos.

   Para asegurarte de que las GPUs y las TPUs permanezcan completamente saturadas y maximizar el buen rendimiento, aprovisiona tu capa de rendimiento en la misma zona de IA que tus recursos de procesamiento.

Se recomiendan las siguientes soluciones de almacenamiento para optimizar el rendimiento del sistema de IA y AA con zonas de IA:

Cómo incluir o excluir zonas de IA

Para incluir o excluir manualmente zonas de IA de una lista de zonas, usa un filtro:

• Para filtrar una lista de zonas y que solo incluya las zonas de IA, consulta Cómo buscar zonas de IA.
• Para filtrar una lista de zonas y excluir las zonas de IA, consulta Cómo excluir zonas de IA de las listas.

¿Qué sigue?

• Ver una lista de zonas de IA
• Configura una política de la organización para restringir la creación de VM en zonas de IA