Cette page offre un aperçu général de la manière dont Google Kubernetes Engine (GKE) crée et gère des équilibreurs de charge Cloud de Confiance by S3NS lorsque vous appliquez un fichier manifeste des services LoadBalancer Kubernetes. Il décrit les types de LoadBalancer, les paramètres de configuration et fournit des recommandations sur les bonnes pratiques.
Avant de lire cette page, assurez-vous de connaître les concepts de la mise en réseau GKE.
Présentation
Lorsque vous créez un service LoadBalancer, GKE configure un équilibreur de charge direct Cloud de Confiance dont les caractéristiques dépendent des paramètres de votre fichier manifeste du service.
Personnaliser votre service LoadBalancer
Lorsque vous choisissez la configuration de service LoadBalancer à utiliser, tenez compte des aspects suivants :
- Type d'équilibreur de charge : interne ou externe
- Règle de trafic externe
- Équilibrage de charge pondéré
- Affinité zonale
Type d'équilibreur de charge : interne ou externe
Lorsque vous créez un service LoadBalancer dans GKE, vous spécifiez si l'équilibreur de charge possède une adresse interne ou externe :
Les services LoadBalancer externes sont mis en œuvre à l'aide d'équilibreurs de charge réseau passthrough externes régionaux. Les clients situés en dehors de votre réseau VPC et les VM Cloud de Confiancedisposant d'un accès à Internet peuvent accéder à un service LoadBalancer externe.
Pour créer un service LoadBalancer externe, utilisez l'une des techniques suivantes :
Dans les clusters exécutant GKE 1.37 ou une version ultérieure, GKE crée automatiquement un équilibreur de charge réseau passthrough externe régional basé sur un service de backend avec des backends NEG
GCE_VM_IP. Vous n'avez pas besoin d'ajouter d'annotations ni de champs au fichier manifeste du service. Pour créer explicitement un ancien équilibreur de charge basé sur un pool cible, ajoutez la paire champ-valeurspec.loadBalancerClass: "networking.gke.io/l4-regional-external-legacy".Dans les clusters qui exécutent GKE 1.33.1-gke.1779000 à 1.36, ajoutez
spec.loadBalancerClass: "networking.gke.io/l4-regional-external"au fichier manifeste du service avant de l'envoyer au cluster. Nous vous recommandons d'utiliser ce champ, car il crée toujours un équilibreur de charge réseau passthrough externe régional basé sur un service de backend avec des backends de NEGGCE_VM_IP. Le champspec.loadBalancerClassest immuable et ne peut pas être modifié après la création du service.Dans les clusters qui exécutent une version de GKE compatible, vous pouvez ajouter l'annotation
cloud.google.com/l4-rbs: "enabled"au fichier manifeste du service avant de l'envoyer au cluster. Cette annotation crée également un équilibreur de charge réseau passthrough externe régional basé sur un service de backend. L'équilibreur de charge utilise des backends NEGGCE_VM_IPsi le fichier manifeste est envoyé à un cluster qui exécute GKE 1.32.2-gke.1652000 ou une version ultérieure. Sinon, l'équilibreur de charge utilise des backends de groupe d'instances. GKE n'évalue cette annotation que lorsque le fichier manifeste du service est appliqué pour la première fois au cluster.
Les services LoadBalancer internes sont mis en œuvre à l'aide d'équilibreurs de charge réseau passthrough internes. Les clients situés sur le même réseau VPC ou sur un réseau connecté au réseau VPC du cluster peuvent accéder à un service LoadBalancer interne.
Avant de créer un service LoadBalancer interne, nous vous recommandons de vous assurer que le sous-paramètre GKE est activé. Le sous-paramétrage GKE est automatiquement activé si votre cluster exécute GKE 1.36 ou une version ultérieure. Pour les versions antérieures de GKE, vous devez activer explicitement le sous-paramètre GKE.
Pour créer un service LoadBalancer interne, utilisez l'une des techniques suivantes :
Dans les clusters qui exécutent GKE 1.33.1-gke.1779000 ou une version ultérieure et pour lesquels le sous-paramètre GKE est activé, ajoutez
spec.loadBalancerClass: "networking.gke.io/l4-regional-internal"au fichier manifeste du service avant de l'envoyer au cluster. Nous vous recommandons d'utiliser ce champ, car il crée toujours un équilibreur de charge réseau passthrough interne avec des backends de NEGGCE_VM_IP. Le champspec.loadBalancerClassest immuable et ne peut pas être modifié après la création du service.Dans les clusters qui exécutent une version de GKE compatible, vous pouvez ajouter l'annotation
networking.gke.io/load-balancer-type: "Internal"au fichier manifeste du service avant de l'envoyer au cluster. Cela crée également un équilibreur de charge réseau passthrough interne. L'équilibreur de charge utilise des backends NEGGCE_VM_IPsi le fichier manifeste est envoyé à un cluster sur lequel le sous-paramètre GKE est activé. Sinon, l'équilibreur de charge utilise des backends de groupes d'instances.
Pour les clusters exécutant des versions de GKE antérieures à la version 1.37, les fichiers manifestes de service LoadBalancer qui ne comportent pas de spec.loadBalancerClass et qui ne comportent pas les annotations cloud.google.com/l4-rbs: "enabled" ou networking.gke.io/load-balancer-type: "Internal" créent un équilibreur de charge réseau passthrough externe régional basé sur un pool cible.
Nous vous déconseillons d'utiliser des équilibreurs de charge réseau passthrough externes régionaux basés sur un pool cible.
Prérequis pour HttpLoadBalancing
Pour créer des services LoadBalancer optimisés par des équilibreurs de charge réseau passthrough externes régionaux basés sur un service de backend ou des équilibreurs de charge réseau passthrough internes, assurez-vous que le module complémentaire HttpLoadBalancing est activé si votre cluster exécute une version de GKE antérieure à la version 1.36. Le module complémentaire HttpLoadBalancing est activé par défaut.
Les services LoadBalancer dans GKE version 1.36 et ultérieure ne dépendent pas du module complémentaire HttpLoadBalancing.
Effet sur externalTrafficPolicy
Le paramètre externalTrafficPolicy contrôle les éléments suivants :
- Quels nœuds reçoivent les paquets de l'équilibreur de charge
- Si les paquets peuvent être acheminés entre les nœuds du cluster, une fois que l'équilibreur de charge les a transmis à un nœud
- Indique si l'adresse IP client d'origine est conservée ou perdue
externalTrafficPolicy peut être Local ou Cluster :
- Utilisez
externalTrafficPolicy: Localpour vous assurer que les paquets ne sont distribués qu'à un nœud disposant d'au moins un pod de diffusion prêt et qui n'est pas en cours d'arrêt, en conservant l'adresse IP source du client d'origine. Cette option est idéale pour les charges de travail comportant un nombre relativement constant de nœuds avec des pods actifs, même si le nombre total de nœuds du cluster varie. Cette option est requise pour prendre en charge l'équilibrage de charge pondéré.
- Utilisez la valeur
externalTrafficPolicy: Clustersi le nombre total de nœuds dans votre cluster est relativement constant, mais que le nombre de nœuds avec des pods actifs varie. Cette option ne conserve pas les adresses IP sources clientes d'origine et peut ajouter de la latence, car les paquets peuvent être acheminés vers un pod de diffusion sur un autre nœud après avoir été envoyés à un nœud depuis l'équilibreur de charge. Cette option n'est pas compatible avec l'équilibrage de charge pondéré.
Pour savoir comment externalTrafficPolicy affecte le routage de paquets dans les nœuds, consultez la section Traitement des paquets.
Équilibrage de charge pondéré
Les services LoadBalancer externes sont compatibles avec l'équilibrage de charge pondéré, qui permet aux nœuds comportant plus de pods actifs, prêts et non terminés de recevoir une plus grande proportion de nouvelles connexions par rapport aux nœuds comportant moins de pods. Pour en savoir plus sur la modification des configurations d'équilibreur de charge avec l'équilibrage de charge pondéré, consultez Effet de l'équilibrage de charge pondéré.
Comme l'illustre le schéma, les services pour lesquels l'équilibrage de charge pondéré est activé distribuent les nouvelles connexions proportionnellement au nombre de pods prêts sur chaque nœud.
Pour utiliser l'équilibrage de charge pondéré, vous devez remplir toutes les conditions suivantes :
Votre cluster GKE doit utiliser la version 1.31.0-gke.1506000 ou ultérieure.
Vous devez créer un service LoadBalancer externe qui génère un équilibreur de charge réseau passthrough externe régional basé sur un service de backend.
Dans les clusters qui exécutent GKE 1.37 ou une version ultérieure, GKE crée ce type d'équilibreur de charge par défaut. Aucun champ ni aucune annotation supplémentaires ne sont requis.
Dans les clusters qui exécutent GKE 1.33.1-gke.1779000 à 1.36, ajoutez
spec.loadBalancerClass: "networking.gke.io/l4-regional-external"au fichier manifeste du service avant de l'envoyer au cluster. (méthode recommandée)Dans les clusters qui exécutent une version de GKE compatible, ajoutez l'annotation
cloud.google.com/l4-rbs: "enabled"au fichier manifeste du service avant de l'envoyer au cluster.
Vous devez inclure l'annotation
networking.gke.io/weighted-load-balancing: pods-per-nodedans le fichier manifeste du service pour activer la fonctionnalité d'équilibrage de charge pondéré.Le fichier manifeste du service LoadBalancer doit utiliser
externalTrafficPolicy: Local. GKE ne vous empêche pas d'utiliserexternalTrafficPolicy: Cluster, maisexternalTrafficPolicy: Clusterdésactive l'équilibrage de charge pondéré, car le paquet peut être acheminé vers un autre nœud après l'équilibreur de charge.
Pour utiliser l'équilibrage de charge pondéré, consultez Activer l'équilibrage de charge pondéré.
Affinité zonale
Les services LoadBalancer internes sont compatibles avec l'affinité zonale, qui peut acheminer les nouvelles connexions vers des nœuds avec des pods de diffusion dans la même zone qu'un client. S'il n'y a pas de pods opérationnels dans la zone, GKE achemine le trafic vers une autre zone. Conserver le trafic dans une zone peut réduire le trafic entre les zones, ce qui réduit les coûts et la latence. Pour activer l'affinité zonale dans un cluster GKE, vous devez activer le sous-paramètre GKE.
Lorsque vous configurez l'affinité zonale pour un service LoadBalancer interne, GKE configure l'équilibreur de charge réseau passthrough interne correspondant avec l'option ZONAL_AFFINITY_SPILL_CROSS_ZONE et un ratio de débordement nul (0.0). Cette configuration permet de s'assurer que le trafic est supprimé dans la zone plutôt que de déborder vers d'autres zones. L'équilibreur de charge limite l'ensemble d'origine des backends de nœuds éligibles aux seuls backends de nœuds éligibles situés dans la même zone que le client lorsque toutes les conditions suivantes sont remplies :
Le client est compatible avec l'affinité zonale.
Au moins un backend de nœud éligible et opérationnel se trouve dans la zone du client.
Dans toutes les autres situations, l'équilibreur de charge continue d'utiliser l'ensemble d'origine de backends de nœuds éligibles, sans appliquer d'optimisation d'affinité zonale.
Pour en savoir plus sur l'impact de la configuration de l'affinité zonale sur le comportement de l'équilibreur de charge, consultez la documentation sur l'affinité zonale. Pour en savoir plus sur l'influence de l'affinité zonale et de externalTrafficPolicy sur le routage des paquets sur les VM de nœud, consultez Traduction d'adresse réseau source et routage sur les nœuds.
Remarques concernant le scaling avec l'affinité zonale
Comme l'affinité zonale ne s'intègre pas de manière native à HorizontalPodAutoscaler (AHP), des problèmes de scaling peuvent survenir lorsque le trafic au sein d'une zone dépasse la capacité des pods de cette zone. Le HPA effectue le scaling des pods en fonction des métriques de cluster agrégées plutôt que de la charge par zone. Par conséquent, une zone connaissant un trafic élevé (surcharge zonale) peut ne pas recevoir de pods supplémentaires, ce qui entraîne une dégradation des performances ou des connexions interrompues pour les clients de cette zone, même si le cluster est globalement sous-utilisé.
Familles d'adresses IP
Un service LoadBalancer peut être à pile unique (IPv4 seulement ou IPv6 uniquement) ou à double pile. Vous pouvez contrôler cela à l'aide des champs spec.ipFamilyPolicy et spec.ipFamilies. Un service à pile unique comporte une règle de transfert, et un service à double pile en comporte deux : une pour IPv4 et une pour IPv6.
Les services LoadBalancer IPv6 présentent les caractéristiques supplémentaires suivantes :
- Ils utilisent toujours des backends de NEG
GCE_VM_IP. - Leurs adresses IPv6 proviennent d'une plage de sous-réseau de votre réseau VPC (dont le type d'accès IPv6 doit correspondre au type d'équilibreur de charge) ou de vos propres adresses IPv6 (BYOIPv6) :
- Les services LoadBalancer IPv6 internes peuvent utiliser des sous-réseaux internes provisionnés à partir d'un préfixe délégué public BYOIPv6.
- Dans GKE 1.37.1-gke.2097000 et versions ultérieures, les services LoadBalancer IPv6 externes à pile unique sont compatibles avec l'allocation directe de plages d'adresses BYOIPv6 externes à partir d'un sous-préfixe IPv6 régional d'un préfixe délégué public. Vous pouvez configurer cette allocation à l'aide de l'annotation
networking.gke.io/ip-collection-v6ou en spécifiant une plage d'adresses BYOIPv6 externes statiques.
- Les services LoadBalancer IPv6 externes nécessitent un équilibreur de charge réseau passthrough externe régional basé sur un service de backend.
Pour en savoir plus, consultez Services LoadBalancer IPv6 et Utiliser vos propres adresses IPv6 (BYOIPv6).
Remarques spécifiques aux services LoadBalancer internes
Cette section décrit la fonctionnalité de sous-paramètre GKE, qui est propre aux services LoadBalancer internes, et comment le sous-paramètre GKE interagit avec externalTrafficPolicy pour influencer le nombre maximal de nœuds à équilibrage de charge.
Sous-paramètre GKE
Le sous-paramètre GKE pour les services LoadBalancer internes est activé par défaut pour les clusters GKE exécutant la version 1.36 ou ultérieure. Pour ces versions, le sous-paramétrage GKE reste actif même si l'option --enable-l4-ilb-subsetting au niveau du cluster est définie sur false dans la configuration de votre cluster ou dans les outils d'infrastructure as code (IaC) tels que Terraform.
Cette option de configuration à l'échelle du cluster améliore l'évolutivité des équilibreurs de charge réseau passthrough internes en regroupant plus efficacement les points de terminaison des nœuds dans des groupes de points de terminaison du réseau (NEG) GCE_VM_IP. Les NEG sont utilisés comme backends de l'équilibreur de charge.
Le schéma suivant montre deux services dans un cluster zonal comportant trois nœuds.
Le sous-paramètre GKE est activé sur le cluster. Chaque service possède deux pods. GKE crée un NEG GCE_VM_IP pour chaque service. Les points de terminaison de chaque NEG sont les nœuds avec les pods de diffusion pour le service concerné.
Pour les clusters exécutant des versions antérieures à la version 1.36, vous pouvez activer manuellement le sous-paramètre GKE lorsque vous créez un cluster ou mettez à jour un cluster existant. Une fois le sous-paramètre GKE activé, vous ne pouvez plus le désactiver.
Le sous-paramètre GKE nécessite :
- GKE version 1.18.19-gke.1400 ou ultérieure ;
- Si votre cluster est sur une version antérieure à la version 1.36, le module complémentaire
HttpLoadBalancingdoit être activé. Ce module complémentaire est activé par défaut. Il permet au cluster de gérer les équilibreurs de charge qui utilisent des services de backend. Si votre cluster est en version 1.36 ou ultérieure, le module complémentaireHttpLoadBalancingn'est pas un prérequis pour le sous-paramétrage GKE.
Nombre de nœuds
Un cluster pour lequel le sous-paramètre GKE est désactivé peut rencontrer des problèmes avec les services LoadBalancer internes s'il comporte plus de 250 nœuds au total (dans tous les pools de nœuds). Cela est dû au fait que les équilibreurs de charge réseau passthrough internes créés par GKE ne peuvent distribuer des paquets qu'à un nombre maximal de 250 VM de nœuds backend. Cette limitation existe pour les deux raisons suivantes :
- GKE n'utilise pas le sous-paramètre de backend de l'équilibreur de charge.
- Un équilibreur de charge réseau passthrough interne ne peut distribuer des paquets qu'à 250 backends maximum lorsque le sous-paramètre de backend de l'équilibreur de charge est désactivé.
Un cluster avec le sous-paramètre GKE accepte les services LoadBalancer internes dans les clusters de plus de 250 nœuds au total.
Le nombre de nœuds compatibles avec le sous-paramètre GKE dépend de la valeur du champ externalTrafficPolicy pour le service LoadBalancer interne :
externalTrafficPolicy: Local: accepte jusqu'à 250 nœuds avec des pods de diffusion pour un service donné.externalTrafficPolicy: Cluster: n'impose pas de limite au nombre de nœuds avec des pods de diffusion. Ce comportement se produit, car GKE configure un maximum de 25 points de terminaison de nœud dans les NEGGCE_VM_IPpour chaque service. Pour en savoir plus, consultez Adhésion des nœuds dans les backends de NEGGCE_VM_IP.
Répartition du trafic
Par défaut, les services LoadBalancer internes et externes créent des équilibreurs de charge réseau passthrough avec l'affinité de session définie sur NONE. Les équilibreurs de charge réseau passthrough utilisent l'affinité de session, les informations d'état et, dans certains cas, des détails tels que la pondération pour identifier et sélectionner un backend de nœud éligible pour une nouvelle connexion.
Les nouvelles connexions créent des entrées dans la table de suivi des connexions, qui sont utilisées pour acheminer rapidement les paquets suivants de la connexion vers le backend de nœud éligible précédemment sélectionné. Pour en savoir plus sur la façon dont les équilibreurs de charge réseau passthrough identifient et sélectionnent les backends éligibles, et utilisent le suivi des connexions, consultez les pages suivantes :
Distribution du trafic pour les équilibreurs de charge réseau passthrough internes
Répartition du trafic pour les équilibreurs de charge réseau passthrough externes régionaux
Effet de l'équilibrage de charge pondéré
Lorsque vous configurez l'équilibrage de charge pondéré pour un service LoadBalancer externe, GKE l'active sur l'équilibreur de charge réseau passthrough externe régional correspondant. GKE configure le logiciel kube-proxy ou cilium-agent pour inclure un en-tête de réponse dans la réponse à la vérification d'état de l'équilibreur de charge. Cet en-tête de réponse définit une pondération proportionnelle au nombre de pods actifs, prêts et non terminés sur chaque nœud.
L'équilibreur de charge utilise les informations de pondération comme suit :
L'ensemble des backends de nœuds éligibles de l'équilibreur de charge se compose de tous les nœuds opérationnels dont la pondération est non nulle.
L'équilibreur de charge prend en compte la pondération lorsqu'il sélectionne l'un des backends de nœud éligibles. Lorsque le service utilise
externalTrafficPolicy: Local(requis pour que l'équilibrage de charge pondéré soit efficace), un backend de nœud éligible qui comporte plus de pods de diffusion prêts et non terminés est plus susceptible d'être sélectionné qu'un backend de nœud éligible avec moins de pods.
Regroupement de nœuds
La version de GKE, les annotations du fichier manifeste du service et, pour les services LoadBalancer internes, l'option de sous-paramètre GKE déterminent l'équilibreur de charge Cloud de Confiance et le type de backends obtenus.
Le tableau suivant décrit les méthodes de regroupement de nœuds pour différentes configurations de service LoadBalancer :
| Détails du service et du cluster | Équilibreur de charge Cloud de Confiance obtenu | Méthode de regroupement des nœuds |
|---|---|---|
| Services LoadBalancer internes | ||
GKE version 1.33.1-gke.1779000 ou ultérieure dans un cluster avec le sous-paramètre GKE activé1. Manifeste de service envoyé au cluster avec spec.loadBalancerClass: "networking.gke.io/l4-regional-internal".
|
Un équilibreur de charge réseau passthrough interne dont le service de backend utilise des backends de groupes de points de terminaison du réseau (NEG) GCE_VM_IP |
Les VM de nœud sont regroupées dans des NEG zonaux La règle |
Toutes les versions de GKE compatibles dans un cluster avec le sous-paramètre GKE activé1. Fichier manifeste de service envoyé au cluster avec l'annotation networking.gke.io/load-balancer-type: "Internal".
|
||
Versions de GKE antérieures à la version 1.36 dans un cluster avec le sous-paramètre GKE désactivé1. Fichier manifeste de service envoyé au cluster avec l'annotation networking.gke.io/load-balancer-type: "Internal".
|
Un équilibreur de charge réseau passthrough interne dont le service de backend utilise des backends de groupes d'instances non gérés zonaux. | Toutes les VM de nœud sont placées dans des groupes d'instances non gérés zonaux que GKE utilise en tant que backends pour le service de backend de l'équilibreur de charge réseau passthrough interne. La règle Les mêmes groupes d'instances non gérés sont utilisés pour les autres services de backend d'équilibreur de charge créés dans le cluster en raison de la limitation des groupes d'instances à équilibrage de charge unique. |
| Services LoadBalancer externes | ||
GKE version 1.37 ou ultérieure. Fichier manifeste du service envoyé au cluster, mais la paire champ-valeur spec.loadBalancerClass: "networking.gke.io/l4-regional-external-legacy" n'est pas incluse.
|
Un équilibreur de charge réseau passthrough externe régional basé sur un service de backend avec des backends de groupes de points de terminaison du réseau (NEG) GCE_VM_IP |
Les VM de nœud sont regroupées dans des NEG zonaux La règle |
GKE version 1.33.1-gke.1779000 à 1.36. Fichier manifeste du service envoyé au cluster avec la paire champ-valeur spec.loadBalancerClass: "networking.gke.io/l4-regional-external".
|
||
GKE version 1.32.2-gke.1652000 à 1.36. Fichier manifeste de service envoyé au cluster avec l'annotation cloud.google.com/l4-rbs: "enabled"2.
|
||
Version de GKE antérieure à 1.32.2-gke.16520003. Fichier manifeste de service envoyé au cluster avec l'annotation cloud.google.com/l4-rbs: "enabled"2.
|
Un équilibreur de charge réseau passthrough externe régional basé sur un service de backend avec des backends de groupes d'instances non gérés zonaux | Toutes les VM de nœud sont placées dans des groupes d'instances non gérés zonaux que GKE utilise en tant que backends pour le service de backend de l'équilibreur de charge réseau passthrough externe régional. La règle Les mêmes groupes d'instances non gérés sont utilisés pour les autres services de backend d'équilibreur de charge créés dans le cluster en raison de la limitation des groupes d'instances à équilibrage de charge unique. |
Versions de GKE antérieures à la version 1.37. Manifeste de service envoyé au cluster sans tous les éléments suivants :
GKE version 1.37 ou ultérieure. Fichier manifeste du service envoyé au cluster avec la paire champ-valeur |
Un équilibreur de charge réseau passthrough externe régional basé sur un pool cible dont le pool cible contient tous les nœuds du cluster. | Le pool cible est une ancienne API qui ne repose pas sur des NEG ou des groupes d'instances. Tous les nœuds ont une appartenance directe au pool cible. La règle |
1 Le sous-paramètre GKE est automatiquement activé dans GKE 1.36 et versions ultérieures. Le sous-paramètre GKE ne peut pas être désactivé une fois que vous l'avez activé.
2 L'annotation cloud.google.com/l4-rbs: "enabled" n'est prise en compte que lorsque le fichier manifeste du service est envoyé au cluster. L'ajout de cette annotation à un fichier manifeste de service existant ne convertit pas un équilibreur de charge réseau passthrough externe régional basé sur un pool cible en un équilibreur de charge réseau passthrough externe régional basé sur un service de backend.
3 GKE ne met pas automatiquement à jour les équilibreurs de charge réseau passthrough externes régionaux basés sur un service de backend avec des backends de groupe d'instances vers des équilibreurs de charge réseau passthrough externes régionaux basés sur un service de backend avec des backends NEG GCE_VM_IP.
Pour obtenir des instructions de migration manuelle, consultez Migrer vers des backends NEG GCE_VM_IP.
Adhésion des nœuds dans les backends de NEG GCE_VM_IP
Lorsque GKE crée un équilibreur de charge réseau passthrough interne ou un équilibreur de charge réseau passthrough externe régional basé sur un service de backend avec des backends de NEG GCE_VM_IP, il crée et gère les NEG comme suit :
GKE crée un NEG
GCE_VM_IPunique dans chaque zone pour chaque service LoadBalancer. Contrairement aux groupes d'instances, les nœuds peuvent être membres de plusieurs NEGGCE_VM_IPà équilibrage de charge.La règle
externalTrafficPolicydu service et le nombre de nœuds dans le cluster déterminent les nœuds ajoutés en tant que points de terminaison aux NEGGCE_VM_IPdu service.Pour un service LoadBalancer IPv6, GKE remplit le NEG
GCE_VM_IPavec les adresses IPv6 des interfaces réseau des nœuds.
Le plan de contrôle du cluster gère les points de terminaison de nœud dans les NEG GCE_VM_IP en fonction de la valeur de la règle externalTrafficPolicy du service et du nombre de nœuds dans le cluster, comme résumé dans les tableaux suivants.
Nœuds dans l'équilibreur de charge réseau passthrough interne
externalTrafficPolicy |
Nombre de nœuds dans le cluster | Adhésion au point de terminaison |
|---|---|---|
Cluster |
1 à 25 nœuds | GKE utilise tous les nœuds du cluster comme points de terminaison pour le ou les NEG du service, même si un nœud ne contient pas de pod de diffusion pour le service. |
Cluster |
Plus de 25 nœuds | GKE utilise un sous-ensemble aléatoire de jusqu'à 25 nœuds comme points de terminaison pour le ou les NEG du service, même si un nœud ne contient pas de pod de diffusion pour le service. |
Local |
N'importe quel nombre de nœuds1 | GKE n'utilise que les nœuds dont au moins un des pods de diffusion du service est utilisé comme point de terminaison pour le ou les NEG du service. |
1 Limité à 250 nœuds avec pods de diffusion. Plus de 250 nœuds peuvent être présents dans le cluster, mais les équilibreurs de charge réseau passthrough internes ne desservent que 250 VM de backend lorsque le sous-paramètre de backend de l'équilibreur de charge réseau passthrough interne est désactivé. Même avec le sous-paramètre GKE activé, GKE ne configure jamais les équilibreurs de charge réseau passthrough internes avec le sous-paramètre de backend d'équilibreur de charge réseau passthrough interne. Pour en savoir plus sur cette limite, consultez la section Nombre maximal d'instances de VM par service de backend interne.
Nœuds dans un équilibreur de charge réseau passthrough externe régional
externalTrafficPolicy |
Nombre de nœuds dans le cluster | Adhésion au point de terminaison |
|---|---|---|
Cluster |
1 à 250 nœuds | GKE utilise tous les nœuds du cluster comme points de terminaison pour le ou les NEG du service, même si un nœud ne contient pas de pod de diffusion pour le service. |
Cluster |
Plus de 250 nœuds | GKE utilise un sous-ensemble aléatoire de jusqu'à 250 nœuds comme points de terminaison pour le ou les NEG du service, même si un nœud ne contient pas de pod de diffusion pour le service. |
Local |
N'importe quel nombre de nœuds1 | GKE n'utilise que les nœuds dont au moins un des pods de diffusion du service est utilisé comme point de terminaison pour le ou les NEG du service. |
1 Limité à 3 000 nœuds avec pods de diffusion. Plus de 3 000 nœuds peuvent être présents dans le cluster, mais GKE n'accepte que la création de 3 000 points de terminaison au maximum lorsqu'il crée des équilibreurs de charge réseau passthrough externes régionaux basés sur un service de backend qui utilisent des backends NEG GCE_VM_IP.
Limite des groupes d'instances à équilibrage de charge unique
L'API Compute Engine interdit aux VM d'être membres de plusieurs groupes d'instances à équilibrage de charge. Les nœuds GKE sont soumis à cette contrainte.
Lorsque vous utilisez des backends de groupes d'instances non gérés, GKE crée ou met à jour des groupes d'instances non gérés contenant tous les nœuds de tous les pools de nœuds dans chaque zone utilisée par le cluster. Ces groupes d'instances non gérés sont des backends pour les équilibreurs de charge créés par GKE suivants :
- Équilibreur de charge réseau passthrough interne créé pour un service LoadBalancer interne dont le fichier manifeste comporte l'annotation
networking.gke.io/load-balancer-type: "Internal", envoyé à un cluster exécutant une version de GKE antérieure à la version 1.36, avec le sous-paramètre GKE désactivé. - Un équilibreur de charge réseau passthrough externe régional basé sur un service de backend créé pour un service LoadBalancer externe dont le fichier manifeste comporte l'annotation
cloud.google.com/l4-rbs: "enabled", envoyé à un cluster exécutant une version de GKE antérieure à la version 1.32.2-gke.1652000. - Un équilibreur de charge d'application externe créé pour un objet Ingress GKE externe, qui utilise le contrôleur GKE Ingress mais n'utilise pas l'équilibrage de charge natif en conteneurs.
Étant donné que les VM de nœud ne peuvent pas être membres de plusieurs groupes d'instances à équilibrage de charge, GKE ne peut pas créer ni gérer d'équilibreurs de charge réseau passthrough internes, d'équilibreurs de charge réseau passthrough externes régionaux basés sur un service de backend, ni d'équilibreurs de charge d'application externes créés pour les ressources d'entrée GKE si l'une des conditions suivantes est vraie :
- En dehors de GKE, vous avez créé au moins un équilibreur de charge basé sur un service de backend, et vous avez utilisé les groupes d'instances gérés du cluster comme backends pour le service de backend de l'équilibreur de charge.
- En dehors de GKE, vous créez un groupe d'instances non géré personnalisé contenant tout ou partie des nœuds du cluster, puis vous associez ce groupe d'instances non géré personnalisé à un service de backend pour un équilibreur de charge.
Pour contourner cette limitation, vous pouvez demander à GKE d'utiliser des backends de NEG :
- Créez des services LoadBalancer qui utilisent des NEG
GCE_VM_IP. Pour en savoir plus, consultez Regroupement de nœuds. - Configurez les ressources Ingress GKE externes pour utiliser l'équilibrage de charge natif en conteneurs. Pour en savoir plus, consultez la page Équilibrage de charge natif en conteneurs GKE.
Vérifications de l'état de l'équilibreur de charge
Tous les services LoadBalancer de GKE implémentent une vérification d'état de l'équilibreur de charge. Le système de vérification d'état de l'équilibreur de charge fonctionne en dehors du cluster et est différent d'une vérification d'aptitude, d'activité ou de démarrage d'un pod.
Les paquets de vérification de l'état de l'état de l'équilibreur de charge reçoivent une réponse du logiciel kube-proxy (sur les clusters qui n'utilisent pas GKE Dataplane V2) ou du logiciel cilium-agent (sur les clusters avec GKE Dataplane V2) exécuté sur chaque nœud. Les vérifications de l'état de l'équilibreur de charge pour les services LoadBalancer ne peuvent pas être traitées par les pods.
La règle externalTrafficPolicy du service détermine quels nœuds sont soumis à la vérification de l'état'équilibreur de charge. Pour en savoir plus sur la façon dont l'équilibreur de charge utilise les informations de vérification de l'état d'état, consultez Distribution du trafic.
externalTrafficPolicy |
Quels nœuds réussissent la vérification d'état | Quel est le port utilisé |
|---|---|---|
Cluster |
Tous les nœuds du cluster réussissent la vérification de l'état, y compris ceux sans pod de diffusion. Si au moins un pod de diffusion existe sur un nœud, ce nœud réussit la vérification de l'état de l'équilibreur de charge, quel que soit l'état de son pod. | Le port de vérification de l'état de l'équilibreur de charge doit être le port TCP 10256. Il ne peut pas être personnalisé. |
Local |
La vérification de l'état de l'équilibreur de charge considère qu'un nœud est opérationnel si au moins un pod de diffusion prêt et qui n'est pas en cours d'arrêt existe sur le nœud, quel que soit l'état des autres pods. Les nœuds sans pod de diffusion, les nœuds dont les pods de diffusion échouent aux vérifications d'aptitude et les nœuds dont les pods de diffusion sont tous en fin d'arrêt échouent à la vérification de l'état'équilibreur de charge. Pendant les transitions d'état, un nœud passe toujours la vérification de l'état de l'équilibreur de charge jusqu'à ce que le seuil de faible capacité de l'équilibreur de charge soit atteint. L'état de transition se produit lorsque tous les pods de diffusion sur un nœud commencent à échouer aux vérifications d'aptitude ou lorsque tous les pods de diffusion sur un nœud sont en cours d'arrêt. Le mode de traitement du paquet dans cette situation dépend de la version de GKE. Pour en savoir plus, consultez la section Traitement des paquets suivante. |
Le plan de contrôle Kubernetes attribue le port de vérification de l'état à partir de la plage de ports du nœud, sauf si vous spécifiez un vérification de l'état de l'état personnalisé. |
Lorsque l'équilibrage de charge pondéré est activé, l'équilibreur de charge utilise les informations d'état et de pondération pour identifier l'ensemble des backends de nœuds éligibles. Pour en savoir plus, consultez Effet de l'équilibrage de charge pondéré.
Lorsque l'affinité zonale est activée, l'équilibreur de charge peut affiner l'ensemble des backends de nœuds éligibles. Pour en savoir plus, consultez Affinité zonale.
Vérification de l'état des NEG par rapport aux MIG
Le type de backend utilisé par votre service LoadBalancer détermine la manière dont Cloud de Confiance configure et exécute les vérifications d'état de l'équilibreur de charge :
- Sous-paramètre GKE (backends NEG) : lorsque votre service utilise des groupes de points de terminaison du réseau (NEG)
GCE_VM_IP(par exemple, lorsque le sous-paramètre GKE est activé), GKE configure des vérifications d'état zonales. Pour les NEG zonaux, les vérifications d'état ciblent directement le port du service. - Configurations de groupes d'instances (backends MIG) : lorsque votre service utilise des groupes d'instances non gérés (MIG) comme backends, GKE configure des vérifications d'état globales. Pour les groupes d'instances, les vérifications d'état ciblent le
nodePortalloué au service.
Résoudre les problèmes d'échec de la vérification de l'état'état
Si les backends de votre équilibreur de charge sont signalés comme non opérationnels (par exemple, si 0/X healthy s'affiche dans la console Cloud de Confiance ), recherchez les causes courantes suivantes :
- Règles de pare-feu manquantes : les équilibreurs de charge Cloud de Confiance nécessitent des règles de pare-feu autorisant le trafic entrant pour permettre aux vérification de l'état d'état provenant des plages d'adresses IP de vérification de l'état d'état de Google (telles que
130.211.0.0/22et35.191.0.0/16) d'atteindre les nœuds de votre cluster. Si ces règles de pare-feu sont supprimées ou modifiées, les vérifications d'état échouent. - Incohérence du port cible de la vérification : toutes les règles de sécurité réseau personnalisées ou les configurations de pare-feu au niveau du nœud doivent tenir compte du port de destination de la vérification de l'état d'état. Les vérifications ciblent directement le port du service pour les backends NEG, mais ciblent le
nodePortpour les backends de groupe d'instances (MIG). Une incompatibilité dans la configuration de port attendue entraîne l'échec des vérifications. - Comportement de
externalTrafficPolicy: Local: si votre service est configuré avec le paramètreexternalTrafficPolicy: Local, les nœuds qui n'hébergent pas de pod de diffusion prêt pour ce service échouent intentionnellement à la vérification de l'état d'état de l'équilibreur de charge. Si tous les pods du service ne sont pas prêts ou sont en cours d'arrêt dans le cluster, tous les nœuds de backend sont signalés comme non opérationnels (0/X healthy).
Plages de vérification d'état pour les services LoadBalancer IPv6
Les vérifications d'état des services LoadBalancer IPv6 proviennent de plages sources différentes de celles des vérifications IPv4. GKE crée des règles de pare-feu autorisant les entrées pour les plages sources IPv6 suivantes :
2600:2d00:1:b029::/64pour les équilibreurs de charge réseau passthrough internes.2600:1901:8001::/48pour les équilibreurs de charge réseau passthrough externes régionaux.
Si vous gérez vos propres règles de pare-feu, vous devez autoriser le trafic entrant depuis ces plages vers vos nœuds de cluster. Sinon, les vérifications d'état des services LoadBalancer IPv6 échoueront.
Traitement de paquets
Les sections suivantes expliquent comment fonctionnent les nœuds de l'équilibreur de charge et du cluster pour acheminer les paquets reçus pour les services LoadBalancer.
Équilibrage de charge direct
Les équilibreurs de charge réseau passthrough acheminent les paquets vers l'interface nic0 des nœuds du cluster GKE. Chaque paquet à équilibrage de charge reçu sur un nœud présente les caractéristiques suivantes :
- L'adresse IP de destination du paquet correspond à l'adresse IP de la règle de transfert de l'équilibreur de charge.
- Le protocole et le port de destination du paquet correspondent à ces deux éléments :
- Un protocole et un port spécifiés dans
spec.ports[]du fichier manifeste du service - Un protocole et un port configurés sur la règle de transfert de l'équilibreur de charge
- Un protocole et un port spécifiés dans
Traduction d'adresses réseau de destination sur les nœuds
Une fois que le nœud a reçu le paquet, il effectue un traitement supplémentaire du paquet. Dans les clusters GKE qui n'utilisent pas GKE Dataplane V2, les nœuds utilisent iptables pour traiter les paquets à équilibrage de charge. Dans les clusters GKE avec GKE Dataplane V2 activé, les nœuds utilisent eBPF à la place. Le traitement des paquets au niveau du nœud inclut toujours les actions suivantes :
- Le nœud effectue la traduction d'adresse réseau de destination (DNAT) sur le paquet, en définissant son adresse IP de destination sur une adresse IP de pod de diffusion.
- Le nœud remplace le port de destination du paquet par le
targetPortduspec.ports[]du service correspondant.
Traduction d'adresse réseau source et routage sur les nœuds
Le tableau suivant montre la relation entre externalTrafficPolicy et si le nœud qui a reçu les paquets à équilibrage de charge effectue une traduction d'adresse réseau source (SNAT) avant d'envoyer les paquets à équilibrage de charge à un pod :
externalTrafficPolicy |
Comportement SNAT |
|---|---|
Cluster |
Dans les clusters GKE qui n'utilisent pas GKE Dataplane V2, chaque nœud qui reçoit des paquets à équilibrage de charge remplace toujours l'adresse IP source de ces paquets par l'adresse IP du nœud, que le nœud achemine les paquets vers un pod local ou un pod sur un autre nœud. Dans les clusters GKE qui utilisent GKE Dataplane V2, chaque nœud qui reçoit des paquets à équilibrage de charge modifie l'adresse IP source de ces paquets pour qu'elle corresponde à l'adresse IP du nœud uniquement si le nœud de réception achemine les paquets vers un pod sur un nœud différent. Si le nœud qui a reçu les paquets à équilibrage de charge les achemine vers un pod local, il ne modifie pas l'adresse IP source de ces paquets. |
Local |
Chaque nœud ayant reçu des paquets à équilibrage de charge les achemine exclusivement vers un pod local, et le nœud ne modifie pas l'adresse IP source de ces paquets. |
Le tableau suivant montre comment externalTrafficPolicy contrôle la façon dont les nœuds acheminent les paquets à équilibrage de charge et les paquets de réponse :
externalTrafficPolicy |
Routage des paquets à équilibrage de charge | Routage des paquets de réponse |
|---|---|---|
Cluster |
Voici le comportement de référence pour le routage des paquets à équilibrage de charge :
Dans les clusters régionaux, si le nœud qui a reçu les paquets à équilibrage de charge les achemine vers un autre nœud, l'affinité zonale a l'effet suivant :
En dernier recours, s'il n'y a pas de pods actifs, prêts et non en cours d'arrêt pour le service sur tous les nœuds du cluster, voici ce qui se produit :
|
Les paquets de réponse sont toujours envoyés à partir d'un nœud à l'aide du retour direct du serveur :
|
Local |
Voici le comportement de référence pour le routage des paquets à équilibrage de charge : le nœud qui a reçu des paquets à équilibrage de charge dispose généralement d'un pod de diffusion prêt et qui n'est pas en cours d'arrêt (car un tel pod est requis pour réussir la vérification de l'état de l'équilibreur de charge). Le nœud achemine les paquets à équilibrage de charge vers un pod local. Dans les clusters régionaux, l'affinité zonale ne modifie pas le comportement de référence pour le routage des paquets à équilibrage de charge. En dernier recours, s'il n'y a pas de pods de diffusion prêts et non finalisés pour le service sur le nœud qui a reçu les paquets à équilibrage de charge, les événements suivants se produisent :
|
Le nœud avec le pod de diffusion est toujours le nœud qui a reçu les paquets de l'équilibrage de charge, et ce nœud envoie les paquets de réponse à l'aide du retour direct du serveur. |
1 Les points de terminaison de proxy sont activés dans les configurations suivantes :
- Clusters GKE n'utilisant pas GKE Dataplane V2 : GKE version 1.26 et ultérieure
- Clusters GKE utilisant GKE Dataplane V2 : GKE version 1.26.4-gke.500 et ultérieures
Quotas
Le nombre de règles de transfert que vous pouvez créer est contrôlé par des quotas d'équilibreur de charge :
- Les équilibreurs de charge réseau passthrough internes utilisent le quota de services de backend par projet, le quota de vérifications d'état par projet et les quota de règles de transfert de l'équilibreur de charge réseau passthrough interne par réseau cloud privé virtuel.
- Les équilibreurs de charge réseau passthrough externes régionaux basés sur un service de backend utilisent le quota de services de backend par projet, le quota de vérifications d'état par projet et le quota de règles de transfert de l'équilibreur de charge réseau passthrough externe régional par projet.
- Les équilibreurs de charge réseau passthrough externes régionaux basés sur un pool cible utilisent le quota de pools cibles par projet, le quota de vérifications d'état par projet et le quota de règles de transfert de l'équilibreur de charge réseau passthrough externe régional par projet.
Étapes suivantes
- En savoir plus sur les paramètres du service LoadBalancer
- Découvrez comment configurer un équilibreur de charge interne.
- Consultez la présentation d'Ingress pour les équilibreurs de charge d'application.
- Découvrez comment utiliser des NEG autonomes.
- En savoir plus sur l'API Gateway