Controllare la comunicazione con indirizzi IP permanenti


Questa pagina mostra come implementare indirizzi IP permanenti nei pod Google Kubernetes Engine (GKE). Puoi controllare il networking dei pod GKE con la mappatura degli indirizzi IP permanenti personalizzati. Per saperne di più sugli indirizzi IP permanenti, sui loro casi d'uso e sui vantaggi, consulta Informazioni sugli indirizzi IP permanenti per i pod GKE.

Requisiti

  • GKE versione 1.31 o successive.
  • Scegli tra la prenotazione di indirizzi IP forniti da Google o l'utilizzo dei tuoi indirizzi IP (BYOIP).
  • Configura l'applicazione in esecuzione all'interno dei pod in modo che riconosca e utilizzi gli indirizzi IP permanenti assegnati.
  • Gli indirizzi IP permanenti per i pod GKE richiedono cluster con GKE Dataplane V2 e API Gateway abilitate.

Limitazioni

  • Devi configurare le tue applicazioni in modo che utilizzino gli indirizzi IP permanenti assegnati. GKE non aggiunge automaticamente la configurazione dell'indirizzo IP alle interfacce di rete del pod.
  • Puoi associare ogni indirizzo IP permanente a un solo pod alla volta. Quando sono disponibili più pod, GKE in genere invia il traffico al pod corrispondente più recente. Tuttavia, GKE lo fa solo se il pod più recente è integro, il che significa che il pod ha lo stato della condizione Ready come True per impostazione predefinita. Puoi configurare questo comportamento e modificarlo utilizzando l'impostazione reactionMode su GKEIPRoute.
  • GKE supporta solo gli indirizzi IPv4 come indirizzi IP permanenti.
  • GKE supporta solo reti multiple di livello 3 o di tipo dispositivo.
  • Il supporto dell'alta disponibilità (HA) tramite indirizzi IP permanenti non è supportato per i casi d'uso non DPDK.
  • Puoi specificare fino a 16 indirizzi IP in un singolo GKEIPRoute. Per configurare più indirizzi, puoi creare più oggetti GKEIPRoute.

Prima di iniziare

Prima di iniziare, assicurati di aver eseguito le seguenti operazioni:

  • Attiva l'API Google Kubernetes Engine.
  • Attiva l'API Google Kubernetes Engine
  • Se vuoi utilizzare Google Cloud CLI per questa attività, installala e poi inizializzala. Se hai già installato gcloud CLI, scarica l'ultima versione eseguendo gcloud components update.

Implementa indirizzi IP permanenti per i pod GKE

Gli indirizzi IP permanenti in GKE offrono un modo per fornire ai pod un'identità di rete stabile, anche se i pod stessi vengono aggiornati o spostati.

Questa sezione riassume il flusso di lavoro per implementare indirizzi IP permanenti per i pod GKE:

  1. Crea un cluster: crea un cluster con API Gateway e GKE Dataplane V2.
  2. Prenota un indirizzo IP: decidi se hai bisogno di un indirizzo IP esterno (accessibile pubblicamente) o interno (solo Google Cloud) e prenotalo. Scegli la stessa regione del cluster GKE.
  3. Crea un gateway: configura l'oggetto Kubernetes Gateway che contiene gli indirizzi IP permanenti riservati e ti consente di creare regole (GKEIPRoutes) su quali pod nel cluster possono utilizzare questi indirizzi IP permanenti.
  4. Crea o identifica i carichi di lavoro per gli indirizzi IP permanenti: se utilizzi indirizzi IP permanenti su una rete aggiuntiva, prepara i pod a utilizzare indirizzi IP permanenti attivando più interfacce di rete e definendo la rete in cui risiedono gli indirizzi IP permanenti.
  5. Crea l'oggetto GKEIPRoute per i workload selezionati: configura GKEIPRoute per assegnare l'indirizzo IP permanente a un pod specifico. Puoi utilizzare le etichette per scegliere i pod giusti e, se vuoi, configurare la modalità di reazione del routing alle modifiche dei pod.
  6. Configura Application Awareness: configura l'applicazione all'interno del pod per utilizzare attivamente l'indirizzo IP permanente.
  7. Monitoraggio: monitora lo stato del gateway e degli oggetti GKEIPRoute per assicurarti che tutto funzioni come previsto.

Per implementare l'indirizzo IP permanente per i pod GKE, segui questi passaggi:

Passaggio 1: crea un cluster GKE con API Gateway e GKE Dataplane V2 abilitati

Per abilitare le funzionalità avanzate di gestione di indirizzi IP e routing di rete necessarie per implementare indirizzi IP permanenti sui pod GKE, devi creare un cluster GKE Dataplane V2 nel seguente modo:

gcloud container clusters create CLUSTER_NAME \
    --cluster-version=CLUSTER_VERSION \
    --enable-dataplane-v2 \
    --enable-ip-alias \
    --gateway-api=standard

Sostituisci quanto segue:

  • CLUSTER_NAME: il nome del cluster.
  • CLUSTER_VERSION: la versione del cluster.

Passaggio 2: configura gli indirizzi IP permanenti

Per stabilire identità di rete affidabili per i tuoi pod e configurare indirizzi IP persistenti, devi prima acquisire indirizzi IP persistenti. Puoi scegliere tra la prenotazione di indirizzi IP forniti da Google o l'utilizzo dei tuoi (BYOIP).

Passaggio 2a: prenota gli indirizzi IP forniti da Google

Per prenotare indirizzi IP esterni, esegui questo comando:

gcloud compute addresses create ADDRESS_NAME \
   --region=REGION

Sostituisci quanto segue:

  • ADDRESS_NAME: il nome che vuoi associare a questo indirizzo.
  • REGION: la regione in cui vuoi prenotare questo indirizzo. Questa regione deve essere la stessa del pod a cui vuoi collegare l'indirizzo IP.

    Nota: devi specificare una regione quando prenoti un indirizzo IP perché le regole di forwarding, che gestiscono il routing del traffico per gli indirizzi IP permanenti, sono regionali. Per il corretto funzionamento del routing, l'indirizzo IP e il cluster GKE devono trovarsi nella stessa regione.

Per prenotare indirizzi IP interni, esegui questo comando:

gcloud compute addresses create ADDRESS_NAME \
    --region REGION
    --subnet SUBNETWORK \
    --addresses IP_ADDRESS

Sostituisci quanto segue:

  • ADDRESS_NAME: i nomi di uno o più indirizzi che vuoi prenotare. In caso di più indirizzi, specifica tutti gli indirizzi come elenco separato da spazi. Ad esempio, example-address-1 example-address-2 example-address-3
  • REGION: la regione per questa richiesta.
  • SUBNETWORK: la subnet per questo indirizzo IPv4 interno.

Per garantire che il traffico venga instradato correttamente all'interno della rete privata, gli indirizzi IP interni devono appartenere alla subnet predefinita del cluster o alla subnet di rete aggiuntiva.

Per saperne di più sugli indirizzi IP esterni e interni o per scoprire come prenotare indirizzi utilizzando la console, consulta Prenota un indirizzo IP esterno statico e Prenota un indirizzo IP interno statico.

Passaggio 2b: porta i tuoi indirizzi IP (BYOIP)

Puoi utilizzare i tuoi indirizzi IP (BYOIP) anziché affidarti a quelli forniti da Google. BYOIP è utile se hai bisogno di indirizzi IP specifici per le tue applicazioni o se stai spostando sistemi esistenti in Trusted Cloud by S3NS. Per utilizzare BYOIP, Google verifica che l'intervallo di indirizzi IP sia di tua proprietà e, dopo l'importazione degli indirizzi IP in Trusted Cloud by S3NS, puoi assegnarli come indirizzi IP permanenti per i pod GKE. Per saperne di più, consulta Utilizzare i propri indirizzi IP.

Passaggio 3: crea oggetti gateway

Gli oggetti del gateway contengono gli indirizzi IP e definiscono quali pod sono idonei a utilizzarli. Per controllare la modalità di assegnazione degli indirizzi IP permanenti ai tuoi pod GKE, utilizzerai gli oggetti Gateway.

  1. Crea un oggetto Kubernetes Gateway della classe appropriata:
    • gke-persistent-regional-external-managed per gli indirizzi IP esterni (pubblici).
    • gke-persistent-regional-internal-managed per gli indirizzi IP interni (soloTrusted Cloud).
  2. Nella sezione degli indirizzi del gateway, elenca gli indirizzi IP permanenti (forniti da Google o BYOIP) gestiti da questo gateway.
  3. Utilizza la sezione Listeners per determinare quali pod (e i relativi oggetti GKEIPRoute) possono potenzialmente utilizzare gli indirizzi IP del gateway. Listeners funge da filtro in base allo spazio dei nomi di GKEIPRoute in cui esiste un oggetto GKEIPRoute.

    Puoi scegliere tra le seguenti opzioni di selezione dello spazio dei nomi Kubernetes:

    • Tutti gli spazi dei nomi: qualsiasi GKEIPRoute nel cluster.
    • Selettore: GKEIPRoute negli spazi dei nomi di GKEIPRoute corrispondenti a un'etichetta specifica.
    • Stesso spazio dei nomi: solo GKEIPRoutes all'interno dello stesso spazio dei nomi di GKEIPRoute del gateway.

L'esempio seguente fornisce l'accesso a livello di cluster agli indirizzi IP esterni permanenti, consentendo a qualsiasi pod di utilizzarli potenzialmente.

Salva il seguente manifest di esempio come allowed-pod-ips.yaml:

kind: Gateway
apiVersion: gateway.networking.k8s.io/v1beta1
metadata:
  namespace: default
  name: allowed-pod-ips
spec:
  gatewayClassName: gke-persistent-regional-external-managed

  listeners:
    - name: default
      port: 443
      protocol: none
      allowedRoutes:
        namespaces:
          from: All

  addresses:
    - value: "34.123.10.1/32"
      type: "gke.networking.io/cidr"
    - value: "34.123.10.2/32"
      type: "gke.networking.io/cidr"

dove:

  • addresses: elenca tutti gli indirizzi IP le cui autorizzazioni sono gestite dal gateway specifico.
  • listener: utilizzato per identificare gli spazi dei nomi da cui gli oggetti GKEIPRoute possono fare riferimento a questo gateway.

Applica il manifest al cluster:

kubectl apply -f allowed-pod-ips.yaml

(Facoltativo) Passaggio 4: crea o identifica i carichi di lavoro con reti aggiuntive per gli indirizzi IP permanenti

Se prevedi di utilizzare gli indirizzi IP permanenti con i pod che richiedono la connettività a più reti, puoi configurare i pod multirete e creare oggetti di rete che indicano le reti a cui appartiene l'indirizzo IP permanente.

Passaggio 5: crea l'oggetto GKEIPRoute per i carichi di lavoro selezionati

Per assegnare un indirizzo IP permanente a un pod selezionato, crea un oggetto GKEIPRoute.

Salva il seguente manifest di esempio come my-ip-route.yaml:

kind: GKEIPRoute
apiVersion: networking.gke.io/v1
metadata:
  namespace: default
  name: my-ip-route
spec:
  parentRefs:
  - name: allowed-pod-ips
    namespace: default
  addresses:
  - value: "34.123.10.1/32"
    type: "gke.networking.io/cidr"
  network: default
  reactionMode: ReadyCondition
  podSelector: # Only one pod is selected.
    matchLabels:
      component: proxy

dove:

  • parentRefs: punta al gateway da cui vengono utilizzati gli indirizzi IP permanenti. Questo campo è immutabile.
  • addresses: elenca tutti gli indirizzi IP permanenti instradati al pod identificato con podSelector. Questo campo è modificabile. Per IPv4, sono supportati solo gli indirizzi /32.
  • podSelector: specifica le etichette che identificano il pod a cui vengono indirizzati gli indirizzi IP permanenti. Questo campo è modificabile e si applica allo stesso spazio dei nomi in cui è inserito GKEIPRoute. Se selezioni più pod, vengono presi in considerazione due fattori aggiuntivi: l'ora di creazione del pod (GKE sceglie il più recente) e l'impostazione del campo reactionMode.
  • reactionMode: specifica il comportamento di questa funzionalità quando viene creato o eliminato un pod specifico (selezionato da podSelector). Questo campo è facoltativo e il valore predefinito è ReadyCondition. Il campo ReadyCondition è immutabile. Puoi impostare reactionMode per controllare il comportamento della funzionalità quando i pod vengono creati, eliminati o aggiornati.
  • network: punta all'interfaccia di rete su un pod a cui vengono instradati gli indirizzi IP permanenti. Questo campo è immutabile.

Applica il manifest al cluster:

kubectl apply -f my-ip-route.yaml

Assegna indirizzi IP permanenti ai pod StatefulSet

Per assegnare un indirizzo IP permanente a un pod multirete specifico all'interno di un StatefulSet, utilizza il nome host prevedibile del pod e l'etichettatura automatica di Kubernetes, come mostrato nell'esempio seguente:

Salva il seguente manifest di esempio come my-pod-ips.yaml:

kind: GKEIPRoute
apiVersion: networking.gke.io/v1
metadata:
  namespace: proxy-ss-ns
  name: my-pod-ips
spec:
  parentRefs:
  - name: allowed-pod-ips
    namespace: default
  addresses:
  - value: "34.123.10.1/32"
    type: "gke.networking.io/cidr"
  - value: "34.123.10.2/32"
    type: "gke.networking.io/cidr"
  network: blue-network
  reactionMode: ReadyCondition
  podSelector:
    matchLabels:
      statefulset.kubernetes.io/pod-name: proxy-ss-1
---
apiVersion: apps/v1
kind: StatefulSet
metadata:
  namespace: proxy-ss-ns
  name: proxy-ss
spec:
  selector:
    matchLabels:
      component: proxy
  serviceName: "proxy"
  replicas: 3
  template:
    metadata:
      annotations:
        networking.gke.io/default-interface: 'eth0'
        networking.gke.io/interfaces: '[{"interfaceName":"eth0","network":"default"}, {"interfaceName":"eth1","network":"blue-network"}]'
      labels:
        component: proxy
    spec:
      containers:
      - name: hello-app
        image: us-docker.pkg.dev/google-samples/containers/gke/hello-app:1.0

Applica il manifest al cluster (assicurati di avere una rete denominata "blue-network"):

kubectl apply -f my-pod-ips.yaml

Assegnare indirizzi IP permanenti ai pod di deployment

Per assegnare un indirizzo IP permanente al pod più recente di un deployment, applica un GKEIPRoute con la seguente configurazione:

Salva il seguente manifest di esempio come my-pod-ips.yaml:

kind: GKEIPRoute
apiVersion: networking.gke.io/v1
metadata:
  namespace: proxy-deploy-ns
  name: my-pod-ips
spec:
  parentRefs:
  - name: allowed-pod-ips
    namespace: default
  addresses:
  - value: "34.123.10.1/32"
    type: "gke.networking.io/cidr"
  - value: "34.123.10.2/32"
    type: "gke.networking.io/cidr"
  network: blue-network # point to the right network if you intend to use persistent-ip on additional networks
  reactionMode: ReadyCondition
  podSelector:
    matchLabels:
      component: proxy
---
apiVersion: apps/v1
kind: Deployment
metadata:
  namespace: proxy-deploy-ns
  name: proxy-deploy
spec:
  selector:
    matchLabels:
      component: proxy
  replicas: 4 # Latest Pod is used
  template:
    metadata:
      # annotations:  <- Remove these lines if the pods are not multi-nic pods
      #   networking.gke.io/default-interface: 'eth0'
      #   networking.gke.io/interfaces: '[{"interfaceName":"eth0","network":"default"}, {"interfaceName":"eth1","network":"blue-network"}]'
      labels:
        component: proxy
    spec:
      containers:
      - name: hello-app
        image: us-docker.pkg.dev/google-samples/containers/gke/hello-app:1.0

Applica il manifest al cluster:

kubectl apply -f my-ip-route.yaml

Se utilizzi reti aggiuntive, assicurati di avere una rete denominata "blue-network".

Passaggio 6: utilizza indirizzi IP permanenti all'interno del pod

L'assegnazione di un indirizzo IP permanente a un pod GKE utilizzando un GKEIPRoute non rende automaticamente utilizzabili gli indirizzi IP dalla tua applicazione. Gli indirizzi IP persistenti vengono gestiti a livello di routing di rete, ma la configurazione predefinita del pod non ne sarà a conoscenza. Devi configurare la configurazione della tua applicazione in modo che riconosca e utilizzi l'indirizzo all'interno del pod. Per farlo, il tuo Pod richiederà autorizzazioni con privilegi.

Per configurare l'applicazione, valuta le seguenti opzioni:

  • net.ipv4.ip_nonlocal_bind::modifica un'impostazione di sistema per consentire alla tua applicazione di utilizzare indirizzi IP non assegnati direttamente alla sua interfaccia.
  • ip address add: utilizza questo comando nella logica della tua applicazione per aggiungere manualmente l'indirizzo IP permanente a un'interfaccia.
  • Socket non elaborati: per un controllo ancora maggiore, la tua applicazione potrebbe interagire direttamente con lo stack di rete (avanzato).
  • Stack di indirizzi IP userspace: in casi particolari, un'applicazione separata potrebbe essere eseguita all'interno del pod per gestire l'indirizzo IP (molto avanzato).

Passaggio 7: attiva ARP per gli indirizzi IP permanenti (solo rete predefinita)

Per generare richieste e risposte ARP (Address Resolution Protocol) valide e per stabilire una nuova connessione a un pod utilizzando un indirizzo IP permanente sulla rete predefinita, devi configurare la variabile ARP_ANNOUNCE.

Per impostare la variabile ARP_ANNOUNCE, esegui il seguente comando sul pod:

echo "2" > /proc/sys/net/ipv4/conf/eth0/ARP_ANNOUNCE

dove la variabile ARP_ANNOUNCE controlla la gestione degli annunci ARP. Se lo imposti su "2", gli annunci ARP vengono effettuati per l'indirizzo IP persistente, consentendo ad altri dispositivi sulla rete di conoscere la nuova associazione.

Personalizzare il comportamento dell'indirizzo IP permanente durante le modifiche del pod

Questa sezione descrive il comportamento dell'indirizzo IP permanente per il pod GKE quando il pod di destinazione viene creato o eliminato. Il controller GKE monitora i tuoi pod e la configurazione GKEIPRoute. Quando rileva un aggiornamento in corso, riassegna automaticamente l'indirizzo IP permanente a un pod adatto in base al reactionMode scelto.

Scopri come la funzionalità dell'indirizzo IP persistente gestisce automaticamente le modifiche ai pod e le opzioni di configurazione disponibili:

  • Scegli tra ReadyCondition o Exists all'interno del campo reactionMode della configurazione GKEIPRoute. Valuta le esigenze della tua applicazione in merito alla rapidità di assegnazione dell'indirizzo IP rispetto ai rigorosi requisiti di idoneità.
  • Se utilizzi ReadyCondition per garantire la preparazione, assicurati che i tuoi pod abbiano implementato correttamente i probe di preparazione di Kubernetes. In caso contrario, l'indirizzo IP persistente potrebbe non funzionare come previsto.
  • Ti consigliamo di monitorare lo stato dei pod e il campo Conditions dell'oggetto GKEIPRoute per assicurarti che il sistema funzioni correttamente. Lo stato true della condizione Ready indica che il sistema funziona correttamente.

Risolvere i problemi di comunicazione con gli indirizzi IP permanenti per i pod

Questa sezione mostra come risolvere i problemi relativi agli indirizzi IP permanenti per i pod.

NoPodsFound quando non vengono trovati pod corrispondenti

Sintomo

L'oggetto GKEIPRoute specifica un podSelector (un insieme di etichette) per identificare i pod associati all'indirizzo IP permanente. Lo stato NoPodsFound indica che non sono presenti pod all'interno degli spazi dei nomi GKEIPRoute's di destinazione con le etichette corrispondenti.

Possibili cause

  • Etichette errate: il pod con cui intendi utilizzare l'indirizzo IP permanente potrebbe avere etichette errate o nessuna etichetta.
  • Non esistono pod:se il campo reactionMode == Exists, controlla se il pod è assegnato a un nodo controllando il campo pod.Spec.nodeName. Potrebbe non essere in esecuzione alcun pod nello spazio dei nomi GKEIPRoute's che corrisponda al selettore.
  • Pod non pronto: se reactionMode == ReadyCondition, controlla se lo stato del pod è READY. Anche se esiste un pod corrispondente, se non si trova in uno stato Ready, non può gestire il traffico e quindi non viene selezionato.

Risoluzione

  1. Controlla le etichette: verifica che le etichette in GKEIPRoute's podSelector corrispondano a quelle che hai applicato al pod previsto.
  2. Verifica dell'esistenza del pod: assicurati che un pod con le etichette corrette esista effettivamente negli spazi dei nomi GKEIPRoute's specificati da Listeners del gateway. Se reactionMode == Exists, controlla se il pod è assegnato a un nodo controllando il campo pod.Spec.nodeName.
  3. Conferma la disponibilità del pod: se reactionMode == ReadyCondition, controlla se lo stato del pod è READY. Assicurati che il pod sia nello stato Ready utilizzando il seguente comando:

    kubectl get pods -n <namespace>
    

    I pod in altri stati (ad esempio "In attesa", "Errore") non vengono selezionati.

  4. Configura i tuoi pod in modo che rispondano all'indirizzo IP permanente assegnato.

Mutated quando è stato trovato un pod corrispondente e la programmazione dell'indirizzo IP permanente è in corso

Sintomo

Lo stato GKEIPRoute mostra "Mutated", a indicare che è in corso la configurazione dell'indirizzo IP permanente per un pod corrispondente.

Potenziale causa:

Durante la configurazione, lo stato "Mutato" è previsto perché il sistema sta configurando il percorso dati GKE e le risorse per l'indirizzo IP persistente. Trusted Cloud by S3NS

Risoluzione:

  1. Attendi e riprova: nella maggior parte dei casi, la procedura di configurazione viene completata automaticamente in breve tempo. Controlla lo stato dopo l'attesa. Se l'operazione va a buon fine, lo stato diventerà Ready.
  2. Esegui ulteriori indagini (se necessario): se lo stato "Modificato" persiste per un periodo prolungato, potrebbe indicare un errore di configurazione. Esamina le altre condizioni di stato sul tuo GKEIPRoute:
    • Accettato: indica se la configurazione di GKEIPRoute è valida.
    • DPV2Ready: indica se il percorso dati sul nodo è programmato correttamente.
    • GCPReady: indica se le risorse Trusted Cloud by S3NS sono configurate come previsto.

Cerca i messaggi di errore in queste condizioni per risolvere il problema.

Passaggi successivi