Questa pagina mostra come implementare indirizzi IP permanenti nei pod Google Kubernetes Engine (GKE). Puoi controllare il networking dei pod GKE con la mappatura degli indirizzi IP permanenti personalizzati. Per saperne di più sugli indirizzi IP permanenti, sui loro casi d'uso e sui vantaggi, consulta Informazioni sugli indirizzi IP permanenti per i pod GKE.
Requisiti
- GKE versione 1.31 o successive.
- Scegli tra la prenotazione di indirizzi IP forniti da Google o l'utilizzo dei tuoi indirizzi IP (BYOIP).
- Configura l'applicazione in esecuzione all'interno dei pod in modo che riconosca e utilizzi gli indirizzi IP permanenti assegnati.
- Gli indirizzi IP permanenti per i pod GKE richiedono cluster con GKE Dataplane V2 e API Gateway abilitate.
Limitazioni
- Devi configurare le tue applicazioni in modo che utilizzino gli indirizzi IP permanenti assegnati. GKE non aggiunge automaticamente la configurazione dell'indirizzo IP alle interfacce di rete del pod.
- Puoi associare ogni indirizzo IP permanente a un solo pod alla volta.
Quando sono disponibili più pod, GKE in genere invia
il traffico al pod corrispondente più recente. Tuttavia, GKE lo fa solo se il pod più recente è integro, il che significa che il pod ha lo stato della condizione
Ready
comeTrue
per impostazione predefinita. Puoi configurare questo comportamento e modificarlo utilizzando l'impostazionereactionMode
suGKEIPRoute
. - GKE supporta solo gli indirizzi IPv4 come indirizzi IP permanenti.
- GKE supporta solo reti multiple di livello 3 o di tipo dispositivo.
- Il supporto dell'alta disponibilità (HA) tramite indirizzi IP permanenti non è supportato per i casi d'uso non DPDK.
- Puoi specificare fino a 16 indirizzi IP in un singolo
GKEIPRoute
. Per configurare più indirizzi, puoi creare più oggettiGKEIPRoute
.
Prima di iniziare
Prima di iniziare, assicurati di aver eseguito le seguenti operazioni:
- Attiva l'API Google Kubernetes Engine. Attiva l'API Google Kubernetes Engine
- Se vuoi utilizzare Google Cloud CLI per questa attività,
installala e poi
inizializzala. Se hai già installato gcloud CLI, scarica l'ultima versione eseguendo
gcloud components update
.
Scopri di più sugli indirizzi IP.
Esamina i requisiti e le limitazioni.
Implementa indirizzi IP permanenti per i pod GKE
Gli indirizzi IP permanenti in GKE offrono un modo per fornire ai pod un'identità di rete stabile, anche se i pod stessi vengono aggiornati o spostati.
Questa sezione riassume il flusso di lavoro per implementare indirizzi IP permanenti per i pod GKE:
- Crea un cluster: crea un cluster con API Gateway e GKE Dataplane V2.
- Prenota un indirizzo IP: decidi se hai bisogno di un indirizzo IP esterno (accessibile pubblicamente) o interno (solo Google Cloud) e prenotalo. Scegli la stessa regione del cluster GKE.
- Crea un gateway: configura l'oggetto Kubernetes Gateway che contiene
gli indirizzi IP permanenti riservati e ti consente di creare regole
(
GKEIPRoutes
) su quali pod nel cluster possono utilizzare questi indirizzi IP permanenti. - Crea o identifica i carichi di lavoro per gli indirizzi IP permanenti: se utilizzi indirizzi IP permanenti su una rete aggiuntiva, prepara i pod a utilizzare indirizzi IP permanenti attivando più interfacce di rete e definendo la rete in cui risiedono gli indirizzi IP permanenti.
- Crea l'oggetto GKEIPRoute per i workload selezionati: configura
GKEIPRoute
per assegnare l'indirizzo IP permanente a un pod specifico. Puoi utilizzare le etichette per scegliere i pod giusti e, se vuoi, configurare la modalità di reazione del routing alle modifiche dei pod. - Configura Application Awareness: configura l'applicazione all'interno del pod per utilizzare attivamente l'indirizzo IP permanente.
- Monitoraggio: monitora lo stato del gateway e degli oggetti
GKEIPRoute
per assicurarti che tutto funzioni come previsto.
Per implementare l'indirizzo IP permanente per i pod GKE, segui questi passaggi:
Passaggio 1: crea un cluster GKE con API Gateway e GKE Dataplane V2 abilitati
Per abilitare le funzionalità avanzate di gestione di indirizzi IP e routing di rete necessarie per implementare indirizzi IP permanenti sui pod GKE, devi creare un cluster GKE Dataplane V2 nel seguente modo:
gcloud container clusters create CLUSTER_NAME \
--cluster-version=CLUSTER_VERSION \
--enable-dataplane-v2 \
--enable-ip-alias \
--gateway-api=standard
Sostituisci quanto segue:
CLUSTER_NAME
: il nome del cluster.CLUSTER_VERSION
: la versione del cluster.
Passaggio 2: configura gli indirizzi IP permanenti
Per stabilire identità di rete affidabili per i tuoi pod e configurare indirizzi IP persistenti, devi prima acquisire indirizzi IP persistenti. Puoi scegliere tra la prenotazione di indirizzi IP forniti da Google o l'utilizzo dei tuoi (BYOIP).
Passaggio 2a: prenota gli indirizzi IP forniti da Google
Per prenotare indirizzi IP esterni, esegui questo comando:
gcloud compute addresses create ADDRESS_NAME \
--region=REGION
Sostituisci quanto segue:
ADDRESS_NAME
: il nome che vuoi associare a questo indirizzo.REGION
: la regione in cui vuoi prenotare questo indirizzo. Questa regione deve essere la stessa del pod a cui vuoi collegare l'indirizzo IP.Nota: devi specificare una regione quando prenoti un indirizzo IP perché le regole di forwarding, che gestiscono il routing del traffico per gli indirizzi IP permanenti, sono regionali. Per il corretto funzionamento del routing, l'indirizzo IP e il cluster GKE devono trovarsi nella stessa regione.
Per prenotare indirizzi IP interni, esegui questo comando:
gcloud compute addresses create ADDRESS_NAME \
--region REGION
--subnet SUBNETWORK \
--addresses IP_ADDRESS
Sostituisci quanto segue:
ADDRESS_NAME
: i nomi di uno o più indirizzi che vuoi prenotare. In caso di più indirizzi, specifica tutti gli indirizzi come elenco separato da spazi. Ad esempio, example-address-1 example-address-2 example-address-3REGION
: la regione per questa richiesta.SUBNETWORK
: la subnet per questo indirizzo IPv4 interno.
Per garantire che il traffico venga instradato correttamente all'interno della rete privata, gli indirizzi IP interni devono appartenere alla subnet predefinita del cluster o alla subnet di rete aggiuntiva.
Per saperne di più sugli indirizzi IP esterni e interni o per scoprire come prenotare indirizzi utilizzando la console, consulta Prenota un indirizzo IP esterno statico e Prenota un indirizzo IP interno statico.
Passaggio 2b: porta i tuoi indirizzi IP (BYOIP)
Puoi utilizzare i tuoi indirizzi IP (BYOIP) anziché affidarti a quelli forniti da Google. BYOIP è utile se hai bisogno di indirizzi IP specifici per le tue applicazioni o se stai spostando sistemi esistenti in Trusted Cloud by S3NS. Per utilizzare BYOIP, Google verifica che l'intervallo di indirizzi IP sia di tua proprietà e, dopo l'importazione degli indirizzi IP in Trusted Cloud by S3NS, puoi assegnarli come indirizzi IP permanenti per i pod GKE. Per saperne di più, consulta Utilizzare i propri indirizzi IP.
Passaggio 3: crea oggetti gateway
Gli oggetti del gateway contengono gli indirizzi IP e definiscono quali pod sono idonei a utilizzarli. Per controllare la modalità di assegnazione degli indirizzi IP permanenti ai tuoi pod GKE, utilizzerai gli oggetti Gateway.
- Crea un oggetto Kubernetes Gateway della classe appropriata:
gke-persistent-regional-external-managed
per gli indirizzi IP esterni (pubblici).gke-persistent-regional-internal-managed
per gli indirizzi IP interni (soloTrusted Cloud).
- Nella sezione degli indirizzi del gateway, elenca gli indirizzi IP permanenti (forniti da Google o BYOIP) gestiti da questo gateway.
Utilizza la sezione
Listeners
per determinare quali pod (e i relativi oggettiGKEIPRoute
) possono potenzialmente utilizzare gli indirizzi IP del gateway.Listeners
funge da filtro in base allo spazio dei nomi di GKEIPRoute in cui esiste un oggettoGKEIPRoute
.Puoi scegliere tra le seguenti opzioni di selezione dello spazio dei nomi Kubernetes:
- Tutti gli spazi dei nomi: qualsiasi
GKEIPRoute
nel cluster. - Selettore:
GKEIPRoute
negli spazi dei nomi di GKEIPRoute corrispondenti a un'etichetta specifica. - Stesso spazio dei nomi: solo
GKEIPRoutes
all'interno dello stesso spazio dei nomi di GKEIPRoute del gateway.
- Tutti gli spazi dei nomi: qualsiasi
L'esempio seguente fornisce l'accesso a livello di cluster agli indirizzi IP esterni permanenti, consentendo a qualsiasi pod di utilizzarli potenzialmente.
Salva il seguente manifest di esempio come allowed-pod-ips.yaml
:
kind: Gateway
apiVersion: gateway.networking.k8s.io/v1beta1
metadata:
namespace: default
name: allowed-pod-ips
spec:
gatewayClassName: gke-persistent-regional-external-managed
listeners:
- name: default
port: 443
protocol: none
allowedRoutes:
namespaces:
from: All
addresses:
- value: "34.123.10.1/32"
type: "gke.networking.io/cidr"
- value: "34.123.10.2/32"
type: "gke.networking.io/cidr"
dove:
- addresses: elenca tutti gli indirizzi IP le cui autorizzazioni sono gestite dal gateway specifico.
- listener: utilizzato per identificare gli spazi dei nomi da cui gli oggetti
GKEIPRoute
possono fare riferimento a questo gateway.
Applica il manifest al cluster:
kubectl apply -f allowed-pod-ips.yaml
(Facoltativo) Passaggio 4: crea o identifica i carichi di lavoro con reti aggiuntive per gli indirizzi IP permanenti
Se prevedi di utilizzare gli indirizzi IP permanenti con i pod che richiedono la connettività a più reti, puoi configurare i pod multirete e creare oggetti di rete che indicano le reti a cui appartiene l'indirizzo IP permanente.
Passaggio 5: crea l'oggetto GKEIPRoute
per i carichi di lavoro selezionati
Per assegnare un indirizzo IP permanente a un pod selezionato, crea un oggetto GKEIPRoute
.
Salva il seguente manifest di esempio come my-ip-route.yaml
:
kind: GKEIPRoute
apiVersion: networking.gke.io/v1
metadata:
namespace: default
name: my-ip-route
spec:
parentRefs:
- name: allowed-pod-ips
namespace: default
addresses:
- value: "34.123.10.1/32"
type: "gke.networking.io/cidr"
network: default
reactionMode: ReadyCondition
podSelector: # Only one pod is selected.
matchLabels:
component: proxy
dove:
- parentRefs: punta al gateway da cui vengono utilizzati gli indirizzi IP permanenti. Questo campo è immutabile.
- addresses: elenca tutti gli indirizzi IP permanenti instradati al
pod identificato con
podSelector
. Questo campo è modificabile. Per IPv4, sono supportati solo gli indirizzi /32. - podSelector: specifica le etichette che identificano il pod a cui vengono indirizzati gli indirizzi IP permanenti. Questo campo è modificabile e si applica allo stesso
spazio dei nomi in cui è inserito
GKEIPRoute
. Se selezioni più pod, vengono presi in considerazione due fattori aggiuntivi: l'ora di creazione del pod (GKE sceglie il più recente) e l'impostazione del camporeactionMode
. - reactionMode: specifica il comportamento di questa funzionalità quando viene creato o eliminato un pod specifico (selezionato da
podSelector
). Questo campo è facoltativo e il valore predefinito èReadyCondition
. Il campoReadyCondition
è immutabile. Puoi impostarereactionMode
per controllare il comportamento della funzionalità quando i pod vengono creati, eliminati o aggiornati. - network: punta all'interfaccia di rete su un pod a cui vengono instradati gli indirizzi IP permanenti. Questo campo è immutabile.
Applica il manifest al cluster:
kubectl apply -f my-ip-route.yaml
Assegna indirizzi IP permanenti ai pod StatefulSet
Per assegnare un indirizzo IP permanente a un pod multirete specifico all'interno di un StatefulSet, utilizza il nome host prevedibile del pod e l'etichettatura automatica di Kubernetes, come mostrato nell'esempio seguente:
Salva il seguente manifest di esempio come my-pod-ips.yaml
:
kind: GKEIPRoute
apiVersion: networking.gke.io/v1
metadata:
namespace: proxy-ss-ns
name: my-pod-ips
spec:
parentRefs:
- name: allowed-pod-ips
namespace: default
addresses:
- value: "34.123.10.1/32"
type: "gke.networking.io/cidr"
- value: "34.123.10.2/32"
type: "gke.networking.io/cidr"
network: blue-network
reactionMode: ReadyCondition
podSelector:
matchLabels:
statefulset.kubernetes.io/pod-name: proxy-ss-1
---
apiVersion: apps/v1
kind: StatefulSet
metadata:
namespace: proxy-ss-ns
name: proxy-ss
spec:
selector:
matchLabels:
component: proxy
serviceName: "proxy"
replicas: 3
template:
metadata:
annotations:
networking.gke.io/default-interface: 'eth0'
networking.gke.io/interfaces: '[{"interfaceName":"eth0","network":"default"}, {"interfaceName":"eth1","network":"blue-network"}]'
labels:
component: proxy
spec:
containers:
- name: hello-app
image: us-docker.pkg.dev/google-samples/containers/gke/hello-app:1.0
Applica il manifest al cluster (assicurati di avere una rete denominata "blue-network"):
kubectl apply -f my-pod-ips.yaml
Assegnare indirizzi IP permanenti ai pod di deployment
Per assegnare un indirizzo IP permanente al pod più recente di un deployment, applica un
GKEIPRoute
con la seguente configurazione:
Salva il seguente manifest di esempio come my-pod-ips.yaml
:
kind: GKEIPRoute
apiVersion: networking.gke.io/v1
metadata:
namespace: proxy-deploy-ns
name: my-pod-ips
spec:
parentRefs:
- name: allowed-pod-ips
namespace: default
addresses:
- value: "34.123.10.1/32"
type: "gke.networking.io/cidr"
- value: "34.123.10.2/32"
type: "gke.networking.io/cidr"
network: blue-network # point to the right network if you intend to use persistent-ip on additional networks
reactionMode: ReadyCondition
podSelector:
matchLabels:
component: proxy
---
apiVersion: apps/v1
kind: Deployment
metadata:
namespace: proxy-deploy-ns
name: proxy-deploy
spec:
selector:
matchLabels:
component: proxy
replicas: 4 # Latest Pod is used
template:
metadata:
# annotations: <- Remove these lines if the pods are not multi-nic pods
# networking.gke.io/default-interface: 'eth0'
# networking.gke.io/interfaces: '[{"interfaceName":"eth0","network":"default"}, {"interfaceName":"eth1","network":"blue-network"}]'
labels:
component: proxy
spec:
containers:
- name: hello-app
image: us-docker.pkg.dev/google-samples/containers/gke/hello-app:1.0
Applica il manifest al cluster:
kubectl apply -f my-ip-route.yaml
Se utilizzi reti aggiuntive, assicurati di avere una rete denominata "blue-network".
Passaggio 6: utilizza indirizzi IP permanenti all'interno del pod
L'assegnazione di un indirizzo IP permanente a un pod GKE utilizzando un GKEIPRoute non rende automaticamente utilizzabili gli indirizzi IP dalla tua applicazione. Gli indirizzi IP persistenti vengono gestiti a livello di routing di rete, ma la configurazione predefinita del pod non ne sarà a conoscenza. Devi configurare la configurazione della tua applicazione in modo che riconosca e utilizzi l'indirizzo all'interno del pod. Per farlo, il tuo Pod richiederà autorizzazioni con privilegi.
Per configurare l'applicazione, valuta le seguenti opzioni:
- net.ipv4.ip_nonlocal_bind::modifica un'impostazione di sistema per consentire alla tua applicazione di utilizzare indirizzi IP non assegnati direttamente alla sua interfaccia.
- ip address add: utilizza questo comando nella logica della tua applicazione per aggiungere manualmente l'indirizzo IP permanente a un'interfaccia.
- Socket non elaborati: per un controllo ancora maggiore, la tua applicazione potrebbe interagire direttamente con lo stack di rete (avanzato).
- Stack di indirizzi IP userspace: in casi particolari, un'applicazione separata potrebbe essere eseguita all'interno del pod per gestire l'indirizzo IP (molto avanzato).
Passaggio 7: attiva ARP per gli indirizzi IP permanenti (solo rete predefinita)
Per generare richieste e risposte ARP (Address Resolution Protocol) valide e
per stabilire una nuova connessione a un pod utilizzando un indirizzo IP permanente sulla
rete predefinita, devi configurare la variabile ARP_ANNOUNCE
.
Per impostare la variabile ARP_ANNOUNCE
, esegui il seguente comando sul pod:
echo "2" > /proc/sys/net/ipv4/conf/eth0/ARP_ANNOUNCE
dove la variabile ARP_ANNOUNCE
controlla la gestione degli annunci ARP. Se lo imposti su "2", gli annunci ARP vengono effettuati per l'indirizzo IP persistente, consentendo ad altri dispositivi sulla rete di conoscere la nuova associazione.
Personalizzare il comportamento dell'indirizzo IP permanente durante le modifiche del pod
Questa sezione descrive il comportamento dell'indirizzo IP permanente per il pod GKE
quando il pod di destinazione viene creato o eliminato. Il controller GKE
monitora i tuoi pod e la configurazione GKEIPRoute
. Quando rileva
un aggiornamento in corso, riassegna automaticamente l'indirizzo IP permanente a
un pod adatto in base al reactionMode
scelto.
Scopri come la funzionalità dell'indirizzo IP persistente gestisce automaticamente le modifiche ai pod e le opzioni di configurazione disponibili:
- Scegli tra
ReadyCondition
o
Exists
all'interno del campo
reactionMode
della configurazione
GKEIPRoute
. Valuta le esigenze della tua applicazione in merito alla rapidità di assegnazione dell'indirizzo IP rispetto ai rigorosi requisiti di idoneità. - Se utilizzi
ReadyCondition
per garantire la preparazione, assicurati che i tuoi pod abbiano implementato correttamente i probe di preparazione di Kubernetes. In caso contrario, l'indirizzo IP persistente potrebbe non funzionare come previsto. - Ti consigliamo di monitorare lo stato dei pod e il campo
Conditions
dell'oggettoGKEIPRoute
per assicurarti che il sistema funzioni correttamente. Lo statotrue
della condizioneReady
indica che il sistema funziona correttamente.
Risolvere i problemi di comunicazione con gli indirizzi IP permanenti per i pod
Questa sezione mostra come risolvere i problemi relativi agli indirizzi IP permanenti per i pod.
NoPodsFound
quando non vengono trovati pod corrispondenti
Sintomo
L'oggetto GKEIPRoute
specifica un podSelector
(un insieme di etichette) per identificare
i pod associati all'indirizzo IP permanente. Lo stato
NoPodsFound
indica che non sono presenti pod all'interno degli spazi dei nomi
GKEIPRoute's
di destinazione con le etichette corrispondenti.
Possibili cause
- Etichette errate: il pod con cui intendi utilizzare l'indirizzo IP permanente potrebbe avere etichette errate o nessuna etichetta.
- Non esistono pod:se il campo
reactionMode == Exists
, controlla se il pod è assegnato a un nodo controllando il campopod.Spec.nodeName
. Potrebbe non essere in esecuzione alcun pod nello spazio dei nomiGKEIPRoute's
che corrisponda al selettore. - Pod non pronto: se
reactionMode == ReadyCondition
, controlla se lo stato del pod èREADY
. Anche se esiste un pod corrispondente, se non si trova in uno statoReady
, non può gestire il traffico e quindi non viene selezionato.
Risoluzione
- Controlla le etichette: verifica che le etichette in
GKEIPRoute's
podSelector
corrispondano a quelle che hai applicato al pod previsto. - Verifica dell'esistenza del pod: assicurati che un pod con le etichette corrette esista effettivamente negli spazi dei nomi
GKEIPRoute's
specificati daListeners
del gateway. SereactionMode == Exists
, controlla se il pod è assegnato a un nodo controllando il campopod.Spec.nodeName
. Conferma la disponibilità del pod: se
reactionMode == ReadyCondition
, controlla se lo stato del pod èREADY
. Assicurati che il pod sia nello statoReady
utilizzando il seguente comando:kubectl get pods -n <namespace>
I pod in altri stati (ad esempio "In attesa", "Errore") non vengono selezionati.
Configura i tuoi pod in modo che rispondano all'indirizzo IP permanente assegnato.
Mutated
quando è stato trovato un pod corrispondente e la programmazione dell'indirizzo IP permanente è in corso
Sintomo
Lo stato GKEIPRoute
mostra "Mutated", a indicare che è in corso la configurazione dell'indirizzo IP permanente per un pod corrispondente.
Potenziale causa:
Durante la configurazione, lo stato "Mutato" è previsto perché il sistema sta configurando il percorso dati GKE e le risorse per l'indirizzo IP persistente. Trusted Cloud by S3NS
Risoluzione:
- Attendi e riprova: nella maggior parte dei casi, la procedura di configurazione viene completata
automaticamente in breve tempo. Controlla lo stato dopo l'attesa. Se l'operazione va a buon fine, lo stato
diventerà
Ready
. - Esegui ulteriori indagini (se necessario): se lo stato "Modificato" persiste per un periodo prolungato, potrebbe indicare un errore di configurazione. Esamina le
altre condizioni di stato sul tuo
GKEIPRoute
:- Accettato: indica se la configurazione di
GKEIPRoute
è valida. - DPV2Ready: indica se il percorso dati sul nodo è programmato correttamente.
- GCPReady: indica se le risorse Trusted Cloud by S3NS sono configurate come previsto.
- Accettato: indica se la configurazione di
Cerca i messaggi di errore in queste condizioni per risolvere il problema.