Questo documento mostra come configurare Granular NAT di Google Kubernetes Engine (GKE) per assegnare indirizzi IP in uscita dedicati a spazi dei nomi Kubernetes specifici.
Con Granular NAT, puoi configurare indirizzi IP esterni di origine specifici per Public NAT o indirizzi IP interni di origine specifici per Private NAT, basati sui gateway Cloud NAT.
Per configurare Granular NAT, dichiara le policy di routing utilizzando due risorse personalizzate con ambito cluster:
- CloudNATGateway: utilizza questa risorsa per eseguire il provisioning di un nuovo gateway Cloud NAT pubblico o cloud privato per il tuo cluster o per configurare il tuo cluster in modo che utilizzi un gateway Cloud NAT esistente. Il gateway Cloud NAT deve trovarsi nella regione e nella rete VPC del cluster.
- TrafficSelector: utilizza questa risorsa per definire le regole di instradamento in uscita mappando gli spazi dei nomi di origine (
namespaceSelector) e i CIDR di destinazione a un CloudNATGateway di destinazione.
Prima di iniziare
Prima di configurare GKE Granular NAT, completa i seguenti prerequisiti:
- Verifica i requisiti del cluster: verifica che il cluster nativo di VPC esegua GKE versione 1.37.1-gke.2611000 o successiva con GKE Dataplane V2 abilitato. GKE Granular NAT è supportato sia sui cluster Autopilot che su quelli Standard, nonché sui cluster a livello di regione e di zona.
- Verifica le autorizzazioni IAM:
- Verifica di disporre del ruolo Amministratore Kubernetes Engine (
roles/container.admin) nel cluster per applicare le risorse personalizzate. - Se utilizzi un VPC condiviso: l'amministratore del progetto host deve concedere all'agente di servizio GKE del tuo progetto di servizio (
service-SERVICE_PROJECT_NUMBER@container-engine-robot.s3ns-system.iam.gserviceaccount.com) il ruolo Amministratore di rete Compute (roles/compute.networkAdmin) nella policy IAM del progetto host. Questo ruolo consente a GKE di creare e gestire i gateway Cloud NAT, i router Cloud e gli indirizzi IP sottostanti nella rete VPC condiviso. Le reti VPC autonome non richiedono questa concessione manuale.
- Verifica di disporre del ruolo Amministratore Kubernetes Engine (
- Se necessario, aggiorna le regole firewall per includere gli indirizzi IP link-local:
prima che i pacchetti in uscita lascino un nodo, Cloud NAT granulare di GKE
traduce il loro indirizzo IP di origine in un indirizzo link-local nell'intervallo
169.254.32.0/20. Se la tua organizzazione applica regole firewall personalizzate rigide, verifica che le regole supportino questo comportamento:- Regole in uscita: evita di specificare un parametro di origine nelle regole di autorizzazione in uscita i cui target sono i nodi del cluster. Se specifichi un parametro di origine, devi includere l'intervallo di indirizzi link-local (
169.254.32.0/20). - Regole in entrata: evita di specificare il parametro di destinazione nelle regole di autorizzazione in entrata i cui target sono i nodi del cluster. Se specifichi un parametro di destinazione, devi includere l'intervallo di indirizzi link-local (
169.254.32.0/20).
- Regole in uscita: evita di specificare un parametro di origine nelle regole di autorizzazione in uscita i cui target sono i nodi del cluster. Se specifichi un parametro di origine, devi includere l'intervallo di indirizzi link-local (
- Traffico intra-VPC: assicurati che le risorse TrafficSelector non includano CIDR di destinazione degli intervalli di subnet all'interno della rete VPC del cluster o di un'altra rete VPC connessa tramite il peering di rete VPC. Private NAT fornisce solo la connettività per gli spoke NCC o la connettività tramite Hybrid NAT.
- Requisiti delle route VPC: per ogni CIDR che deve essere gestito da Public NAT, la rete VPC del cluster deve includere una route statica il cui intervallo di destinazione include il CIDR e il cui hop successivo è il gateway internet predefinito.
Limitazioni
- Granularità a livello di spazio dei nomi: puoi applicare le policy GKE Granular NAT solo a livello di spazio dei nomi Kubernetes. Per la versione di anteprima, non puoi selezionare singoli pod o service account utilizzando i selettori di etichette all'interno di uno spazio dei nomi.
- Capacità delle regole del gateway: ogni gateway Cloud NAT supporta fino a 128 regole NAT, il che ti consente di configurare policy per un massimo di 128 spazi dei nomi GKE distinti per gateway. Se il tuo cluster richiede policy in uscita per più di 128 spazi dei nomi, devi eseguire il provisioning di gateway aggiuntivi.
- Limitazioni di Cloud NAT: esamina le limitazioni standard di Cloud NAT, poiché si applicano anche al traffico in uscita di Granular NAT. Per saperne di più, consulta le limitazioni per Public NAT e Private NAT.
Abilita GKE Granular NAT su un cluster
Puoi attivare Granular NAT quando crei un nuovo cluster o aggiorni un cluster esistente.
Crea un nuovo cluster
Autopilot
Per creare un nuovo cluster con NAT granulare e GKE Dataplane V2 abilitati, esegui il seguente comando:
gcloud container clusters create-auto "CLUSTER_NAME" \
--LOCATION_FLAG="LOCATION" \
--network="VPC_NETWORK_NAME" \
--enable-granular-nat \
--network-suite=STANDARD
Sostituisci quanto segue:
CLUSTER_NAME: il nome del nuovo cluster.LOCATION_FLAG: specifica--regionper un cluster a livello di regione.LOCATION: la regione o la zona di Compute Engine del tuo cluster (ad esempious-central1ous-central1-a).VPC_NETWORK_NAME: il nome della tua rete VPC.
Standard
Per creare un nuovo cluster con NAT granulare e GKE Dataplane V2 abilitati, esegui il seguente comando:
gcloud container clusters create <var>CLUSTER_NAME</var> \
--LOCATION_FLAG="LOCATION" \
--network="VPC_NETWORK_NAME" \
--enable-dataplane-v2 \
--enable-granular-nat \
--network-suite=STANDARD
Sostituisci quanto segue:
CLUSTER_NAME: il nome del nuovo cluster.LOCATION_FLAG: specifica--regionper un cluster a livello di regione o--zoneper un cluster a livello di zona.LOCATION: la regione o la zona di Compute Engine del tuo cluster (ad esempious-central1ous-central1-a).VPC_NETWORK_NAME: il nome della tua rete VPC.
Aggiorna un cluster esistente
Autopilot
Per attivare Granular NAT su un cluster esistente, esegui questo comando:
gcloud container clusters update `CLUSTER_NAME` \
--LOCATION_FLAG="LOCATION" \
--enable-granular-nat
Sostituisci quanto segue:
CLUSTER_NAME: il nome del cluster esistente.LOCATION_FLAG: specifica--regionse il cluster esistente è a livello di regione o--zonese è a livello di zona.LOCATION: la regione o la zona di Compute Engine in cui si trova il cluster.
Standard
Per abilitare Granular NAT su un cluster Standard esistente, esegui questo comando:
gcloud container clusters update `CLUSTER_NAME` \
--LOCATION_FLAG="LOCATION" \
--enable-granular-nat \
--network-suite=STANDARD
Sostituisci quanto segue:
CLUSTER_NAME: il nome del cluster esistente.LOCATION_FLAG: specifica--regionse il cluster esistente è a livello di regione o--zonese è a livello di zona.LOCATION: la regione o la zona di Compute Engine in cui si trova il cluster.
Configura Granular NAT pubblico con indirizzi IP in uscita esterni statici
Configura Granular NAT pubblico quando i workload in namespace separati devono presentare indirizzi IP pubblici statici distinti a servizi di terze parti esterni, come API partner o gateway di pagamento che applicano liste consentite di indirizzi IP rigorose.
Crea un router Cloud regionale per il gateway Cloud NAT. GKE non crea automaticamente il router Cloud per te.
gcloud compute routers create ROUTER_NAME \ --network=VPC_NETWORK_NAME \ --region=REGIONSostituisci quanto segue:
ROUTER_NAME: il nome del nuovo router Cloud regionale.VPC_NETWORK_NAME: il nome della tua rete VPC.REGION: la regione di Compute Engine in cui si trova il cluster (ad esempious-central1).
Prenota indirizzi IP esterni statici nella stessa regione del tuo cluster GKE per allocare indirizzi IP esterni in uscita dedicati per i tuoi spazi dei nomi, nonché un indirizzo IP predefinito per il gateway:
gcloud compute addresses create nat-ip-default \ --region=REGION gcloud compute addresses create nat-ip-1 \ --region=REGION gcloud compute addresses create nat-ip-2 \ --region=REGIONSostituisci
REGIONcon la regione di Compute Engine in cui si trova il cluster (ad esempio,us-central1).Salva il seguente manifest come
cloud-nat-public.yamlper definire un gateway Cloud NAT regionale gestito:kind: CloudNATGateway apiVersion: networking.gke.io/v1 metadata: name: cloud-nat-public-managed spec: type: Public cloudRouter: name: projects/PROJECT_ID/regions/REGION/routers/ROUTER_NAME publicNATOptions: defaultNatExternalIPs: - name: nat-ip-default connectionOptions: udpTimeoutSeconds: 30 tcpEstablishedTimeoutSeconds: 1200 tcpTransitoryTimeoutSeconds: 30 tcpTimeWaitSeconds: 120 icmpTimeoutSeconds: 30 portOptions: minPortsPerVM: 32 maxPortsPerVM: 65536 logOptions: enable: true filter: ALLSostituisci quanto segue:
PROJECT_ID: il tuo ID progetto Cloud de Confiance .REGION: la regione di Compute Engine in cui si trovano il cluster e il router Cloud.ROUTER_NAME: il nome del tuo router Cloud.
Salva il seguente manifest come
traffic-selectors-public.yamlper mappare ogni spazio dei nomi di destinazione al relativo indirizzo IP Public NAT designato:kind: TrafficSelector apiVersion: networking.gke.io/v2 metadata: name: ns-red-public-route annotations: cloud.google.com/cloud-nat: '{"nat-external-ips":"nat-ip-1"}' spec: action: kind: CloudNATGateway name: cloud-nat-public-managed subject: pods: namespaceSelector: matchLabels: app: namespace-red-app egress: to: ipBlock: cidrs: - 0.0.0.0/0 --- kind: TrafficSelector apiVersion: networking.gke.io/v2 metadata: name: ns-green-public-route annotations: cloud.google.com/cloud-nat: '{"nat-external-ips":"nat-ip-2"}' spec: action: kind: CloudNATGateway name: cloud-nat-public-managed subject: pods: namespaceSelector: matchLabels: app: namespace-green-app egress: to: ipBlock: cidrs: - 0.0.0.0/0In questi manifest:
- L'annotazione
cloud.google.com/cloud-natspecifica quale indirizzo IP esterno statico riservato traduce il traffico in uscita per lo spazio dei nomi corrispondente. - Il campo
namespaceSelector.matchLabelscorrisponde alle etichette applicate agli spazi dei nomi Kubernetes di destinazione. - L'elenco
egress.to.ipBlock.cidrscontenente0.0.0.0/0indirizza tutto il traffico internet in uscita attraverso il gateway Cloud NAT designato.
- L'annotazione
Applica entrambi i manifest al cluster:
kubectl apply -f cloud-nat-public.yaml -f traffic-selectors-public.yaml
GKE esegue automaticamente il provisioning del gateway Cloud NAT, configura le regole di traduzione in base ai selettori dei workload dello spazio dei nomi e assegna gli indirizzi IP esterni riservati.
Configura Granular Cloud NAT privato per la connettività VPC o NCC
Utilizza Cloud NAT granulare privato per assegnare intervalli di indirizzi IP interni specifici per i workload che si connettono a reti on-premise o ad altri spoke VPC su un hub NCC.
Crea subnet dedicate con lo scopo
PRIVATE_NATnella tua rete VPC:gcloud compute networks subnets create private-nat-subnet-1 \ --region=REGION \ --network=VPC_NETWORK_NAME \ --range=10.0.0.0/29 \ --purpose=PRIVATE_NAT gcloud compute networks subnets create private-nat-subnet-2 \ --region=REGION \ --network=VPC_NETWORK_NAME \ --range=10.0.1.0/29 \ --purpose=PRIVATE_NATSostituisci quanto segue:
REGION: la regione di Compute Engine in cui si trova il cluster.VPC_NETWORK_NAME: il nome della tua rete VPC.
Salva il seguente manifest come
cloud-nat-private.yamlper creare una risorsa CloudNATGateway privata:kind: CloudNATGateway apiVersion: networking.gke.io/v1 metadata: name: cloud-nat-private-managed spec: type: Private privateNATOptions: # Optional: Specify hubLink only if you are routing traffic through Network Connectivity Center hubLink: //networkconnectivity.googleapis.com/projects/PROJECT_ID/locations/global/hubs/HUB_NAME cloudRouter: name: projects/PROJECT_ID/regions/REGION/routers/ROUTER_NAME connectionOptions: udpTimeoutSeconds: 30 tcpEstablishedTimeoutSeconds: 1200Sostituisci quanto segue:
PROJECT_ID: il tuo ID progetto Cloud de Confiance .HUB_NAME: (Facoltativo) Il nome dell'hub Network Connectivity Center. Specifica questo valore solo se stai instradando il traffico tramite Network Connectivity Center. Se non utilizzi Network Connectivity Center, ometti completamente il bloccoprivateNATOptions.ROUTER_NAME: il nome del tuo router Cloud.
Salva il seguente manifest come
traffic-selectors-private.yamlper creare risorse TrafficSelector private che mappano i tuoi spazi dei nomi al gateway Private NAT:kind: TrafficSelector apiVersion: networking.gke.io/v2 metadata: name: ns-red-private-route annotations: cloud.google.com/cloud-nat: '{"nat-subnet":"private-nat-subnet-1"}' spec: action: kind: CloudNATGateway name: cloud-nat-private-managed subject: pods: namespaceSelector: matchLabels: app: namespace-red-app egress: to: ipBlock: cidrs: - 10.200.0.0/24 --- kind: TrafficSelector apiVersion: networking.gke.io/v2 metadata: name: ns-green-private-route annotations: cloud.google.com/cloud-nat: '{"nat-subnet":"private-nat-subnet-2"}' spec: action: kind: CloudNATGateway name: cloud-nat-private-managed subject: pods: namespaceSelector: matchLabels: app: namespace-green-app egress: to: ipBlock: cidrs: - 10.200.1.0/24Applica la configurazione Private NAT:
kubectl apply -f cloud-nat-private.yaml -f traffic-selectors-private.yaml
Utilizza un gateway Cloud NAT esistente
Se gestisci più cluster GKE nella stessa rete VPC o hai cluster che condividono intervalli di indirizzi IP secondari dei pod, puoi configurare Granular NAT in modo che utilizzi un gateway Cloud NAT esistente nella stessa regione e nella stessa rete VPC. Questa configurazione consente ai workload di cluster separati di presentare un pool unificato di indirizzi IP esterni di origine quando si connettono a endpoint esterni.
Elenca i gateway Cloud NAT esistenti nella tua regione per identificare il nome, il router Cloud associato e la rete VPC di un gateway esistente. La regione e la rete VPC devono corrispondere a quelle utilizzate dai cluster GKE:
gcloud beta compute routers nats list \ --router=ROUTER_NAME \ --region=REGION \ --format=yamlSostituisci quanto segue:
ROUTER_NAME: il nome del router Cloud che gestisce il gateway esistente.REGION: la regione di Compute Engine in cui si trovano il cluster e il gateway esistente (ad esempious-central1).
Salva il seguente manifest come
cloud-nat-shared.yamlper collegare il cluster al gateway esistente:kind: CloudNATGateway apiVersion: networking.gke.io/v1 metadata: name: cloud-nat-public-shared spec: type: Public # type is a required field even for shared gateways. Can be either Public or Private. gatewayName: SHARED_NAT_GATEWAY_NAME cloudRouter: name: projects/PROJECT_ID/regions/REGION/routers/ROUTER_NAMESostituisci quanto segue:
SHARED_NAT_GATEWAY_NAME: il nome del gateway Cloud NAT esistente.PROJECT_ID: il tuo ID progetto Cloud de Confiance .REGION: la regione di Compute Engine in cui si trovano il cluster e il gateway esistente.ROUTER_NAME: il nome del router Cloud regionale che gestisce il gateway esistente.
Salva il seguente manifest come
traffic-selector-shared.yamlper instradare il traffico in uscita dal tuo spazio dei nomi tramite il gateway condiviso:kind: TrafficSelector apiVersion: networking.gke.io/v2 metadata: name: ns-shared-public-route annotations: cloud.google.com/cloud-nat: '{"nat-external-ips":"NAT_IP_NAME"}' spec: action: kind: CloudNATGateway name: cloud-nat-public-shared subject: pods: namespaceSelector: matchLabels: app: NAMESPACE_APP_LABEL egress: to: ipBlock: cidrs: - 0.0.0.0/0Sostituisci quanto segue:
NAT_IP_NAME: il nome dell'indirizzo IP statico esterno prenotato configurato sul gateway condiviso.NAMESPACE_APP_LABEL: l'etichetta applicata allo spazio dei nomi Kubernetes di destinazione.
Applica i manifest a ogni cluster GKE che deve condividere il gateway:
kubectl apply -f cloud-nat-shared.yaml -f traffic-selector-shared.yamlRipeti questo passaggio su ogni cluster in cui i workload nello spazio dei nomi selezionato devono uscire tramite il gateway condiviso.
Esegui la pulizia e disattiva Granular NAT
Per evitare addebiti di fatturazione continui e risorse Cloud de Confiance by S3NS orfane, segui un ordine rigoroso delle operazioni quando rimuovi Granular NAT dal tuo cluster.
Per eseguire la pulizia delle risorse Granular NAT, completa i seguenti passaggi:
Elimina le risorse TrafficSelector create dall'utente:
Elimina le risorse personalizzate TrafficSelector che hai creato per i tuoi spazi dei nomi. Non utilizzare il flag
--all, perché l'eliminazione dei selettori creati dal sistema (comegnat-intra-clusterognat-default-internet) può interrompere il traffico del cluster.kubectl delete trafficselector SELECTOR_NAMESostituisci
SELECTOR_NAMEcon il nome della risorsa TrafficSelector.I controller Granular NAT si coordinano con il networking Cloud de Confiance by S3NS per eliminare le regole NAT e le mappature dei workload specifiche associate ai tuoi spazi dei nomi.
Prima di procedere, verifica che tutte le risorse TrafficSelector abbiano completato la terminazione.
Elimina le risorse CloudNATGateway:
Elimina tutte le risorse personalizzate CloudNATGateway nel cluster:
kubectl delete cloudnatgateway --all- Gateway gestiti: GKE elimina automaticamente il gateway Cloud NAT sottostante in Cloud de Confiance by S3NS dopo la rimozione di tutte le regole di traduzione.
- Gateway condivisi: GKE pulisce le regole NAT pertinenti associate ai tuoi spazi dei nomi. GKE non rimuove le associazioni di indirizzi IP dei pod secondari del cluster e il gateway Cloud NAT condiviso rimane attivo per gli altri cluster.
Disattiva la funzionalità sul cluster:
Dopo aver rimosso completamente tutte le risorse personalizzate Granular NAT, disattiva la funzionalità nel cluster:
gcloud container clusters update CLUSTER_NAME \ --location=LOCATION \ --no-enable-granular-natSostituisci quanto segue:
CLUSTER_NAME: il nome del tuo cluster.LOCATION: la regione o la zona di Compute Engine in cui si trova il cluster (ad esempious-central1ous-central1-a).
Risoluzione dei problemi
Se riscontri problemi di connettività, utilizza i seguenti metodi per diagnosticare errori di configurazione di Granular NAT e del piano dati.
Verifica lo stato e i log delle risorse
Controlla lo stato delle risorse personalizzate: verifica la presenza di condizioni di errore nelle risorse personalizzate CloudNATGateway o TrafficSelector:
kubectl describe cloudnatgateway GATEWAY_NAME kubectl describe trafficselector SELECTOR_NAMESostituisci quanto segue:
GATEWAY_NAME: il nome della risorsa CloudNATGateway.SELECTOR_NAME: il nome della risorsa TrafficSelector.
Esamina le regole Cloud NAT: verifica che le regole del selettore dei workload GKE siano attive sul gateway Cloud NAT sottostante:
gcloud beta compute routers nats rules list \ --router=ROUTER_NAME \ --nat=NAT_NAME \ --region=REGION \ --format=yamlSostituisci quanto segue:
ROUTER_NAME: il nome del router Cloud regionale.NAT_NAME: il nome del gateway Cloud NAT.REGION: la regione di Compute Engine in cui si trovano le risorse.
Analizza i log di Cloud NAT: se il traffico in uscita viene ignorato o non viene tradotto, visualizza le voci di log di Cloud NAT in Cloud Logging. Filtra in base al campo
gke_workload_identityper correlare gli eventi di connessione direttamente a spazi dei nomi GKE specifici.
Per saperne di più sulla diagnosi degli errori generali di Cloud NAT, consulta Risoluzione dei problemi di Cloud NAT.
Passaggi successivi
- Scopri di più sulla panoramica di Cloud NAT.
- Consulta GKE Dataplane V2.