Dokumen ini menunjukkan cara mengonfigurasi NAT Terperinci Google Kubernetes Engine (GKE) untuk menetapkan alamat IP egress khusus ke namespace Kubernetes tertentu.
Dengan Granular NAT, Anda dapat mengonfigurasi alamat IP eksternal sumber tertentu untuk Public NAT, atau Anda dapat mengonfigurasi alamat IP internal sumber tertentu untuk Private NAT, yang didukung oleh gateway Cloud NAT.
Untuk mengonfigurasi NAT Terperinci, Anda mendeklarasikan kebijakan perutean menggunakan dua resource kustom cakupan cluster:
- CloudNATGateway: gunakan resource ini untuk menyediakan gateway Cloud NAT publik atau pribadi baru untuk cluster Anda atau untuk mengonfigurasi cluster agar menggunakan gateway Cloud NAT yang ada. Gateway Cloud NAT harus berada di region cluster dan jaringan VPC Anda.
- TrafficSelector: gunakan resource ini untuk menentukan aturan perutean egress
dengan memetakan namespace sumber (
namespaceSelector) dan CIDR tujuan ke CloudNATGateway target.
Sebelum memulai
Sebelum mengonfigurasi NAT Terperinci GKE, selesaikan prasyarat berikut:
- Verifikasi persyaratan cluster: pastikan cluster VPC native Anda menjalankan GKE versi 1.37.1-gke.2611000 atau yang lebih baru dengan GKE Dataplane V2 diaktifkan. NAT Terperinci GKE didukung di cluster Autopilot dan Standard, serta di cluster regional dan zona.
- Memverifikasi izin IAM:
- Pastikan Anda memiliki peran Admin Kubernetes Engine
(
roles/container.admin) di cluster untuk menerapkan resource kustom. - Jika menggunakan VPC Bersama: administrator project host harus
memberikan peran Compute Network Admin (
roles/compute.networkAdmin) kepada agen layanan GKE project layanan Anda (service-SERVICE_PROJECT_NUMBER@container-engine-robot.s3ns-system.iam.gserviceaccount.com) dalam kebijakan IAM project host. Peran ini memungkinkan GKE membuat dan mengelola gateway Cloud NAT, Cloud Router, dan alamat IP yang mendasarinya di jaringan VPC Bersama. Jaringan VPC mandiri tidak memerlukan pemberian manual ini.
- Pastikan Anda memiliki peran Admin Kubernetes Engine
(
- Perbarui aturan firewall untuk menyertakan alamat IP Link-Local jika perlu:
sebelum paket keluar meninggalkan node, NAT Terperinci GKE
menerjemahkan alamat IP sumbernya ke alamat Link-Local dalam
rentang
169.254.32.0/20. Jika organisasi Anda menerapkan aturan firewall kustom yang ketat, pastikan aturan Anda mengakomodasi perilaku ini:- Aturan egress: hindari menentukan parameter sumber dalam aturan allow egress yang targetnya adalah node cluster. Jika Anda menentukan parameter sumber, Anda harus menyertakan rentang alamat Link-Local (
169.254.32.0/20). - Aturan ingress: hindari menentukan parameter tujuan dalam aturan izin ingress yang targetnya adalah node cluster. Jika Anda menentukan parameter tujuan, Anda harus menyertakan rentang alamat Link-Local (
169.254.32.0/20).
- Aturan egress: hindari menentukan parameter sumber dalam aturan allow egress yang targetnya adalah node cluster. Jika Anda menentukan parameter sumber, Anda harus menyertakan rentang alamat Link-Local (
- Traffic intra-VPC: pastikan resource TrafficSelector tidak menyertakan CIDR tujuan rentang subnet dalam jaringan VPC cluster atau jaringan VPC lain yang terhubung menggunakan Peering Jaringan VPC. Private NAT hanya menyediakan konektivitas untuk spoke NCC atau konektivitas menggunakan NAT hybrid.
- Persyaratan rute VPC: untuk setiap CIDR yang akan ditangani oleh NAT publik, jaringan VPC cluster harus menyertakan rute statis yang rentang tujuannya mencakup CIDR dan next hop-nya adalah gateway internet default.
Batasan
- Granularitas tingkat namespace: Anda hanya dapat menerapkan kebijakan GKE Granular NAT di tingkat namespace Kubernetes. Untuk rilis pratinjau, Anda tidak dapat memilih setiap Pod atau Akun Layanan menggunakan pemilih label dalam namespace.
- Kapasitas aturan gateway: setiap gateway Cloud NAT mendukung hingga 128 aturan NAT, sehingga Anda dapat mengonfigurasi kebijakan hingga 128 namespace GKE yang berbeda per gateway. Jika cluster Anda memerlukan kebijakan egress untuk lebih dari 128 namespace, Anda harus menyediakan gateway tambahan.
- Batasan Cloud NAT: tinjau batasan Cloud NAT standar, karena batasan tersebut juga berlaku untuk traffic egress NAT Terperinci Anda. Untuk mengetahui informasi selengkapnya, lihat batasan untuk Public NAT dan Private NAT.
Mengaktifkan NAT Terperinci GKE di cluster
Anda dapat mengaktifkan NAT Terperinci saat membuat cluster baru, atau Anda dapat mengupdate cluster yang ada.
Buat cluster baru
Autopilot
Untuk membuat cluster baru dengan NAT Terperinci dan GKE Dataplane V2 diaktifkan, jalankan perintah berikut:
gcloud container clusters create-auto "CLUSTER_NAME" \
--LOCATION_FLAG="LOCATION" \
--network="VPC_NETWORK_NAME" \
--enable-granular-nat \
--network-suite=STANDARD
Ganti kode berikut:
CLUSTER_NAME: nama cluster baru.LOCATION_FLAG: tentukan--regionuntuk cluster regional.LOCATION: region atau zona Compute Engine untuk cluster Anda (misalnya,us-central1atauus-central1-a).VPC_NETWORK_NAME: nama jaringan VPC Anda.
Standar
Untuk membuat cluster baru dengan NAT Terperinci dan GKE Dataplane V2 diaktifkan, jalankan perintah berikut:
gcloud container clusters create <var>CLUSTER_NAME</var> \
--LOCATION_FLAG="LOCATION" \
--network="VPC_NETWORK_NAME" \
--enable-dataplane-v2 \
--enable-granular-nat \
--network-suite=STANDARD
Ganti kode berikut:
CLUSTER_NAME: nama cluster baru.LOCATION_FLAG: tentukan--regionuntuk cluster regional atau--zoneuntuk cluster zona.LOCATION: region atau zona Compute Engine untuk cluster Anda (misalnya,us-central1atauus-central1-a).VPC_NETWORK_NAME: nama jaringan VPC Anda.
Mengupdate cluster yang ada
Autopilot
Untuk mengaktifkan NAT Terperinci di cluster yang ada, jalankan perintah berikut:
gcloud container clusters update `CLUSTER_NAME` \
--LOCATION_FLAG="LOCATION" \
--enable-granular-nat
Ganti kode berikut:
CLUSTER_NAME: nama cluster yang ada.LOCATION_FLAG: tentukan--regionjika cluster yang ada bersifat regional atau--zonejika bersifat zona.LOCATION: region atau zona Compute Engine tempat cluster Anda berada.
Standar
Untuk mengaktifkan NAT Terperinci di cluster Standard yang ada, jalankan perintah berikut:
gcloud container clusters update `CLUSTER_NAME` \
--LOCATION_FLAG="LOCATION" \
--enable-granular-nat \
--network-suite=STANDARD
Ganti kode berikut:
CLUSTER_NAME: nama cluster yang ada.LOCATION_FLAG: tentukan--regionjika cluster yang ada bersifat regional atau--zonejika bersifat zona.LOCATION: region atau zona Compute Engine tempat cluster Anda berada.
Mengonfigurasi NAT Terperinci publik dengan alamat IP egress eksternal statis
Konfigurasikan NAT Terperinci publik saat workload di namespace terpisah harus menampilkan alamat IP publik statis yang berbeda ke layanan pihak ketiga eksternal, seperti API partner atau gateway pembayaran yang menerapkan daftar alamat IP yang diizinkan yang ketat.
Buat Cloud Router regional untuk gateway Cloud NAT Anda. GKE tidak otomatis membuat Cloud Router untuk Anda.
gcloud compute routers create ROUTER_NAME \ --network=VPC_NETWORK_NAME \ --region=REGIONGanti kode berikut:
ROUTER_NAME: nama Cloud Router regional baru Anda.VPC_NETWORK_NAME: nama jaringan VPC Anda.REGION: region Compute Engine tempat cluster Anda berada (misalnya,us-central1).
Cadangkan alamat IP eksternal statis di region yang sama dengan cluster GKE Anda untuk mengalokasikan alamat IP egress eksternal khusus untuk namespace Anda, serta alamat IP default untuk gateway:
gcloud compute addresses create nat-ip-default \ --region=REGION gcloud compute addresses create nat-ip-1 \ --region=REGION gcloud compute addresses create nat-ip-2 \ --region=REGIONGanti
REGIONdengan region Compute Engine tempat cluster Anda berada (misalnya,us-central1).Simpan manifes berikut sebagai
cloud-nat-public.yamluntuk menentukan gateway Cloud NAT regional terkelola:kind: CloudNATGateway apiVersion: networking.gke.io/v1 metadata: name: cloud-nat-public-managed spec: type: Public cloudRouter: name: projects/PROJECT_ID/regions/REGION/routers/ROUTER_NAME publicNATOptions: defaultNatExternalIPs: - name: nat-ip-default connectionOptions: udpTimeoutSeconds: 30 tcpEstablishedTimeoutSeconds: 1200 tcpTransitoryTimeoutSeconds: 30 tcpTimeWaitSeconds: 120 icmpTimeoutSeconds: 30 portOptions: minPortsPerVM: 32 maxPortsPerVM: 65536 logOptions: enable: true filter: ALLGanti kode berikut:
PROJECT_ID: Project ID Cloud de Confiance Anda.REGION: region Compute Engine tempat cluster dan Cloud Router Anda berada.ROUTER_NAME: nama Cloud Router Anda.
Simpan manifes berikut sebagai
traffic-selectors-public.yamluntuk memetakan setiap namespace target ke alamat IP Public NAT yang ditetapkan:kind: TrafficSelector apiVersion: networking.gke.io/v2 metadata: name: ns-red-public-route annotations: cloud.google.com/cloud-nat: '{"nat-external-ips":"nat-ip-1"}' spec: action: kind: CloudNATGateway name: cloud-nat-public-managed subject: pods: namespaceSelector: matchLabels: app: namespace-red-app egress: to: ipBlock: cidrs: - 0.0.0.0/0 --- kind: TrafficSelector apiVersion: networking.gke.io/v2 metadata: name: ns-green-public-route annotations: cloud.google.com/cloud-nat: '{"nat-external-ips":"nat-ip-2"}' spec: action: kind: CloudNATGateway name: cloud-nat-public-managed subject: pods: namespaceSelector: matchLabels: app: namespace-green-app egress: to: ipBlock: cidrs: - 0.0.0.0/0Dalam manifes ini:
- Anotasi
cloud.google.com/cloud-natmenentukan alamat IP eksternal statis yang dicadangkan yang menerjemahkan traffic egress untuk namespace yang cocok. - Kolom
namespaceSelector.matchLabelscocok dengan label yang diterapkan ke namespace Kubernetes target Anda. - Daftar
egress.to.ipBlock.cidrsyang berisi0.0.0.0/0mengarahkan semua traffic internet keluar melalui gateway Cloud NAT yang ditentukan.
- Anotasi
Terapkan kedua manifes ke cluster Anda:
kubectl apply -f cloud-nat-public.yaml -f traffic-selectors-public.yaml
GKE otomatis menyediakan gateway Cloud NAT, mengonfigurasi aturan terjemahan berdasarkan pemilih workload namespace Anda, dan menetapkan alamat IP eksternal yang dicadangkan.
Mengonfigurasi Cloud NAT Terperinci pribadi untuk konektivitas VPC atau NCC
Gunakan Cloud NAT Terperinci pribadi untuk menetapkan rentang alamat IP internal tertentu untuk workload yang terhubung ke jaringan lokal atau ke spoke VPC lain di hub NCC.
Buat subnet khusus dengan tujuan
PRIVATE_NATdi jaringan VPC Anda:gcloud compute networks subnets create private-nat-subnet-1 \ --region=REGION \ --network=VPC_NETWORK_NAME \ --range=10.0.0.0/29 \ --purpose=PRIVATE_NAT gcloud compute networks subnets create private-nat-subnet-2 \ --region=REGION \ --network=VPC_NETWORK_NAME \ --range=10.0.1.0/29 \ --purpose=PRIVATE_NATGanti kode berikut:
REGION: region Compute Engine tempat cluster Anda berada.VPC_NETWORK_NAME: nama jaringan VPC Anda.
Simpan manifes berikut sebagai
cloud-nat-private.yamluntuk membuat resource CloudNATGateway pribadi:kind: CloudNATGateway apiVersion: networking.gke.io/v1 metadata: name: cloud-nat-private-managed spec: type: Private privateNATOptions: # Optional: Specify hubLink only if you are routing traffic through Network Connectivity Center hubLink: //networkconnectivity.googleapis.com/projects/PROJECT_ID/locations/global/hubs/HUB_NAME cloudRouter: name: projects/PROJECT_ID/regions/REGION/routers/ROUTER_NAME connectionOptions: udpTimeoutSeconds: 30 tcpEstablishedTimeoutSeconds: 1200Ganti kode berikut:
PROJECT_ID: Project ID Cloud de Confiance Anda.HUB_NAME: Opsional. Nama Hub Network Connectivity Center Anda. Tentukan ini hanya jika Anda merutekan traffic melalui Network Connectivity Center. Jika Anda tidak menggunakan Network Connectivity Center, hapus seluruh blokprivateNATOptions.ROUTER_NAME: nama Cloud Router Anda.
Simpan manifes berikut sebagai
traffic-selectors-private.yamluntuk membuat resource TrafficSelector pribadi yang memetakan namespace Anda ke gateway NAT pribadi:kind: TrafficSelector apiVersion: networking.gke.io/v2 metadata: name: ns-red-private-route annotations: cloud.google.com/cloud-nat: '{"nat-subnet":"private-nat-subnet-1"}' spec: action: kind: CloudNATGateway name: cloud-nat-private-managed subject: pods: namespaceSelector: matchLabels: app: namespace-red-app egress: to: ipBlock: cidrs: - 10.200.0.0/24 --- kind: TrafficSelector apiVersion: networking.gke.io/v2 metadata: name: ns-green-private-route annotations: cloud.google.com/cloud-nat: '{"nat-subnet":"private-nat-subnet-2"}' spec: action: kind: CloudNATGateway name: cloud-nat-private-managed subject: pods: namespaceSelector: matchLabels: app: namespace-green-app egress: to: ipBlock: cidrs: - 10.200.1.0/24Terapkan konfigurasi Private NAT:
kubectl apply -f cloud-nat-private.yaml -f traffic-selectors-private.yaml
Menggunakan gateway Cloud NAT yang ada
Jika Anda mengelola beberapa cluster GKE di jaringan VPC yang sama atau memiliki cluster yang berbagi rentang alamat IP Pod sekunder, Anda dapat mengonfigurasi NAT Terperinci untuk menggunakan gateway Cloud NAT yang ada di region dan jaringan VPC yang sama. Konfigurasi ini memungkinkan workload di seluruh cluster terpisah menampilkan kumpulan alamat IP eksternal sumber terpadu saat terhubung ke endpoint eksternal.
Cantumkan gateway Cloud NAT yang ada di region Anda untuk mengidentifikasi nama gateway yang ada, Cloud Router terkait, dan jaringan VPC. Region dan jaringan VPC harus cocok dengan yang digunakan oleh cluster GKE:
gcloud beta compute routers nats list \ --router=ROUTER_NAME \ --region=REGION \ --format=yamlGanti kode berikut:
ROUTER_NAME: nama Cloud Router yang mengelola gateway yang ada.REGION: region Compute Engine tempat cluster dan gateway yang ada berada (misalnya,us-central1).
Simpan manifes berikut sebagai
cloud-nat-shared.yamluntuk menautkan cluster Anda ke gateway yang ada:kind: CloudNATGateway apiVersion: networking.gke.io/v1 metadata: name: cloud-nat-public-shared spec: type: Public # type is a required field even for shared gateways. Can be either Public or Private. gatewayName: SHARED_NAT_GATEWAY_NAME cloudRouter: name: projects/PROJECT_ID/regions/REGION/routers/ROUTER_NAMEGanti kode berikut:
SHARED_NAT_GATEWAY_NAME: nama gateway Cloud NAT yang ada.PROJECT_ID: Project ID Cloud de Confiance Anda.REGION: region Compute Engine tempat cluster dan gateway yang ada berada.ROUTER_NAME: nama Cloud Router regional yang mengelola gateway yang ada.
Simpan manifes berikut sebagai
traffic-selector-shared.yamluntuk merutekan traffic keluar dari namespace Anda melalui gateway bersama:kind: TrafficSelector apiVersion: networking.gke.io/v2 metadata: name: ns-shared-public-route annotations: cloud.google.com/cloud-nat: '{"nat-external-ips":"NAT_IP_NAME"}' spec: action: kind: CloudNATGateway name: cloud-nat-public-shared subject: pods: namespaceSelector: matchLabels: app: NAMESPACE_APP_LABEL egress: to: ipBlock: cidrs: - 0.0.0.0/0Ganti kode berikut:
NAT_IP_NAME: nama alamat IP statis eksternal yang dicadangkan yang dikonfigurasi di gateway bersama.NAMESPACE_APP_LABEL: label yang diterapkan ke namespace Kubernetes target Anda.
Terapkan manifes ke setiap cluster GKE yang perlu berbagi gateway:
kubectl apply -f cloud-nat-shared.yaml -f traffic-selector-shared.yamlUlangi langkah ini di setiap cluster tempat workload di namespace yang dipilih harus keluar melalui gateway bersama.
Membersihkan dan menonaktifkan NAT Terperinci
Untuk menghindari biaya penagihan berkelanjutan dan mencegah resource Cloud de Confiance by S3NS terbengkalai, ikuti urutan operasi yang ketat saat Anda menghapus NAT Terperinci dari cluster.
Untuk membersihkan resource NAT Terperinci, selesaikan langkah-langkah berikut:
Hapus resource TrafficSelector yang dibuat pengguna:
Hapus resource kustom TrafficSelector yang Anda buat untuk namespace. Jangan gunakan flag
--all, karena menghapus pemilih yang dibuat sistem (sepertignat-intra-clusterataugnat-default-internet) dapat merusak traffic cluster.kubectl delete trafficselector SELECTOR_NAMEGanti
SELECTOR_NAMEdengan nama resource TrafficSelector.Pengontrol NAT Terperinci berkoordinasi dengan jaringan Cloud de Confiance by S3NS untuk menghapus aturan NAT dan pemetaan workload tertentu yang terkait dengan namespace Anda.
Pastikan semua resource TrafficSelector telah menyelesaikan penghentian sebelum Anda melanjutkan.
Hapus resource CloudNATGateway:
Hapus semua resource kustom CloudNATGateway di cluster:
kubectl delete cloudnatgateway --all- Gateway terkelola: GKE otomatis menghapus gateway Cloud NAT yang mendasarinya di Cloud de Confiance by S3NS setelah semua aturan terjemahan dihapus.
- Gateway bersama: GKE membersihkan aturan NAT yang relevan yang terkait dengan namespace Anda. GKE tidak menghapus pengaitan alamat IP Pod sekunder cluster Anda, dan gateway Cloud NAT bersama tetap aktif untuk cluster lain.
Nonaktifkan fitur di cluster:
Setelah semua resource kustom NAT Terperinci dihapus sepenuhnya, nonaktifkan fitur tersebut di cluster Anda:
gcloud container clusters update CLUSTER_NAME \ --location=LOCATION \ --no-enable-granular-natGanti kode berikut:
CLUSTER_NAME: nama cluster Anda.LOCATION: region atau zona Compute Engine tempat cluster Anda berada (misalnya,us-central1atauus-central1-a).
Pemecahan masalah
Jika Anda mengalami masalah konektivitas, gunakan metode berikut untuk mendiagnosis konfigurasi NAT Terperinci dan kegagalan bidang data.
Memverifikasi status dan log resource
Periksa status resource kustom: periksa kondisi error pada resource kustom CloudNATGateway atau TrafficSelector Anda:
kubectl describe cloudnatgateway GATEWAY_NAME kubectl describe trafficselector SELECTOR_NAMEGanti kode berikut:
GATEWAY_NAME: nama resource CloudNATGateway Anda.SELECTOR_NAME: nama resource TrafficSelector` Anda.
Tinjau aturan Cloud NAT: Pastikan aturan pemilih workload GKE aktif di gateway Cloud NAT yang mendasarinya:
gcloud beta compute routers nats rules list \ --router=ROUTER_NAME \ --nat=NAT_NAME \ --region=REGION \ --format=yamlGanti kode berikut:
ROUTER_NAME: nama Cloud Router regional Anda.NAT_NAME: nama gateway Cloud NAT Anda.REGION: region Compute Engine tempat resource Anda berada.
Menganalisis log Cloud NAT: jika traffic keluar dihapus atau gagal diterjemahkan, lihat entri log Cloud NAT di Cloud Logging. Filter kolom
gke_workload_identityuntuk menghubungkan peristiwa koneksi langsung ke namespace GKE tertentu.
Untuk mengetahui informasi selengkapnya tentang cara mendiagnosis error Cloud NAT umum, lihat Memecahkan masalah Cloud NAT.
Langkah berikutnya
- Pelajari lebih lanjut ringkasan Cloud NAT.
- Lihat GKE Dataplane V2.