Mengonfigurasi NAT Terperinci GKE

Dokumen ini menunjukkan cara mengonfigurasi NAT Terperinci Google Kubernetes Engine (GKE) untuk menetapkan alamat IP egress khusus ke namespace Kubernetes tertentu.

Dengan Granular NAT, Anda dapat mengonfigurasi alamat IP eksternal sumber tertentu untuk Public NAT, atau Anda dapat mengonfigurasi alamat IP internal sumber tertentu untuk Private NAT, yang didukung oleh gateway Cloud NAT.

Untuk mengonfigurasi NAT Terperinci, Anda mendeklarasikan kebijakan perutean menggunakan dua resource kustom cakupan cluster:

  • CloudNATGateway: gunakan resource ini untuk menyediakan gateway Cloud NAT publik atau pribadi baru untuk cluster Anda atau untuk mengonfigurasi cluster agar menggunakan gateway Cloud NAT yang ada. Gateway Cloud NAT harus berada di region cluster dan jaringan VPC Anda.
  • TrafficSelector: gunakan resource ini untuk menentukan aturan perutean egress dengan memetakan namespace sumber (namespaceSelector) dan CIDR tujuan ke CloudNATGateway target.

Sebelum memulai

Sebelum mengonfigurasi NAT Terperinci GKE, selesaikan prasyarat berikut:

  • Verifikasi persyaratan cluster: pastikan cluster VPC native Anda menjalankan GKE versi 1.37.1-gke.2611000 atau yang lebih baru dengan GKE Dataplane V2 diaktifkan. NAT Terperinci GKE didukung di cluster Autopilot dan Standard, serta di cluster regional dan zona.
  • Memverifikasi izin IAM:
    • Pastikan Anda memiliki peran Admin Kubernetes Engine (roles/container.admin) di cluster untuk menerapkan resource kustom.
    • Jika menggunakan VPC Bersama: administrator project host harus memberikan peran Compute Network Admin (roles/compute.networkAdmin) kepada agen layanan GKE project layanan Anda (service-SERVICE_PROJECT_NUMBER@container-engine-robot.s3ns-system.iam.gserviceaccount.com) dalam kebijakan IAM project host. Peran ini memungkinkan GKE membuat dan mengelola gateway Cloud NAT, Cloud Router, dan alamat IP yang mendasarinya di jaringan VPC Bersama. Jaringan VPC mandiri tidak memerlukan pemberian manual ini.
  • Perbarui aturan firewall untuk menyertakan alamat IP Link-Local jika perlu: sebelum paket keluar meninggalkan node, NAT Terperinci GKE menerjemahkan alamat IP sumbernya ke alamat Link-Local dalam rentang 169.254.32.0/20. Jika organisasi Anda menerapkan aturan firewall kustom yang ketat, pastikan aturan Anda mengakomodasi perilaku ini:
    • Aturan egress: hindari menentukan parameter sumber dalam aturan allow egress yang targetnya adalah node cluster. Jika Anda menentukan parameter sumber, Anda harus menyertakan rentang alamat Link-Local (169.254.32.0/20).
    • Aturan ingress: hindari menentukan parameter tujuan dalam aturan izin ingress yang targetnya adalah node cluster. Jika Anda menentukan parameter tujuan, Anda harus menyertakan rentang alamat Link-Local (169.254.32.0/20).
  • Traffic intra-VPC: pastikan resource TrafficSelector tidak menyertakan CIDR tujuan rentang subnet dalam jaringan VPC cluster atau jaringan VPC lain yang terhubung menggunakan Peering Jaringan VPC. Private NAT hanya menyediakan konektivitas untuk spoke NCC atau konektivitas menggunakan NAT hybrid.
  • Persyaratan rute VPC: untuk setiap CIDR yang akan ditangani oleh NAT publik, jaringan VPC cluster harus menyertakan rute statis yang rentang tujuannya mencakup CIDR dan next hop-nya adalah gateway internet default.

Batasan

  • Granularitas tingkat namespace: Anda hanya dapat menerapkan kebijakan GKE Granular NAT di tingkat namespace Kubernetes. Untuk rilis pratinjau, Anda tidak dapat memilih setiap Pod atau Akun Layanan menggunakan pemilih label dalam namespace.
  • Kapasitas aturan gateway: setiap gateway Cloud NAT mendukung hingga 128 aturan NAT, sehingga Anda dapat mengonfigurasi kebijakan hingga 128 namespace GKE yang berbeda per gateway. Jika cluster Anda memerlukan kebijakan egress untuk lebih dari 128 namespace, Anda harus menyediakan gateway tambahan.
  • Batasan Cloud NAT: tinjau batasan Cloud NAT standar, karena batasan tersebut juga berlaku untuk traffic egress NAT Terperinci Anda. Untuk mengetahui informasi selengkapnya, lihat batasan untuk Public NAT dan Private NAT.

Mengaktifkan NAT Terperinci GKE di cluster

Anda dapat mengaktifkan NAT Terperinci saat membuat cluster baru, atau Anda dapat mengupdate cluster yang ada.

Buat cluster baru

Autopilot

Untuk membuat cluster baru dengan NAT Terperinci dan GKE Dataplane V2 diaktifkan, jalankan perintah berikut:

gcloud container clusters create-auto "CLUSTER_NAME" \
    --LOCATION_FLAG="LOCATION" \
    --network="VPC_NETWORK_NAME" \
    --enable-granular-nat \
    --network-suite=STANDARD

Ganti kode berikut:

  • CLUSTER_NAME: nama cluster baru.
  • LOCATION_FLAG: tentukan --region untuk cluster regional.
  • LOCATION: region atau zona Compute Engine untuk cluster Anda (misalnya, us-central1 atau us-central1-a).
  • VPC_NETWORK_NAME: nama jaringan VPC Anda.

Standar

Untuk membuat cluster baru dengan NAT Terperinci dan GKE Dataplane V2 diaktifkan, jalankan perintah berikut:

gcloud container clusters create <var>CLUSTER_NAME</var> \
    --LOCATION_FLAG="LOCATION" \
    --network="VPC_NETWORK_NAME" \
    --enable-dataplane-v2 \
    --enable-granular-nat \
    --network-suite=STANDARD

Ganti kode berikut:

  • CLUSTER_NAME: nama cluster baru.
  • LOCATION_FLAG: tentukan --region untuk cluster regional atau --zone untuk cluster zona.
  • LOCATION: region atau zona Compute Engine untuk cluster Anda (misalnya, us-central1 atau us-central1-a).
  • VPC_NETWORK_NAME: nama jaringan VPC Anda.

Mengupdate cluster yang ada

Autopilot

Untuk mengaktifkan NAT Terperinci di cluster yang ada, jalankan perintah berikut:

gcloud container clusters update `CLUSTER_NAME` \
    --LOCATION_FLAG="LOCATION" \
    --enable-granular-nat

Ganti kode berikut:

  • CLUSTER_NAME: nama cluster yang ada.
  • LOCATION_FLAG: tentukan --region jika cluster yang ada bersifat regional atau --zone jika bersifat zona.
  • LOCATION: region atau zona Compute Engine tempat cluster Anda berada.

Standar

Untuk mengaktifkan NAT Terperinci di cluster Standard yang ada, jalankan perintah berikut:

gcloud container clusters update `CLUSTER_NAME` \
    --LOCATION_FLAG="LOCATION" \
    --enable-granular-nat \
    --network-suite=STANDARD

Ganti kode berikut:

  • CLUSTER_NAME: nama cluster yang ada.
  • LOCATION_FLAG: tentukan --region jika cluster yang ada bersifat regional atau --zone jika bersifat zona.
  • LOCATION: region atau zona Compute Engine tempat cluster Anda berada.

Mengonfigurasi NAT Terperinci publik dengan alamat IP egress eksternal statis

Konfigurasikan NAT Terperinci publik saat workload di namespace terpisah harus menampilkan alamat IP publik statis yang berbeda ke layanan pihak ketiga eksternal, seperti API partner atau gateway pembayaran yang menerapkan daftar alamat IP yang diizinkan yang ketat.

  1. Buat Cloud Router regional untuk gateway Cloud NAT Anda. GKE tidak otomatis membuat Cloud Router untuk Anda.

    gcloud compute routers create ROUTER_NAME \
        --network=VPC_NETWORK_NAME \
        --region=REGION
    

    Ganti kode berikut:

    • ROUTER_NAME: nama Cloud Router regional baru Anda.
    • VPC_NETWORK_NAME: nama jaringan VPC Anda.
    • REGION: region Compute Engine tempat cluster Anda berada (misalnya, us-central1).
  2. Cadangkan alamat IP eksternal statis di region yang sama dengan cluster GKE Anda untuk mengalokasikan alamat IP egress eksternal khusus untuk namespace Anda, serta alamat IP default untuk gateway:

    gcloud compute addresses create nat-ip-default \
        --region=REGION
    gcloud compute addresses create nat-ip-1 \
        --region=REGION
    gcloud compute addresses create nat-ip-2 \
        --region=REGION
    

    Ganti REGION dengan region Compute Engine tempat cluster Anda berada (misalnya, us-central1).

  3. Simpan manifes berikut sebagai cloud-nat-public.yaml untuk menentukan gateway Cloud NAT regional terkelola:

    kind: CloudNATGateway
    apiVersion: networking.gke.io/v1
    metadata:
      name: cloud-nat-public-managed
    spec:
      type: Public
      cloudRouter:
        name: projects/PROJECT_ID/regions/REGION/routers/ROUTER_NAME
      publicNATOptions:
        defaultNatExternalIPs:
        - name: nat-ip-default
      connectionOptions:
        udpTimeoutSeconds: 30
        tcpEstablishedTimeoutSeconds: 1200
        tcpTransitoryTimeoutSeconds: 30
        tcpTimeWaitSeconds: 120
        icmpTimeoutSeconds: 30
      portOptions:
        minPortsPerVM: 32
        maxPortsPerVM: 65536
      logOptions:
        enable: true
        filter: ALL
    

    Ganti kode berikut:

    • PROJECT_ID: Project ID Cloud de Confiance Anda.
    • REGION: region Compute Engine tempat cluster dan Cloud Router Anda berada.
    • ROUTER_NAME: nama Cloud Router Anda.
  4. Simpan manifes berikut sebagai traffic-selectors-public.yaml untuk memetakan setiap namespace target ke alamat IP Public NAT yang ditetapkan:

    kind: TrafficSelector
    apiVersion: networking.gke.io/v2
    metadata:
      name: ns-red-public-route
      annotations:
        cloud.google.com/cloud-nat: '{"nat-external-ips":"nat-ip-1"}'
    spec:
      action:
        kind: CloudNATGateway
        name: cloud-nat-public-managed
      subject:
        pods:
          namespaceSelector:
            matchLabels:
              app: namespace-red-app
      egress:
        to:
          ipBlock:
            cidrs:
            - 0.0.0.0/0
    ---
    kind: TrafficSelector
    apiVersion: networking.gke.io/v2
    metadata:
      name: ns-green-public-route
      annotations:
        cloud.google.com/cloud-nat: '{"nat-external-ips":"nat-ip-2"}'
    spec:
      action:
        kind: CloudNATGateway
        name: cloud-nat-public-managed
      subject:
        pods:
          namespaceSelector:
            matchLabels:
              app: namespace-green-app
      egress:
        to:
          ipBlock:
            cidrs:
            - 0.0.0.0/0
    

    Dalam manifes ini:

    • Anotasi cloud.google.com/cloud-nat menentukan alamat IP eksternal statis yang dicadangkan yang menerjemahkan traffic egress untuk namespace yang cocok.
    • Kolom namespaceSelector.matchLabels cocok dengan label yang diterapkan ke namespace Kubernetes target Anda.
    • Daftar egress.to.ipBlock.cidrs yang berisi 0.0.0.0/0 mengarahkan semua traffic internet keluar melalui gateway Cloud NAT yang ditentukan.
  5. Terapkan kedua manifes ke cluster Anda:

    kubectl apply -f cloud-nat-public.yaml -f traffic-selectors-public.yaml
    

GKE otomatis menyediakan gateway Cloud NAT, mengonfigurasi aturan terjemahan berdasarkan pemilih workload namespace Anda, dan menetapkan alamat IP eksternal yang dicadangkan.

Mengonfigurasi Cloud NAT Terperinci pribadi untuk konektivitas VPC atau NCC

Gunakan Cloud NAT Terperinci pribadi untuk menetapkan rentang alamat IP internal tertentu untuk workload yang terhubung ke jaringan lokal atau ke spoke VPC lain di hub NCC.

  1. Buat subnet khusus dengan tujuan PRIVATE_NAT di jaringan VPC Anda:

    gcloud compute networks subnets create private-nat-subnet-1 \
        --region=REGION \
        --network=VPC_NETWORK_NAME \
        --range=10.0.0.0/29 \
        --purpose=PRIVATE_NAT
    
    gcloud compute networks subnets create private-nat-subnet-2 \
        --region=REGION \
        --network=VPC_NETWORK_NAME \
        --range=10.0.1.0/29 \
        --purpose=PRIVATE_NAT
    

    Ganti kode berikut:

    • REGION: region Compute Engine tempat cluster Anda berada.
    • VPC_NETWORK_NAME: nama jaringan VPC Anda.
  2. Simpan manifes berikut sebagai cloud-nat-private.yaml untuk membuat resource CloudNATGateway pribadi:

    kind: CloudNATGateway
    apiVersion: networking.gke.io/v1
    metadata:
      name: cloud-nat-private-managed
    spec:
      type: Private
      privateNATOptions:
        # Optional: Specify hubLink only if you are routing traffic through Network Connectivity Center
        hubLink: //networkconnectivity.googleapis.com/projects/PROJECT_ID/locations/global/hubs/HUB_NAME
      cloudRouter:
        name: projects/PROJECT_ID/regions/REGION/routers/ROUTER_NAME
      connectionOptions:
        udpTimeoutSeconds: 30
        tcpEstablishedTimeoutSeconds: 1200
    

    Ganti kode berikut:

    • PROJECT_ID: Project ID Cloud de Confiance Anda.
    • HUB_NAME: Opsional. Nama Hub Network Connectivity Center Anda. Tentukan ini hanya jika Anda merutekan traffic melalui Network Connectivity Center. Jika Anda tidak menggunakan Network Connectivity Center, hapus seluruh blok privateNATOptions.
    • ROUTER_NAME: nama Cloud Router Anda.
  3. Simpan manifes berikut sebagai traffic-selectors-private.yaml untuk membuat resource TrafficSelector pribadi yang memetakan namespace Anda ke gateway NAT pribadi:

    kind: TrafficSelector
    apiVersion: networking.gke.io/v2
    metadata:
      name: ns-red-private-route
      annotations:
        cloud.google.com/cloud-nat: '{"nat-subnet":"private-nat-subnet-1"}'
    spec:
      action:
        kind: CloudNATGateway
        name: cloud-nat-private-managed
      subject:
        pods:
          namespaceSelector:
            matchLabels:
              app: namespace-red-app
      egress:
        to:
          ipBlock:
            cidrs:
            - 10.200.0.0/24
    ---
    kind: TrafficSelector
    apiVersion: networking.gke.io/v2
    metadata:
      name: ns-green-private-route
      annotations:
        cloud.google.com/cloud-nat: '{"nat-subnet":"private-nat-subnet-2"}'
    spec:
      action:
        kind: CloudNATGateway
        name: cloud-nat-private-managed
      subject:
        pods:
          namespaceSelector:
            matchLabels:
              app: namespace-green-app
      egress:
        to:
          ipBlock:
            cidrs:
            - 10.200.1.0/24
    
  4. Terapkan konfigurasi Private NAT:

    kubectl apply -f cloud-nat-private.yaml -f traffic-selectors-private.yaml
    

Menggunakan gateway Cloud NAT yang ada

Jika Anda mengelola beberapa cluster GKE di jaringan VPC yang sama atau memiliki cluster yang berbagi rentang alamat IP Pod sekunder, Anda dapat mengonfigurasi NAT Terperinci untuk menggunakan gateway Cloud NAT yang ada di region dan jaringan VPC yang sama. Konfigurasi ini memungkinkan workload di seluruh cluster terpisah menampilkan kumpulan alamat IP eksternal sumber terpadu saat terhubung ke endpoint eksternal.

  1. Cantumkan gateway Cloud NAT yang ada di region Anda untuk mengidentifikasi nama gateway yang ada, Cloud Router terkait, dan jaringan VPC. Region dan jaringan VPC harus cocok dengan yang digunakan oleh cluster GKE:

    gcloud beta compute routers nats list \
        --router=ROUTER_NAME \
        --region=REGION \
        --format=yaml
    

    Ganti kode berikut:

    • ROUTER_NAME: nama Cloud Router yang mengelola gateway yang ada.
    • REGION: region Compute Engine tempat cluster dan gateway yang ada berada (misalnya, us-central1).
  2. Simpan manifes berikut sebagai cloud-nat-shared.yaml untuk menautkan cluster Anda ke gateway yang ada:

    kind: CloudNATGateway
    apiVersion: networking.gke.io/v1
    metadata:
      name: cloud-nat-public-shared
    spec:
      type: Public # type is a required field even for shared gateways. Can be either Public or Private.
      gatewayName: SHARED_NAT_GATEWAY_NAME
      cloudRouter:
        name: projects/PROJECT_ID/regions/REGION/routers/ROUTER_NAME
    

    Ganti kode berikut:

    • SHARED_NAT_GATEWAY_NAME: nama gateway Cloud NAT yang ada.
    • PROJECT_ID: Project ID Cloud de Confiance Anda.
    • REGION: region Compute Engine tempat cluster dan gateway yang ada berada.
    • ROUTER_NAME: nama Cloud Router regional yang mengelola gateway yang ada.
  3. Simpan manifes berikut sebagai traffic-selector-shared.yaml untuk merutekan traffic keluar dari namespace Anda melalui gateway bersama:

    kind: TrafficSelector
    apiVersion: networking.gke.io/v2
    metadata:
      name: ns-shared-public-route
      annotations:
        cloud.google.com/cloud-nat: '{"nat-external-ips":"NAT_IP_NAME"}'
    spec:
      action:
        kind: CloudNATGateway
        name: cloud-nat-public-shared
      subject:
        pods:
          namespaceSelector:
            matchLabels:
              app: NAMESPACE_APP_LABEL
      egress:
        to:
          ipBlock:
            cidrs:
            - 0.0.0.0/0
    

    Ganti kode berikut:

    • NAT_IP_NAME: nama alamat IP statis eksternal yang dicadangkan yang dikonfigurasi di gateway bersama.
    • NAMESPACE_APP_LABEL: label yang diterapkan ke namespace Kubernetes target Anda.
  4. Terapkan manifes ke setiap cluster GKE yang perlu berbagi gateway:

    kubectl apply -f cloud-nat-shared.yaml -f traffic-selector-shared.yaml
    

    Ulangi langkah ini di setiap cluster tempat workload di namespace yang dipilih harus keluar melalui gateway bersama.

Membersihkan dan menonaktifkan NAT Terperinci

Untuk menghindari biaya penagihan berkelanjutan dan mencegah resource Cloud de Confiance by S3NS terbengkalai, ikuti urutan operasi yang ketat saat Anda menghapus NAT Terperinci dari cluster.

Untuk membersihkan resource NAT Terperinci, selesaikan langkah-langkah berikut:

  1. Hapus resource TrafficSelector yang dibuat pengguna:

    Hapus resource kustom TrafficSelector yang Anda buat untuk namespace. Jangan gunakan flag --all, karena menghapus pemilih yang dibuat sistem (seperti gnat-intra-cluster atau gnat-default-internet) dapat merusak traffic cluster.

    kubectl delete trafficselector SELECTOR_NAME
    

    Ganti SELECTOR_NAME dengan nama resource TrafficSelector.

    Pengontrol NAT Terperinci berkoordinasi dengan jaringan Cloud de Confiance by S3NS untuk menghapus aturan NAT dan pemetaan workload tertentu yang terkait dengan namespace Anda.

    Pastikan semua resource TrafficSelector telah menyelesaikan penghentian sebelum Anda melanjutkan.

  2. Hapus resource CloudNATGateway:

    Hapus semua resource kustom CloudNATGateway di cluster:

    kubectl delete cloudnatgateway --all
    
    • Gateway terkelola: GKE otomatis menghapus gateway Cloud NAT yang mendasarinya di Cloud de Confiance by S3NS setelah semua aturan terjemahan dihapus.
    • Gateway bersama: GKE membersihkan aturan NAT yang relevan yang terkait dengan namespace Anda. GKE tidak menghapus pengaitan alamat IP Pod sekunder cluster Anda, dan gateway Cloud NAT bersama tetap aktif untuk cluster lain.
  3. Nonaktifkan fitur di cluster:

    Setelah semua resource kustom NAT Terperinci dihapus sepenuhnya, nonaktifkan fitur tersebut di cluster Anda:

    gcloud container clusters update CLUSTER_NAME \
        --location=LOCATION \
        --no-enable-granular-nat
    

    Ganti kode berikut:

    • CLUSTER_NAME: nama cluster Anda.
    • LOCATION: region atau zona Compute Engine tempat cluster Anda berada (misalnya, us-central1 atau us-central1-a).

Pemecahan masalah

Jika Anda mengalami masalah konektivitas, gunakan metode berikut untuk mendiagnosis konfigurasi NAT Terperinci dan kegagalan bidang data.

Memverifikasi status dan log resource

  • Periksa status resource kustom: periksa kondisi error pada resource kustom CloudNATGateway atau TrafficSelector Anda:

    kubectl describe cloudnatgateway GATEWAY_NAME
    kubectl describe trafficselector SELECTOR_NAME
    

    Ganti kode berikut:

    • GATEWAY_NAME: nama resource CloudNATGateway Anda.
    • SELECTOR_NAME: nama resource TrafficSelector` Anda.
  • Tinjau aturan Cloud NAT: Pastikan aturan pemilih workload GKE aktif di gateway Cloud NAT yang mendasarinya:

    gcloud beta compute routers nats rules list \
        --router=ROUTER_NAME \
        --nat=NAT_NAME \
        --region=REGION \
        --format=yaml
    

    Ganti kode berikut:

    • ROUTER_NAME: nama Cloud Router regional Anda.
    • NAT_NAME: nama gateway Cloud NAT Anda.
    • REGION: region Compute Engine tempat resource Anda berada.
  • Menganalisis log Cloud NAT: jika traffic keluar dihapus atau gagal diterjemahkan, lihat entri log Cloud NAT di Cloud Logging. Filter kolom gke_workload_identity untuk menghubungkan peristiwa koneksi langsung ke namespace GKE tertentu.

Untuk mengetahui informasi selengkapnya tentang cara mendiagnosis error Cloud NAT umum, lihat Memecahkan masalah Cloud NAT.

Langkah berikutnya