이 문서에서는 특정 Kubernetes 네임스페이스에 전용 이그레스 IP 주소를 할당하도록 Google Kubernetes Engine(GKE) 세분화된 NAT를 구성하는 방법을 보여줍니다.
세분화된 NAT를 사용하면 Cloud NAT 게이트웨이를 통해 Public NAT에 특정 소스 외부 IP 주소를 구성하거나 Private NAT에 특정 소스 내부 IP 주소를 구성할 수 있습니다.
세분화된 NAT를 구성하려면 두 개의 클러스터 범위 커스텀 리소스를 사용하여 라우팅 정책을 선언합니다.
- CloudNATGateway: 이 리소스를 사용하여 클러스터에 새 공개 또는 비공개 Cloud NAT 게이트웨이를 프로비저닝하거나 기존 Cloud NAT 게이트웨이를 사용하도록 클러스터를 구성합니다. Cloud NAT 게이트웨이는 클러스터의 리전 및 VPC 네트워크에 있어야 합니다.
- TrafficSelector: 이 리소스를 사용하여 소스 네임스페이스(
namespaceSelector) 및 대상 CIDR을 대상 CloudNATGateway에 매핑하여 이그레스 라우팅 규칙을 정의합니다.
시작하기 전에
GKE 세분화된 NAT를 구성하기 전에 다음 기본 요건을 완료하세요.
- 클러스터 요구사항 확인: VPC 기반 클러스터가 GKE Dataplane V2가 사용 설정된 GKE 버전 1.37.1-gke.2611000 이상을 실행하는지 확인합니다. GKE 세분화된 NAT는 Autopilot 및 Standard 클러스터와 리전 및 영역 클러스터 모두에서 지원됩니다.
- IAM 권한 확인:
- 커스텀 리소스를 적용할 클러스터에 Kubernetes Engine 관리자(
roles/container.admin) 역할이 있는지 확인합니다. - 공유 VPC를 사용하는 경우: 호스트 프로젝트 관리자가 호스트 프로젝트의 IAM 정책에서 서비스 프로젝트의 GKE 서비스 에이전트(
service-SERVICE_PROJECT_NUMBER@container-engine-robot.s3ns-system.iam.gserviceaccount.com)에 Compute 네트워크 관리자(roles/compute.networkAdmin) 역할을 부여해야 합니다. 이 역할을 통해 GKE는 공유 VPC 네트워크에서 기본 Cloud NAT 게이트웨이, Cloud Router, IP 주소를 만들고 관리할 수 있습니다. 독립형 VPC 네트워크에는 이 수동 부여가 필요하지 않습니다.
- 커스텀 리소스를 적용할 클러스터에 Kubernetes Engine 관리자(
- 필요한 경우 링크-로컬 IP 주소를 포함하도록 방화벽 규칙 업데이트: 아웃바운드 패킷이 노드를 떠나기 전에 GKE 세분화된 NAT는 소스 IP 주소를
169.254.32.0/20범위의 링크-로컬 주소로 변환합니다. 조직에서 엄격한 커스텀 방화벽 규칙을 시행하는 경우 규칙이 이 동작을 수용하는지 확인합니다.- 이그레스 규칙: 대상이 클러스터 노드인 이그레스 허용 규칙에서 소스 파라미터를 지정하지 마세요. 소스 매개변수를 지정하는 경우 링크 로컬 주소 범위(
169.254.32.0/20)를 포함해야 합니다. - 인그레스 규칙: 대상이 클러스터 노드인 인그레스 허용 규칙에서 대상 매개변수를 지정하지 않습니다. 목적지 매개변수를 지정하는 경우 링크-로컬 주소 범위(
169.254.32.0/20)를 포함해야 합니다.
- 이그레스 규칙: 대상이 클러스터 노드인 이그레스 허용 규칙에서 소스 파라미터를 지정하지 마세요. 소스 매개변수를 지정하는 경우 링크 로컬 주소 범위(
- VPC 내부 트래픽: TrafficSelector 리소스에 클러스터의 VPC 네트워크 또는 VPC 네트워크 피어링을 사용하여 연결된 다른 VPC 네트워크 내의 서브넷 범위의 대상 CIDR이 포함되지 않도록 합니다. Private NAT는 NCC 스포크에 대한 연결 또는 Hybrid NAT를 사용한 연결만 제공합니다.
- VPC 경로 요구사항: Public NAT에서 처리할 각 CIDR에 대해 클러스터의 VPC 네트워크에는 대상 범위에 CIDR이 포함되고 다음 홉이 기본 인터넷 게이트웨이인 정적 경로가 포함되어야 합니다.
제한사항
- 네임스페이스 수준 세분화: Kubernetes 네임스페이스 수준에서만 GKE 세분화된 NAT 정책을 적용할 수 있습니다. 프리뷰 버전의 경우 네임스페이스 내에서 라벨 선택기를 사용하여 개별 포드 또는 서비스 계정을 선택할 수 없습니다.
- 게이트웨이 규칙 용량: 각 Cloud NAT 게이트웨이는 최대 128개의 NAT 규칙을 지원하므로 게이트웨이당 최대 128개의 고유한 GKE 네임스페이스에 대한 정책을 구성할 수 있습니다. 클러스터에 네임스페이스가 128개 넘게 있는 이그레스 정책이 필요한 경우 추가 게이트웨이를 프로비저닝해야 합니다.
- Cloud NAT 제한사항: 표준 Cloud NAT 제한사항은 세분화된 NAT 이그레스 트래픽에도 적용되므로 이를 검토합니다. 자세한 내용은 Public NAT 및 Private NAT의 제한사항을 참조하세요.
클러스터에서 GKE 세분화된 NAT 사용 설정
새 클러스터를 만들 때 세분화된 NAT를 사용 설정하거나 기존 클러스터를 업데이트할 수 있습니다.
새 클러스터 만들기
Autopilot
세분화된 NAT 및 GKE Dataplane V2가 사용 설정된 새 클러스터를 만들려면 다음 명령어를 실행합니다.
gcloud container clusters create-auto "CLUSTER_NAME" \
--LOCATION_FLAG="LOCATION" \
--network="VPC_NETWORK_NAME" \
--enable-granular-nat \
--network-suite=STANDARD
다음을 바꿉니다.
CLUSTER_NAME: 새 클러스터의 이름입니다.LOCATION_FLAG: 리전 클러스터의 경우--region을 지정합니다.LOCATION: 클러스터의 Compute Engine 리전 또는 영역(예:us-central1또는us-central1-a)VPC_NETWORK_NAME: VPC 네트워크의 이름입니다.
표준
세분화된 NAT 및 GKE Dataplane V2가 사용 설정된 새 클러스터를 만들려면 다음 명령어를 실행합니다.
gcloud container clusters create <var>CLUSTER_NAME</var> \
--LOCATION_FLAG="LOCATION" \
--network="VPC_NETWORK_NAME" \
--enable-dataplane-v2 \
--enable-granular-nat \
--network-suite=STANDARD
다음을 바꿉니다.
CLUSTER_NAME: 새 클러스터의 이름입니다.LOCATION_FLAG: 리전 클러스터의 경우--region을 지정하고 영역 클러스터의 경우--zone을 지정합니다.LOCATION: 클러스터의 Compute Engine 리전 또는 영역(예:us-central1또는us-central1-a)VPC_NETWORK_NAME: VPC 네트워크의 이름입니다.
기존 클러스터 업데이트
Autopilot
기존 클러스터에서 세분화된 NAT를 사용 설정하려면 다음 명령어를 실행합니다.
gcloud container clusters update `CLUSTER_NAME` \
--LOCATION_FLAG="LOCATION" \
--enable-granular-nat
다음을 바꿉니다.
CLUSTER_NAME: 기존 클러스터의 이름입니다.LOCATION_FLAG: 기존 클러스터가 리전 클러스터인 경우--region을 지정하고 영역 클러스터인 경우--zone을 지정합니다.LOCATION: 클러스터가 있는 Compute Engine 리전 또는 영역입니다.
표준
기존 Standard 클러스터에서 세분화된 NAT를 사용 설정하려면 다음 명령어를 실행합니다.
gcloud container clusters update `CLUSTER_NAME` \
--LOCATION_FLAG="LOCATION" \
--enable-granular-nat \
--network-suite=STANDARD
다음을 바꿉니다.
CLUSTER_NAME: 기존 클러스터의 이름입니다.LOCATION_FLAG: 기존 클러스터가 리전 클러스터인 경우--region을 지정하고 영역 클러스터인 경우--zone을 지정합니다.LOCATION: 클러스터가 있는 Compute Engine 리전 또는 영역입니다.
고정 외부 이그레스 IP 주소로 공개 세분화된 NAT 구성
별도의 네임스페이스에 있는 워크로드가 엄격한 IP 주소 허용 목록을 시행하는 파트너 API 또는 Payment Gateway와 같은 외부 서드 파티 서비스에 고유한 정적 공개 IP 주소를 제공해야 하는 경우 공개 세분화된 NAT를 구성합니다.
Cloud NAT 게이트웨이의 리전 Cloud Router를 만듭니다. GKE는 Cloud Router를 자동으로 만들지 않습니다.
gcloud compute routers create ROUTER_NAME \ --network=VPC_NETWORK_NAME \ --region=REGION다음을 바꿉니다.
ROUTER_NAME: 새 리전 Cloud Router의 이름입니다.VPC_NETWORK_NAME: VPC 네트워크의 이름입니다.REGION: 클러스터가 있는 Compute Engine 리전(예:us-central1)
GKE 클러스터와 동일한 리전에 고정 외부 IP 주소를 예약하여 네임스페이스에 전용 외부 이그레스 IP 주소를 할당하고 게이트웨이에 기본 IP 주소를 할당합니다.
gcloud compute addresses create nat-ip-default \ --region=REGION gcloud compute addresses create nat-ip-1 \ --region=REGION gcloud compute addresses create nat-ip-2 \ --region=REGIONREGION을 클러스터가 있는 Compute Engine 리전으로 바꿉니다(예:us-central1).다음 매니페스트를
cloud-nat-public.yaml로 저장하여 관리형 리전 Cloud NAT 게이트웨이를 정의합니다.kind: CloudNATGateway apiVersion: networking.gke.io/v1 metadata: name: cloud-nat-public-managed spec: type: Public cloudRouter: name: projects/PROJECT_ID/regions/REGION/routers/ROUTER_NAME publicNATOptions: defaultNatExternalIPs: - name: nat-ip-default connectionOptions: udpTimeoutSeconds: 30 tcpEstablishedTimeoutSeconds: 1200 tcpTransitoryTimeoutSeconds: 30 tcpTimeWaitSeconds: 120 icmpTimeoutSeconds: 30 portOptions: minPortsPerVM: 32 maxPortsPerVM: 65536 logOptions: enable: true filter: ALL다음을 바꿉니다.
PROJECT_ID: Cloud de Confiance 프로젝트 ID입니다.REGION: 클러스터와 Cloud Router가 있는 Compute Engine 리전입니다.ROUTER_NAME: Cloud Router의 이름
다음 매니페스트를
traffic-selectors-public.yaml로 저장하여 각 대상 네임스페이스를 지정된 Public NAT IP 주소에 매핑합니다.kind: TrafficSelector apiVersion: networking.gke.io/v2 metadata: name: ns-red-public-route annotations: cloud.google.com/cloud-nat: '{"nat-external-ips":"nat-ip-1"}' spec: action: kind: CloudNATGateway name: cloud-nat-public-managed subject: pods: namespaceSelector: matchLabels: app: namespace-red-app egress: to: ipBlock: cidrs: - 0.0.0.0/0 --- kind: TrafficSelector apiVersion: networking.gke.io/v2 metadata: name: ns-green-public-route annotations: cloud.google.com/cloud-nat: '{"nat-external-ips":"nat-ip-2"}' spec: action: kind: CloudNATGateway name: cloud-nat-public-managed subject: pods: namespaceSelector: matchLabels: app: namespace-green-app egress: to: ipBlock: cidrs: - 0.0.0.0/0이러한 매니페스트에서 각 항목은 다음과 같습니다.
cloud.google.com/cloud-nat주석은 일치하는 네임스페이스의 이그레스 트래픽을 변환하는 예약된 고정 외부 IP 주소를 지정합니다.namespaceSelector.matchLabels필드는 대상 Kubernetes 네임스페이스에 적용된 라벨과 일치합니다.0.0.0.0/0가 포함된egress.to.ipBlock.cidrs목록은 지정된 Cloud NAT 게이트웨이를 통해 모든 아웃바운드 인터넷 트래픽을 전달합니다.
두 매니페스트를 클러스터에 적용합니다.
kubectl apply -f cloud-nat-public.yaml -f traffic-selectors-public.yaml
GKE는 Cloud NAT 게이트웨이를 자동으로 프로비저닝하고, 네임스페이스 워크로드 선택기를 기반으로 변환 규칙을 구성하고, 예약된 외부 IP 주소를 할당합니다.
VPC 또는 NCC 연결을 위한 비공개 세분화된 Cloud NAT 구성
비공개 Granular Cloud NAT를 사용하여 온프레미스 네트워크 또는 NCC 허브의 다른 VPC 스포크에 연결하는 워크로드에 특정 내부 IP 주소 범위를 할당합니다.
VPC 네트워크에서
PRIVATE_NAT용도로 전용 서브넷을 만듭니다.gcloud compute networks subnets create private-nat-subnet-1 \ --region=REGION \ --network=VPC_NETWORK_NAME \ --range=10.0.0.0/29 \ --purpose=PRIVATE_NAT gcloud compute networks subnets create private-nat-subnet-2 \ --region=REGION \ --network=VPC_NETWORK_NAME \ --range=10.0.1.0/29 \ --purpose=PRIVATE_NAT다음을 바꿉니다.
REGION: 클러스터가 있는 Compute Engine 리전입니다.VPC_NETWORK_NAME: VPC 네트워크의 이름입니다.
다음 매니페스트를
cloud-nat-private.yaml로 저장하여 비공개 CloudNATGateway 리소스를 만듭니다.kind: CloudNATGateway apiVersion: networking.gke.io/v1 metadata: name: cloud-nat-private-managed spec: type: Private privateNATOptions: # Optional: Specify hubLink only if you are routing traffic through Network Connectivity Center hubLink: //networkconnectivity.googleapis.com/projects/PROJECT_ID/locations/global/hubs/HUB_NAME cloudRouter: name: projects/PROJECT_ID/regions/REGION/routers/ROUTER_NAME connectionOptions: udpTimeoutSeconds: 30 tcpEstablishedTimeoutSeconds: 1200다음을 바꿉니다.
PROJECT_ID: Cloud de Confiance 프로젝트 ID입니다.HUB_NAME: 선택사항. Network Connectivity Center 허브의 이름입니다. Network Connectivity Center를 통해 트래픽을 라우팅하는 경우에만 이를 지정합니다. Network Connectivity Center를 사용하지 않는 경우privateNATOptions블록을 완전히 생략합니다.ROUTER_NAME: Cloud Router의 이름
다음 매니페스트를
traffic-selectors-private.yaml로 저장하여 네임스페이스를 비공개 NAT 게이트웨이에 매핑하는 비공개 TrafficSelector 리소스를 만듭니다.kind: TrafficSelector apiVersion: networking.gke.io/v2 metadata: name: ns-red-private-route annotations: cloud.google.com/cloud-nat: '{"nat-subnet":"private-nat-subnet-1"}' spec: action: kind: CloudNATGateway name: cloud-nat-private-managed subject: pods: namespaceSelector: matchLabels: app: namespace-red-app egress: to: ipBlock: cidrs: - 10.200.0.0/24 --- kind: TrafficSelector apiVersion: networking.gke.io/v2 metadata: name: ns-green-private-route annotations: cloud.google.com/cloud-nat: '{"nat-subnet":"private-nat-subnet-2"}' spec: action: kind: CloudNATGateway name: cloud-nat-private-managed subject: pods: namespaceSelector: matchLabels: app: namespace-green-app egress: to: ipBlock: cidrs: - 10.200.1.0/24Private NAT 구성을 적용합니다.
kubectl apply -f cloud-nat-private.yaml -f traffic-selectors-private.yaml
기존 Cloud NAT 게이트웨이 사용
동일한 VPC 네트워크에서 여러 GKE 클러스터를 관리하거나 보조 포드 IP 주소 범위를 공유하는 클러스터가 있는 경우 동일한 리전 및 VPC 네트워크에서 기존 Cloud NAT 게이트웨이를 사용하도록 세분화된 NAT를 구성할 수 있습니다. 이 구성을 사용하면 여러 클러스터의 워크로드가 외부 엔드포인트에 연결할 때 통합된 소스 외부 IP 주소 풀을 제공할 수 있습니다.
리전의 기존 Cloud NAT 게이트웨이를 나열하여 기존 게이트웨이의 이름, 연결된 Cloud Router, VPC 네트워크를 식별합니다. 리전 및 VPC 네트워크는 GKE 클러스터에서 사용하는 것과 일치해야 합니다.
gcloud beta compute routers nats list \ --router=ROUTER_NAME \ --region=REGION \ --format=yaml다음을 바꿉니다.
ROUTER_NAME: 기존 게이트웨이를 관리하는 Cloud Router의 이름입니다.REGION: 클러스터와 기존 게이트웨이가 있는 Compute Engine 리전(예:us-central1)
다음 매니페스트를
cloud-nat-shared.yaml로 저장하여 클러스터를 기존 게이트웨이에 연결합니다.kind: CloudNATGateway apiVersion: networking.gke.io/v1 metadata: name: cloud-nat-public-shared spec: type: Public # type is a required field even for shared gateways. Can be either Public or Private. gatewayName: SHARED_NAT_GATEWAY_NAME cloudRouter: name: projects/PROJECT_ID/regions/REGION/routers/ROUTER_NAME다음을 바꿉니다.
SHARED_NAT_GATEWAY_NAME: 기존 Cloud NAT 게이트웨이의 이름입니다.PROJECT_ID: Cloud de Confiance 프로젝트 ID입니다.REGION: 클러스터와 기존 게이트웨이가 있는 Compute Engine 리전입니다.ROUTER_NAME: 기존 게이트웨이를 관리하는 리전 Cloud Router의 이름입니다.
다음 매니페스트를
traffic-selector-shared.yaml로 저장하여 공유 게이트웨이를 통해 네임스페이스에서 아웃바운드 트래픽을 라우팅합니다.kind: TrafficSelector apiVersion: networking.gke.io/v2 metadata: name: ns-shared-public-route annotations: cloud.google.com/cloud-nat: '{"nat-external-ips":"NAT_IP_NAME"}' spec: action: kind: CloudNATGateway name: cloud-nat-public-shared subject: pods: namespaceSelector: matchLabels: app: NAMESPACE_APP_LABEL egress: to: ipBlock: cidrs: - 0.0.0.0/0다음을 바꿉니다.
NAT_IP_NAME: 공유 게이트웨이에 구성된 예약된 외부 고정 IP 주소의 이름입니다.NAMESPACE_APP_LABEL: 대상 Kubernetes 네임스페이스에 적용된 라벨입니다.
게이트웨이를 공유해야 하는 각 GKE 클러스터에 매니페스트를 적용합니다.
kubectl apply -f cloud-nat-shared.yaml -f traffic-selector-shared.yaml선택한 네임스페이스의 워크로드가 공유 게이트웨이를 통해 이그레스해야 하는 각 클러스터에서 이 단계를 반복합니다.
세분화된 NAT 정리 및 비활성화
지속적인 청구를 방지하고 분리된 Cloud de Confiance by S3NS 리소스를 방지하려면 클러스터에서 Granular NAT를 삭제할 때 엄격한 작업 순서를 따르세요.
세분화된 NAT 리소스를 삭제하려면 다음 단계를 완료합니다.
사용자가 만든 TrafficSelector 리소스를 삭제합니다.
네임스페이스에 만든 TrafficSelector 커스텀 리소스를 삭제합니다.
--all플래그를 사용하지 마세요. 시스템에서 만든 선택기(예:gnat-intra-cluster또는gnat-default-internet)를 삭제하면 클러스터 트래픽이 중단될 수 있습니다.kubectl delete trafficselector SELECTOR_NAMESELECTOR_NAME을 TrafficSelector 리소스의 이름으로 바꿉니다.세분화된 NAT 컨트롤러는 Cloud de Confiance by S3NS 네트워킹과 조정하여 네임스페이스와 연결된 특정 NAT 규칙 및 워크로드 매핑을 삭제합니다.
계속하기 전에 모든 TrafficSelector 리소스가 종료되었는지 확인합니다.
CloudNATGateway 리소스를 삭제합니다.
클러스터의 모든 CloudNATGateway 커스텀 리소스를 삭제합니다.
kubectl delete cloudnatgateway --all- 관리형 게이트웨이: 모든 변환 규칙이 삭제되면 GKE가 Cloud de Confiance by S3NS 의 기본 Cloud NAT 게이트웨이를 자동으로 삭제합니다.
- 공유 게이트웨이: GKE는 네임스페이스와 연결된 관련 NAT 규칙을 삭제합니다. GKE는 클러스터의 보조 포드 IP 주소 연결을 삭제하지 않으며 공유 Cloud NAT 게이트웨이는 다른 클러스터에 대해 활성 상태로 유지됩니다.
클러스터에서 기능을 사용 중지합니다.
모든 세분화된 NAT 커스텀 리소스가 완전히 삭제되면 클러스터에서 기능을 사용 중지합니다.
gcloud container clusters update CLUSTER_NAME \ --location=LOCATION \ --no-enable-granular-nat다음을 바꿉니다.
CLUSTER_NAME: 클러스터 이름입니다.LOCATION: 클러스터가 있는 Compute Engine 리전 또는 영역(예:us-central1또는us-central1-a)
문제 해결
연결 문제가 발생하면 다음 방법을 사용하여 세분화된 NAT 구성 및 데이터 영역 오류를 진단합니다.
리소스 상태 및 로그 확인
커스텀 리소스 상태 검사: CloudNATGateway 또는 TrafficSelector 커스텀 리소스에서 오류 조건을 확인합니다.
kubectl describe cloudnatgateway GATEWAY_NAME kubectl describe trafficselector SELECTOR_NAME다음을 바꿉니다.
GATEWAY_NAME: CloudNATGateway 리소스의 이름입니다.SELECTOR_NAME: TrafficSelector` 리소스의 이름입니다.
Cloud NAT 규칙 검토: 기본 Cloud NAT 게이트웨이에서 GKE 워크로드 선택기 규칙이 활성 상태인지 확인합니다.
gcloud beta compute routers nats rules list \ --router=ROUTER_NAME \ --nat=NAT_NAME \ --region=REGION \ --format=yaml다음을 바꿉니다.
ROUTER_NAME: 리전 Cloud Router의 이름입니다.NAT_NAME: Cloud NAT 게이트웨이 이름REGION: 리소스가 있는 Compute Engine 리전입니다.
Cloud NAT 로그 분석: 이그레스 트래픽이 삭제되거나 변환되지 않으면 Cloud Logging에서 Cloud NAT 로그 항목을 확인합니다.
gke_workload_identity필드를 필터링하여 연결 이벤트를 특정 GKE 네임스페이스에 직접 연결합니다.
일반적인 Cloud NAT 오류 진단에 대한 자세한 내용은 Cloud NAT 문제 해결을 참조하세요.
다음 단계
- Cloud NAT 개요 자세히 알아보기
- GKE Dataplane V2를 참고하세요.