本頁面說明如何部署內部 LoadBalancer Service,以建構內部直通式網路負載平衡器。閱讀本頁面之前,請先確認您已熟悉下列事項:
如要進一步瞭解內部直通式網路負載平衡器,請參閱「內部直通式網路負載平衡器總覽」。
事前準備
開始之前,請確認您已執行下列工作:
- 啟用 Google Kubernetes Engine API。 啟用 Google Kubernetes Engine API
- 如要使用 Google Cloud CLI 執行這項工作,請安裝並初始化 gcloud CLI。如果您先前已安裝 gcloud CLI,請執行
gcloud components update指令,取得最新版本。較舊的 gcloud CLI 版本可能不支援執行本文中的指令。
- 確認您已有 Autopilot 或 Standard 叢集。如要建立新叢集,請參閱「建立 Autopilot 叢集」。
需求條件
本教學課程會使用
spec.loadBalancerClass建立內部直通式網路負載平衡器,並搭配GCE_VM_IPNEG 後端。本教學課程需要 GKE 1.33.1-gke.1779000 以上版本,因為spec.loadBalancerClass需要 GKE 1.33.1-gke.1779000 以上版本。可用區親和性需要 GKE 1.33.3-gke.1392000 以上版本。
叢集必須啟用 GKE 子集:
在執行 1.36 以上版本的叢集中,GKE 子設定預設為啟用。在這些版本中,無論叢集的子集旗標值為何,子集功能都會啟用。
在 1.36 版之前的支援 GKE 版本中,您必須明確啟用 GKE 子集。您可以在建立新叢集或更新現有叢集時,啟用 GKE 子集。啟用後,GKE 子集設定即無法停用。詳情請參閱「驗證並啟用 GKE 子集」。
如果叢集版本早於 1.36,則必須在叢集中啟用
HttpLoadBalancing外掛程式。這項外掛程式預設為啟用。如要為內部 LoadBalancer 服務啟用 Cloud Logging,GKE 叢集必須使用 1.36.0-gke.2459000 以上版本。
驗證並啟用 GKE 子設定
確認已啟用 GKE 子集:
GKE 1.36 以上版本一律會啟用 GKE 子設定。
在執行 GKE 1.18.19-gke.1400 以上版本,但低於 1.36 版的新舊 Standard 和 Autopilot 叢集中,您可以手動啟用 GKE 子設定。啟用 GKE 子集設定後,即無法停用。
如要瞭解 GKE 子集設定的重要性,請參閱「內部 LoadBalancer 服務的特殊考量」。
如要判斷是否已啟用 GKE 子集,請執行下列指令:
gcloud container clusters describe CLUSTER_NAME \
--location=LOCATION \
--format="get(currentMasterVersion, networkConfig.enableL4ilbSubsetting)"
更改下列內容:
CLUSTER_NAME:叢集名稱。LOCATION:叢集的可用區或區域。
指令的輸出內容會顯示叢集的控制層版本,後面接著 networkConfig.enableL4ilbSubsetting 屬性的 True 或 False。請按照下列方式解讀輸出內容:
- 如果控制層版本為 1.36 以上,無論
networkConfig.enableL4ilbSubsetting屬性是True還是False,GKE 子集都會啟用。 - 如果控制層版本早於 1.36:
True表示已啟用 GKE 子設定。False表示 GKE 子集功能已停用。
如要在執行 GKE 1.18.19-gke.1400 以上版本,但低於 GKE 1.36 版本的叢集中啟用 GKE 子設定,請使用 gcloud CLI 或 Cloud de Confiance 控制台。
控制台
前往 Cloud de Confiance 控制台的「Google Kubernetes Engine」頁面。
在叢集清單中,按一下您要修改的叢集名稱。
在「Networking」(網路) 下方,按一下「Subsetting for L4 Internal Load Balancers」(L4 內部負載平衡器的子設定) 欄位旁的 edit「Enable subsetting for L4 internal load balancers」(啟用 L4 內部負載平衡器的子設定)。
勾選「啟用 L4 內部負載平衡器的子設定」核取方塊。
按一下 [儲存變更]。
gcloud
gcloud container clusters update CLUSTER_NAME \
--location=LOCATION
--enable-l4-ilb-subsetting
更改下列內容:
CLUSTER_NAME:叢集名稱。LOCATION:叢集的可用區或區域。
使用 gcloud CLI、Cloud de Confiance 控制台或將叢集升級至 1.36 以上版本,啟用 GKE 子設定,不會修改現有的內部 LoadBalancer 服務。如要遷移現有的內部 LoadBalancer Service,改用 GCE_VM_IP NEG 後端,則必須部署替代 Service 資訊清單。
部署工作負載
下列資訊清單說明執行範例網頁應用程式容器映像檔的 Deployment。
將資訊清單儲存為
ilb-deployment.yaml:apiVersion: apps/v1 kind: Deployment metadata: name: ilb-deployment spec: replicas: 3 selector: matchLabels: app: ilb-deployment template: metadata: labels: app: ilb-deployment spec: containers: - name: hello-app image: us-docker.pkg.dev/google-samples/containers/gke/hello-app:1.0將資訊清單套用至叢集:
kubectl apply -f ilb-deployment.yaml
建立內部 LoadBalancer Service
(選用) 停用自動建立虛擬私有雲防火牆規則的功能:
雖然 GKE 會自動建立虛擬私有雲防火牆規則,允許流量傳送至內部負載平衡器,但您也可以選擇停用自動建立虛擬私有雲防火牆規則的功能,並自行管理防火牆規則。只有在為內部 LoadBalancer Service 啟用 GKE 子設定時,才能停用虛擬私有雲防火牆規則。不過,管理虛擬私有雲防火牆規則是選用步驟,您也可以使用自動規則。
停用自動建立虛擬私有雲防火牆規則的功能前,請務必定義允許規則,讓流量傳送至負載平衡器和應用程式 Pod。
如要進一步瞭解如何管理虛擬私有雲防火牆規則,請參閱「管理自動建立防火牆規則」;如要瞭解如何停用自動建立防火牆規則,請參閱「GKE LoadBalancer 服務的使用者自行管理防火牆規則」。
下列範例會使用 TCP 通訊埠
80建立內部 LoadBalancer Service。GKE 會部署內部直通式網路負載平衡器,其轉送規則使用通訊埠80,但會將流量轉送至通訊埠8080上的後端 Pod:將資訊清單儲存為
ilb-svc.yaml:apiVersion: v1 kind: Service metadata: name: ilb-svc spec: type: LoadBalancer # Request an internal load balancer. loadBalancerClass: networking.gke.io/l4-regional-internal # Evenly route external traffic to all endpoints. externalTrafficPolicy: Cluster # Prioritize routing traffic to endpoints that are in the same zone. trafficDistribution: PreferSameZone selector: app: ilb-deployment # Forward traffic from TCP port 80 to port 8080 in backend Pods. ports: - name: tcp-port protocol: TCP port: 80 targetPort: 8080資訊清單必須包含下列內容:
- 內部 LoadBalancer 服務的
name,在本例中為ilb-svc。 spec.loadBalancerClass欄位設為networking.gke.io/l4-regional-internal值,用於指定內部 LoadBalancer Service,如資訊清單範例所示。type: LoadBalancer。spec: selector欄位:指定 Service 應指定的 Pod,例如app: hello。- 通訊埠資訊:
port代表內部直通式網路負載平衡器轉送規則接收封包的目的地通訊埠。targetPort必須與每個服務 Pod 上定義的containerPort相符。port和targetPort的值不一定要相同。節點一律會執行目的地網路位址轉譯 (NAT),將目的地負載平衡器轉送規則 IP 位址和port變更為目的地 Pod IP 位址和targetPort。詳情請參閱 LoadBalancer 服務概念說明文件中的「節點上的目的地網路位址轉譯」一節。
資訊清單可包含下列內容:
spec.ipFamilyPolicy和ipFamilies,定義 GKE 如何為 Service 分配 IP 位址。GKE 支援單一堆疊 (僅限 IPv4 或僅限 IPv6) 或雙重堆疊 IP LoadBalancer 服務。雙重堆疊 LoadBalancer 服務是透過兩個獨立的內部直通式網路負載平衡器轉送規則實作:一個用於 IPv4 流量,另一個用於 IPv6 流量。GKE 雙堆疊 LoadBalancer 服務適用於 1.29 以上版本。如要在雙重堆疊叢集中建立單一堆疊 IPv6 Service,請將spec.ipFamilyPolicy欄位的值設為SingleStack,並將spec.ipFamilies欄位的值設為IPv6。在單一堆疊 IPv6 叢集中,這些是預設值,您可以省略。詳情請參閱「IPv4/IPv6 雙重堆疊 Service」。spec.trafficDistribution,定義 GKE 轉送傳入流量的方式。如要啟用可用區相似度,請將這個欄位的值設為PreferSameZone。可用區相似度是指 GKE 會優先將來自某個可用區的流量,轉送至同一可用區內的節點和 Pod。如果該可用區沒有健康狀態良好的 Pod,流量就會轉送至其他可用區。如果叢集版本早於 1.35.0-gke.1811000,請改用PreferClose做為值。必須啟用 GKE 子集,才能使用可用區親和性。如需重要考量事項和解決方法,瞭解如何調度具有可用區相似性的工作負載資源,請參閱「調度具有可用區相似性的工作負載資源」。
詳情請參閱「LoadBalancer 服務參數」。
- 內部 LoadBalancer 服務的
將資訊清單套用至叢集:
kubectl apply -f ilb-svc.yaml
取得服務的詳細資訊:
kubectl get service ilb-svc --output yaml輸出結果會與下列內容相似:
apiVersion: v1 kind: Service metadata: annotations: cloud.google.com/neg: '{"ingress":true}' cloud.google.com/neg-status: '{"network_endpoint_groups":{"0":"k8s2-pn2h9n5f-default-ilb-svc-3bei4n1r"},"zones":["ZONE_NAME","ZONE_NAME","ZONE_NAME"]}' kubectl.kubernetes.io/last-applied-configuration: | {"apiVersion":"v1","kind":"Service","metadata":{"annotations":{"networking.gke.io/load-balancer-type":"Internal"},"name":"ilb-svc","namespace":"default"},"spec":{"externalTrafficPolicy":"Cluster","ports":[{"name":"tcp-port","port":80,"protocol":"TCP","targetPort":8080}],"selector":{"app":"ilb-deployment"},"type":"LoadBalancer"}} networking.gke.io/load-balancer-type: Internal service.kubernetes.io/backend-service: k8s2-pn2h9n5f-default-ilb-svc-3bei4n1r service.kubernetes.io/firewall-rule: k8s2-pn2h9n5f-default-ilb-svc-3bei4n1r service.kubernetes.io/firewall-rule-for-hc: k8s2-pn2h9n5f-l4-shared-hc-fw service.kubernetes.io/healthcheck: k8s2-pn2h9n5f-l4-shared-hc service.kubernetes.io/tcp-forwarding-rule: k8s2-tcp-pn2h9n5f-default-ilb-svc-3bei4n1r creationTimestamp: "2022-07-22T17:26:04Z" finalizers: - gke.networking.io/l4-ilb-v2 - service.kubernetes.io/load-balancer-cleanup name: ilb-svc namespace: default resourceVersion: "51666" uid: d7a1a865-7972-44e1-aa9e-db5be23d6567 spec: allocateLoadBalancerNodePorts: true clusterIP: 10.88.2.141 clusterIPs: - 10.88.2.141 externalTrafficPolicy: Cluster internalTrafficPolicy: Cluster ipFamilies: - IPv4 ipFamilyPolicy: SingleStack ports: - name: tcp-port # Kubernetes automatically allocates a port on the node during the # process of implementing a Service of type LoadBalancer. nodePort: 30521 port: 80 protocol: TCP targetPort: 8080 selector: app: ilb-deployment sessionAffinity: None trafficDistribution: PreferSameZone type: LoadBalancer status: # IP address of the load balancer forwarding rule. loadBalancer: ingress: - ip: 10.128.15.245輸出內容具有下列屬性:
- 內部直通式網路負載平衡器的轉送規則 IP 位址包含在
status.loadBalancer.ingress中。這個 IP 位址與clusterIP的值不同。在本範例中,負載平衡器的轉送規則 IP 位址為10.128.15.245。 - 任何具有
app: ilb-deployment標籤的 Pod 都是這個 Service 的服務 Pod。這些 Pod 會接收內部直通式網路負載平衡器轉送的封包。 - 用戶端會使用這個
loadBalancerIP 位址和 Service 資訊清單port欄位中指定的 TCP 目的地通訊埠,呼叫 Service。如要完整瞭解封包在節點接收後的轉送方式,請參閱「封包處理」。 - GKE 為 Service 指派了
nodePort;在本範例中,指派的是通訊埠30521。nodePort與內部直通式網路負載平衡器無關。
- 內部直通式網路負載平衡器的轉送規則 IP 位址包含在
檢查 Service 網路端點群組:
kubectl get svc ilb-svc -o=jsonpath="{.metadata.annotations.cloud\.google\.com/neg-status}"輸出結果會與下列內容相似:
{"network_endpoint_groups":{"0":"k8s2-knlc4c77-default-ilb-svc-ua5ugas0"},"zones":["ZONE_NAME"]}回應指出 GKE 已建立名為
k8s2-knlc4c77-default-ilb-svc-ua5ugas0的網路端點群組。這個註解會出現在使用 GKE 子集的LoadBalancer類型服務中,不會出現在未使用 GKE 子集的服務中。
在單一堆疊 IPv6 叢集上建立內部 LoadBalancer Service
在單一堆疊 IPv6 叢集或雙重堆疊叢集上部署單一堆疊 IPv6 內部 LoadBalancer 服務時,負載平衡器使用的子網路取決於叢集的節點子網路是否使用 INTERNAL 或 EXTERNAL IPv6 存取權類型。在雙堆疊叢集上,您必須將 spec.ipFamilyPolicy 欄位的值設為 SingleStack,並將 spec.ipFamilies 欄位的值設為 IPv6 (在單堆疊 IPv6 叢集上,這些是預設值,可以省略)。如要改為建立雙堆疊 Service,請將 spec.ipFamilyPolicy 欄位的值設為 RequireDualStack,並在 spec.ipFamilies 欄位中列出兩個位址系列:
具有內部節點的叢集 (
INTERNALULA 存取權類型):如果叢集節點在具有專屬本機單點傳播位址 (ULA) 的內部子網路上執行,內部負載平衡器會自動使用現有的節點子網路。建立 Service,不使用任何自訂子網路註解:apiVersion: v1 kind: Service metadata: name: ilb-ipv6-svc spec: type: LoadBalancer loadBalancerClass: networking.gke.io/l4-regional-internal ipFamilyPolicy: SingleStack ipFamilies: - IPv6 selector: app: my-app ports: - name: tcp-port protocol: TCP port: 80 targetPort: 8080具有外部節點的叢集 (
EXTERNALGUA 存取權類型):如果叢集節點在具有全域單點傳播位址 (GUA) 的外部子網路上執行,內部負載平衡器就無法直接使用該子網路。您必須佈建專屬的內部 (INTERNAL) IPv6 子網路,並在 Service 中使用networking.gke.io/load-balancer-subnet註解參照該子網路:建立專屬的內部 IPv6 子網路:
gcloud compute networks subnets create SUBNET_NAME \ --stack-type=ipv6_only \ --ipv6-access-type=INTERNAL \ --network=NETWORK_NAME \ --region=COMPUTE_REGION更改下列內容:
SUBNET_NAME:要建立的子網路名稱。NETWORK_NAME:您要在其中建立這個子網路的虛擬私有雲網路名稱。COMPUTE_REGION:子網路的 Compute Engine 區域。
建立 Service,並在
networking.gke.io/load-balancer-subnet註解中參照上一個步驟的子網路名稱:apiVersion: v1 kind: Service metadata: name: ilb-ipv6-svc annotations: networking.gke.io/load-balancer-subnet: SUBNET_NAME spec: type: LoadBalancer loadBalancerClass: networking.gke.io/l4-regional-internal ipFamilyPolicy: SingleStack ipFamilies: - IPv6 selector: app: my-app ports: - name: tcp-port protocol: TCP port: 80 targetPort: 8080
驗證指派的 Service IP 位址:
kubectl get svc ilb-ipv6-svc輸出內容會確認
CLUSTER-IP和EXTERNAL-IP欄 (內部 ULA 位址) 已填入:NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE ilb-ipv6-svc LoadBalancer 2600:2d00:0:4:1a1e:d3b3:de4d:c549 fd20:f5d:a91f:3:0:9:0:0 80:30234/TCP 3m
詳情請參閱「IPv6 LoadBalancer 服務」。
使用自備 IPv6 位址 (BYOIPv6)
如要使用自備 IPv6 位址 (BYOIPv6) 設定 IPv6 內部 LoadBalancer Service,請建立具有內部 BYOIPv6 位址範圍的子網路,並在 Service 中參照該子網路。子網路的 IPv6 位址範圍必須來自 INTERNAL_IPV6_SUBNETWORK_CREATION 模式中公開委派前置碼 (PDP) 的區域 IPv6 子前置碼。
建立 Service 之前,請確認您在叢集所在區域中,有 INTERNAL_IPV6_SUBNETWORK_CREATION 模式的區域 IPv6 子前置字串。詳情請參閱「建立 IPv6 子前置字串」和「建立具有 IPv6 BYOIP 範圍的子網路」。
在與叢集相同的區域和虛擬私有雲網路中,建立子網路,並使用子前置字元的內部 BYOIPv6 範圍:
gcloud compute networks subnets create BYOIP_SUBNET_NAME \ --network=NETWORK_NAME \ --region=REGION \ --stack-type=IPV6_ONLY \ --ipv6-access-type=INTERNAL \ --ip-collection=projects/PROJECT_ID/regions/REGION/publicDelegatedPrefixes/SUB_PREFIX_NAME更改下列內容:
BYOIP_SUBNET_NAME:新子網路的名稱。NETWORK_NAME:叢集虛擬私有雲網路的名稱。REGION:叢集所在的區域。PROJECT_ID:子前置字元所在專案的 ID。SUB_PREFIX_NAME:INTERNAL_IPV6_SUBNETWORK_CREATION模式中的區域子前置字串名稱。
選用:從 BYOIPv6 子網路預留靜態內部
/96IPv6 位址範圍。如果略過這個步驟,GKE 會自動從您在networking.gke.io/load-balancer-subnet註解中指定的子網路,分配臨時內部 BYOIPv6 位址範圍:gcloud compute addresses create STATIC_IPV6_NAME \ --region=REGION \ --subnet=BYOIP_SUBNET_NAME \ --ip-version=IPV6將
STATIC_IPV6_NAME替換為靜態 IPv6 位址資源的名稱。將下列資訊清單儲存為
ilb-byoipv6-svc.yaml:apiVersion: v1 kind: Service metadata: name: ilb-byoipv6-svc annotations: networking.gke.io/load-balancer-subnet: BYOIP_SUBNET_NAME # Optional: To use a static address, uncomment the following line # networking.gke.io/load-balancer-ip-addresses: STATIC_IPV6_NAME spec: type: LoadBalancer loadBalancerClass: networking.gke.io/l4-regional-internal ipFamilyPolicy: SingleStack ipFamilies: - IPv6 selector: app: ilb-deployment ports: - name: tcp-port protocol: TCP port: 80 targetPort: 8080將
BYOIP_SUBNET_NAME替換為您建立的 BYOIPv6 子網路名稱。根據預設,GKE 會從這個子網路分配臨時內部 BYOIPv6 位址範圍。選用:如果您在上一個步驟中保留了靜態內部 BYOIPv6 位址,請取消註解
networking.gke.io/load-balancer-ip-addresses註解,並將STATIC_IPV6_NAME替換為靜態 IPv6 位址資源的名稱。將資訊清單套用至叢集:
kubectl apply -f ilb-byoipv6-svc.yaml
詳情請參閱「自備 IPv6 位址 (BYOIPv6)」。
啟用後端服務的記錄功能
您可以啟用、停用及查看內部直通式網路負載平衡器的記錄。如要為後端服務啟用記錄功能,必須啟用 GKE 子集。
如要設定 Cloud Logging,請建立 L4LBConfig 自訂資源,並指定記錄設定。L4LBConfig 資源會連結至 Service 資訊清單中的 Kubernetes Service。套用資訊清單後,GKE 控制器會設定後端服務的記錄功能。如未將 L4LBConfig 資源連結至 Service,控制器會停止管理記錄設定,並將後端服務保留在最後已知的狀態。詳情請參閱「瞭解滑行行為」。
您可以設定下列欄位:
enabled:如果設為true,系統會啟用這項服務的記錄功能,並將記錄檔儲存至 Cloud Logging。否則,系統會停用這項服務的記錄功能。sampleRate:指定介於0到1,000,000(預設) 之間的值,0表示不會記錄任何封包,1,000,000則代表會記錄所有封包。sampleRate欄位為選填,只有在enable欄位的值設為true時才適用。optionalMode:控制要將哪些選填中繼資料欄位,納入為負載平衡器產生的記錄。這個欄位接受下列其中一個字串值:EXCLUDE_ALL_OPTIONAL:如果未指定optionalMode,則為預設設定。設定後,記錄就不會包含任何選項欄位,提供最精簡的記錄格式。INCLUDE_ALL_OPTIONAL:為所有可用的選填欄位啟用記錄功能,提供最詳細的記錄項目。CUSTOM:指定要納入記錄的選填欄位自訂清單。使用CUSTOM模式時,您也必須使用optionalFields參數,提供以半形逗號分隔的所需欄位清單。
optionalFields:以半形逗號分隔的欄位名稱字串。定義要納入生成記錄檔的確切選用中繼資料欄位。只有在optionalMode設為CUSTOM時,系統才會使用這個欄位,否則會忽略任何值。
如要設定 Cloud Logging,請在與 Service 資源相同的命名空間中建立 L4LBConfig 資源。下列 L4LBConfig 資訊清單範例會啟用 Cloud Logging,並將指定負載平衡器 Service 的取樣率設為 50%。
將下列資訊清單儲存為
svc-l4lb-config.yaml:apiVersion: networking.gke.io/v1 kind: L4LBConfig metadata: name: svc-l4lb-config namespace: default spec: logging: enabled: true # must be included sampleRate: 500000 optionalMode: "INCLUDE_ALL_OPTIONAL"將 L4LBConfig 資訊清單套用至叢集:
kubectl apply -f svc-l4lb-config.yaml將
networking.gke.io/l4lb-config註解新增至ilb-svc.yamlService 資訊清單:apiVersion: v1 kind: Service metadata: name: ilb-svc annotations: networking.gke.io/load-balancer-type: "Internal" networking.gke.io/l4lb-config: "svc-l4lb-config" spec: type: LoadBalancer selector: app: store ports: - name: tcp-port protocol: TCP port: 8080 targetPort: 8080將 Service 資訊清單套用至叢集:
kubectl apply -f ilb-svc.yaml
運用可用區相依性調度工作負載
HorizontalPodAutoscaler (HPA) 會根據匯總叢集指標 (而非各可用區負載) 調整 Pod 資源調度,因此請依可用區分離工作負載,避免可用區超載。請為叢集運作的每個可用區建立個別的 Deployment 和 HPA,而非單一叢集層級的 Deployment 和 HPA。單一內部 LoadBalancer Service 可同時將流量轉送至所有這些獨立可用區工作負載。
架構總覽
- 每個可用區一個工作負載:為每個可用區建立獨立的 Deployment (例如
zone-a、zone-b)。 - 節點選取器:使用
topology.kubernetes.io/zone節點選取器,將各項 Deployment 繫結至特定可用區。 - 每個可用區一個 HPA:將 HPA 附加至各個 Deployment,讓 Pod 根據本地化指標獨立調度資源。
- 一個共用 Service:透過單一內部 LoadBalancer Service 公開所有 Deployment,並設定可用區相似度 (使用相同選取器)。
設定獨立可用區工作負載
以下範例說明如何在兩個可用區中實作這個架構。
為每個可用區建立不同的 Deployment。這些 Deployment 共用相同的
app標籤,但有嚴格的nodeSelector將其繫結至特定可用區。將下列資訊清單儲存為
zonal-deployments.yaml:apiVersion: apps/v1 kind: Deployment metadata: name: my-app-zone-a spec: replicas: 2 selector: matchLabels: app: my-app zone: zone-a template: metadata: labels: app: my-app zone: zone-a spec: nodeSelector: topology.kubernetes.io/zone: "COMPUTE_ZONE_A" containers: - name: echoserver image: gcr.io/google_containers/echoserver:1.10 ports: - containerPort: 8080 resources: requests: cpu: "100m" --- apiVersion: apps/v1 kind: Deployment metadata: name: my-app-zone-b spec: replicas: 2 selector: matchLabels: app: my-app zone: zone-b template: metadata: labels: app: my-app zone: zone-b spec: nodeSelector: topology.kubernetes.io/zone: "COMPUTE_ZONE_B" containers: - name: echoserver image: gcr.io/google_containers/echoserver:1.10 ports: - containerPort: 8080 resources: requests: cpu: "100m"將
COMPUTE_ZONE_A和COMPUTE_ZONE_B替換為實際可用區 (例如us-central1-a和us-central1-b)。套用資訊清單:
kubectl apply -f zonal-deployments.yaml為每個可用區部署作業建立獨立的 HPA。
將下列資訊清單儲存為
zonal-hpas.yaml:apiVersion: autoscaling/v2 kind: HorizontalPodAutoscaler metadata: name: hpa-zone-a spec: scaleTargetRef: apiVersion: apps/v1 kind: Deployment name: my-app-zone-a minReplicas: 2 maxReplicas: 10 metrics: - type: Resource resource: name: cpu target: type: Utilization averageUtilization: 70 --- apiVersion: autoscaling/v2 kind: HorizontalPodAutoscaler metadata: name: hpa-zone-b spec: scaleTargetRef: apiVersion: apps/v1 kind: Deployment name: my-app-zone-b minReplicas: 2 maxReplicas: 10 metrics: - type: Resource resource: name: cpu target: type: Utilization averageUtilization: 70套用資訊清單:
kubectl apply -f zonal-hpas.yaml確認 Service 指定共用標籤 (
app: my-app),並已啟用可用區親和性。將下列資訊清單儲存為
zonal-service.yaml:apiVersion: v1 kind: Service metadata: name: my-app-service-internal spec: type: LoadBalancer loadBalancerClass: networking.gke.io/l4-regional-internal trafficDistribution: PreferSameZone selector: app: my-app ports: - name: tcp-port protocol: TCP port: 8080 targetPort: 8080套用資訊清單:
kubectl apply -f zonal-service.yaml
驗證內部直通式網路負載平衡器元件
本節說明如何驗證內部直通式網路負載平衡器的重要元件。
確認 Service 是否正在運作:
kubectl get service SERVICE_NAME --output yaml將
SERVICE_NAME替換為 Service 資訊清單的名稱。如果啟用可用區相似度,輸出內容會包含
spec.trafficDistribution參數。如果叢集版本早於 1.35.0-gke.1811000,這個欄位的值會設為PreferSameZone或PreferClose。驗證內部直通式網路負載平衡器的轉送規則 IP 位址。在「建立內部 LoadBalancer 服務」一節的範例中,內部直通式網路負載平衡器的轉送規則 IP 位址為
10.128.15.245。使用 Google Cloud CLI,確認這項轉送規則已列在叢集專案的轉送規則清單中:gcloud compute forwarding-rules list --filter="loadBalancingScheme=INTERNAL"輸出內容包含相關的內部直通式網路負載平衡器轉送規則、其 IP 位址,以及轉送規則參照的後端服務 (在本例中為
k8s2-pn2h9n5f-default-ilb-svc-3bei4n1r)。NAME ... IP_ADDRESS ... TARGET ... k8s2-tcp-pn2h9n5f-default-ilb-svc-3bei4n1r 10.128.15.245 ZONE_NAME/backendServices/k8s2-pn2h9n5f-default-ilb-svc-3bei4n1r使用 Google Cloud CLI 說明負載平衡器的後端服務:
gcloud compute backend-services describe k8s2-pn2h9n5f-default-ilb-svc-3bei4n1r --region=COMPUTE_REGION將
COMPUTE_REGION替換為後端服務的運算區域。如果啟用可用區相依性:
networkPassThroughLbTrafficPolicy.zonalAffinity.spillover欄位應設為ZONAL_AFFINITY_SPILL_CROSS_ZONE值。networkPassThroughLbTrafficPolicy.zonalAffinity.spilloverRatio欄位應設為0,或不應包含在內。
輸出內容包含 Service 的後端
GCE_VM_IPNEG (在本範例中為k8s2-pn2h9n5f-default-ilb-svc-3bei4n1r)。backends: - balancingMode: CONNECTION group: .../ZONE_NAME/networkEndpointGroups/k8s2-pn2h9n5f-default-ilb-svc-3bei4n1r ... kind: compute#backendService loadBalancingScheme: INTERNAL name: aae3e263abe0911e9b32a42010a80008 networkPassThroughLbTrafficPolicy: zonalAffinity: spillover: ZONAL_AFFINITY_SPILL_CROSS_ZONE protocol: TCP ...如果停用可用區親和性,
networkPassThroughLbTrafficPolicy.zonalAffinity.spillover欄位應設為ZONAL_AFFINITY_DISABLED或不包含。請注意,如果叢集版本早於 1.33.3-gke.1392000,可用區親和性會自動停用。判斷服務子集中的節點清單:
gcloud compute network-endpoint-groups list-network-endpoints NEG_NAME \ --zone=COMPUTE_ZONE更改下列內容:
NEG_NAME:GKE 控制器建立的網路端點群組名稱。COMPUTE_ZONE:要操作的網路端點群組運算可用區。
判斷內部直通式網路負載平衡器的健康節點清單:
gcloud compute backend-services get-health SERVICE_NAME \ --region=COMPUTE_REGION更改下列內容:
SERVICE_NAME:後端服務的名稱。這個值與 GKE 控制器建立的網路端點群組名稱相同。COMPUTE_REGION:要操作的後端服務運算區域。
確認服務已啟用 Cloud Logging:
kubectl get svc SERVICE_NAME --output yaml更改下列內容:
SERVICE_NAME:Service 的名稱。
在輸出內容中,確認
Status.Conditions欄位包含Type: LoggingConfigManaged和Reason: Reconciled。
測試與內部直通式網路負載平衡器之間的連線
內部直通式網路負載平衡器只能在同一個虛擬私有雲網路 (或連線網路) 內存取。根據預設,負載平衡器的轉送規則會停用全域存取權,因此用戶端 VM、Cloud VPN 通道或 Cloud Interconnect 連結 (VLAN) 必須與內部直通式網路負載平衡器位於相同區域。如要支援所有區域的用戶端,請在 Service 資訊清單中加入全域存取權註解,在負載平衡器的轉送規則中啟用全域存取權。
在叢集所在的區域執行下列指令:
curl LOAD_BALANCER_IP:80
將 LOAD_BALANCER_IP 替換為負載平衡器的轉送規則 IP 位址。
回應會顯示 ilb-deployment 的輸出內容:
Hello, world!
Version: 1.0.0
Hostname: ilb-deployment-77b45987f7-pw54n
刪除內部 LoadBalancer Service 和負載平衡器資源
您可以使用 kubectl delete 或Cloud de Confiance 控制台刪除 Deployment 和 Service。
kubectl
刪除 Deployment
如要刪除 Deployment,請執行下列指令:
kubectl delete deployment ilb-deployment
刪除服務
如要刪除 Service,請執行下列指令:
kubectl delete service ilb-svc
控制台
刪除 Deployment
如要刪除 Deployment,請按照下列步驟操作:
前往 Cloud de Confiance 控制台的「Workloads」(工作負載) 頁面。
選取要刪除的 Deployment,然後按一下「delete 刪除」。
系統提示您確認時,請勾選「刪除與所選 Deployment 相關聯的 HorizontalPodAutoscaler」核取方塊,然後按一下「刪除」。
刪除服務
如要刪除 Service,請按照下列步驟操作:
前往 Cloud de Confiance 控制台的「Services & Ingress」(Service 與 Ingress) 頁面。
選取要刪除的 Service,然後按一下「delete 刪除」。
當系統提示時,按一下「Delete」(刪除)。
共用 IP
內部直通式網路負載平衡器可讓多個轉送規則共用虛擬 IP 位址。這項功能可用於擴充相同 IP 上的同時通訊埠數量,或在相同 IP 上接受 UDP 和 TCP 流量。每個 IP 位址最多可有 50 個公開通訊埠。GKE 叢集原生支援共用 IP,並提供內部 LoadBalancer 服務。部署時,Service 的 loadBalancerIP 欄位會用來指出應在 Service 之間共用的 IP。
限制
多個負載平衡器共用 IP 時,有下列限制和功能:
- 每項轉送規則最多可有五個通訊埠 (連續或不連續),也可以設定為比對及轉送所有通訊埠的流量。如果內部 LoadBalancer 服務定義了五個以上的通訊埠,轉送規則會自動設為比對所有通訊埠。
- 最多十項 Service (轉送規則) 可共用一個 IP 位址。因此每個共用 IP 最多可有 50 個通訊埠。
- 共用相同 IP 位址的轉送規則,必須使用不重複的通訊協定和通訊埠組合。因此,每個內部 LoadBalancer Service 都必須使用一組不重複的通訊協定和通訊埠。
- 同一個共用 IP 支援僅限 TCP 和僅限 UDP 的服務組合,但您無法在同一服務中同時公開 TCP 和 UDP 通訊埠。
- 共用 IP 僅支援內部 IPv4 位址。您無法在多項內部 LoadBalancer 服務之間共用靜態內部 IPv6 位址範圍。
啟用共用 IP
如要讓內部 LoadBalancer 服務共用 IP,請按照下列步驟操作:
使用
--purpose SHARED_LOADBALANCER_VIP建立靜態內部 IP。建立 IP 位址時,必須指定這個用途,才能啟用共用功能。如果您在共用虛擬私有雲中建立靜態內部 IP 位址,則必須在與將使用該 IP 位址的執行個體相同的服務專案中建立 IP 位址,即使 IP 位址的值來自共用虛擬私有雲網路中所選共用子網路的可用 IP 範圍。詳情請參閱「佈建 Shared VPC」頁面的「保留靜態內部 IP」一節。在
loadBalancerIP欄位中使用這個靜態 IP,最多可部署十個內部 LoadBalancer 服務。內部直通式網路負載平衡器會由 GKE 服務控制器協調,並使用相同的 前端 IP 部署。
以下範例說明如何針對同一個內部負載平衡器 IP,支援多個 TCP 和 UDP 通訊埠。
在 GKE 叢集所在的區域建立靜態 IP。子網路必須與負載平衡器使用的子網路相同,預設為 GKE 叢集節點 IP 使用的子網路。
如果叢集和虛擬私有雲網路位於相同專案:
gcloud compute addresses create IP_ADDR_NAME \ --project=PROJECT_ID \ --subnet=SUBNET \ --addresses=IP_ADDRESS \ --region=COMPUTE_REGION \ --purpose=SHARED_LOADBALANCER_VIP如果叢集位於 Shared VPC 服務專案,但使用主專案中的 Shared VPC 虛擬私有雲網路:
gcloud compute addresses create IP_ADDR_NAME \ --project=SERVICE_PROJECT_ID \ --subnet=projects/HOST_PROJECT_ID/regions/COMPUTE_REGION/subnetworks/SUBNET \ --addresses=IP_ADDRESS \ --region=COMPUTE_REGION \ --purpose=SHARED_LOADBALANCER_VIP更改下列內容:
IP_ADDR_NAME:IP 位址物件的名稱。SERVICE_PROJECT_ID:服務專案的 ID。PROJECT_ID:專案 ID (單一專案)。HOST_PROJECT_ID:Shared VPC 主機專案的 ID。COMPUTE_REGION:共用子網路所在的運算區域。IP_ADDRESS:所選子網路主要 IP 位址範圍中未使用的內部 IP 位址。如未指定 IP 位址, Cloud de Confiance 會從所選子網路的主要 IP 位址範圍中,選取未使用的內部 IP 位址。如要判斷自動選取的位址,您必須執行gcloud compute addresses describe。SUBNET:共用子網路的名稱。
將下列 TCP 服務設定儲存至名為
tcp-service.yaml的檔案,然後部署至叢集。將IP_ADDRESS替換為您在上一個步驟中選擇的 IP 位址。apiVersion: v1 kind: Service metadata: name: tcp-service namespace: default spec: type: LoadBalancer # Request an internal load balancer. loadBalancerClass: networking.gke.io/l4-regional-internal # Use an IP address that you create. loadBalancerIP: IP_ADDRESS selector: app: myapp ports: - name: 8001-to-8001 protocol: TCP port: 8001 targetPort: 8001 - name: 8002-to-8002 protocol: TCP port: 8002 targetPort: 8002 - name: 8003-to-8003 protocol: TCP port: 8003 targetPort: 8003 - name: 8004-to-8004 protocol: TCP port: 8004 targetPort: 8004 - name: 8005-to-8005 protocol: TCP port: 8005 targetPort: 8005將這項 Service 定義套用至叢集:
kubectl apply -f tcp-service.yaml將下列 UDP 服務設定儲存至名為
udp-service.yaml的檔案,然後部署。此外,系統也會使用您在上一個步驟中指定的IP_ADDRESS。apiVersion: v1 kind: Service metadata: name: udp-service namespace: default spec: type: LoadBalancer # Request an internal load balancer. loadBalancerClass: networking.gke.io/l4-regional-internal # Use the same IP address that you used for the TCP Service. loadBalancerIP: IP_ADDRESS selector: app: my-udp-app ports: - name: 9001-to-9001 protocol: UDP port: 9001 targetPort: 9001 - name: 9002-to-9002 protocol: UDP port: 9002 targetPort: 9002將這個檔案套用至叢集:
kubectl apply -f udp-service.yaml列出負載平衡器轉送規則,並篩選靜態 IP,驗證 VIP 是否在這些規則之間共用。這表示 UDP 和 TCP 轉送規則都在共用
IP_ADDRESS(在本例中為10.128.2.98) 的七個不同通訊埠上監聽。gcloud compute forwarding-rules list | grep 10.128.2.98 ab4d8205d655f4353a5cff5b224a0dde us-west1 10.128.2.98 UDP us-west1/backendServices/ab4d8205d655f4353a5cff5b224a0dde acd6eeaa00a35419c9530caeb6540435 us-west1 10.128.2.98 TCP us-west1/backendServices/acd6eeaa00a35419c9530caeb6540435
已知問題
在標準級建立負載平衡器時發生錯誤
如果專案的預設網路級別設為「標準」,在該專案中建立內部直通式網路負載平衡器時,會出現下列錯誤訊息:
Error syncing load balancer: failed to ensure load balancer: googleapi: Error 400: STANDARD network tier (the project's default network tier) is not supported: Network tier other than PREMIUM is not supported for loadBalancingScheme=INTERNAL., badRequest
如要在 1.23.3-gke.900 之前的 GKE 版本中解決這個問題,請將專案預設網路級別設為進階。
在 GKE 1.23.3-gke.900 以上版本中,啟用 GKE 子集設定即可解決這個問題。
即使專案預設網路級別設為標準級,GKE 控制器也會在進階網路級別中建立內部直通式網路負載平衡器。
在內部 LoadBalancer Service 使用 networking.gke.io/ip-collection-v6 註解時發生錯誤
將 networking.gke.io/ip-collection-v6 註解新增至內部 LoadBalancer Service 時,GKE 會發出 IPCollectionV6Error 警告事件,並顯示下列訊息:
networking.gke.io/ip-collection-v6 is not supported for Internal LoadBalancers. To use BYOIPv6 with ILB, specify a BYOIP subnet using the "networking.gke.io/load-balancer-subnet" annotation
networking.gke.io/ip-collection-v6 註解僅適用於單一堆疊 IPv6 外部 LoadBalancer Service。如要搭配使用 BYOIPv6 位址和內部 LoadBalancer 服務,請在 INTERNAL_IPV6_SUBNETWORK_CREATION 模式下,使用公開委派前置字串中的內部 IPv6 位址範圍建立子網路。請使用 networking.gke.io/load-balancer-subnet 註解指定該子網路。詳情請參閱「使用自備 IPv6 位址 (BYOIPv6)」。