建立內部負載平衡器

本頁面說明如何部署內部 LoadBalancer Service,以建構內部直通式網路負載平衡器。閱讀本頁面之前,請先確認您已熟悉下列事項:

如要進一步瞭解內部直通式網路負載平衡器,請參閱「內部直通式網路負載平衡器總覽」。

事前準備

開始之前,請確認您已執行下列工作:

  • 啟用 Google Kubernetes Engine API。
  • 啟用 Google Kubernetes Engine API
  • 如要使用 Google Cloud CLI 執行這項工作,請安裝並初始化 gcloud CLI。如果您先前已安裝 gcloud CLI,請執行 gcloud components update 指令,取得最新版本。較舊的 gcloud CLI 版本可能不支援執行本文中的指令。
  • 確認您已有 Autopilot 或 Standard 叢集。如要建立新叢集,請參閱「建立 Autopilot 叢集」。

需求條件

  • 本教學課程會使用 spec.loadBalancerClass 建立內部直通式網路負載平衡器,並搭配 GCE_VM_IP NEG 後端。本教學課程需要 GKE 1.33.1-gke.1779000 以上版本,因為 spec.loadBalancerClass 需要 GKE 1.33.1-gke.1779000 以上版本。

  • 可用區親和性需要 GKE 1.33.3-gke.1392000 以上版本。

  • 叢集必須啟用 GKE 子集:

    • 在執行 1.36 以上版本的叢集中,GKE 子設定預設為啟用。在這些版本中,無論叢集的子集旗標值為何,子集功能都會啟用。

    • 在 1.36 版之前的支援 GKE 版本中,您必須明確啟用 GKE 子集。您可以在建立新叢集或更新現有叢集時,啟用 GKE 子集。啟用後,GKE 子集設定即無法停用。詳情請參閱「驗證並啟用 GKE 子集」。

  • 如果叢集版本早於 1.36,則必須在叢集中啟用 HttpLoadBalancing 外掛程式。這項外掛程式預設為啟用。

  • 如要為內部 LoadBalancer 服務啟用 Cloud Logging,GKE 叢集必須使用 1.36.0-gke.2459000 以上版本。

驗證並啟用 GKE 子設定

確認已啟用 GKE 子集:

  • GKE 1.36 以上版本一律會啟用 GKE 子設定。

  • 在執行 GKE 1.18.19-gke.1400 以上版本,但低於 1.36 版的新舊 Standard 和 Autopilot 叢集中,您可以手動啟用 GKE 子設定。啟用 GKE 子集設定後,即無法停用。

如要瞭解 GKE 子集設定的重要性,請參閱「內部 LoadBalancer 服務的特殊考量」。

如要判斷是否已啟用 GKE 子集,請執行下列指令:

gcloud container clusters describe CLUSTER_NAME \
    --location=LOCATION \
    --format="get(currentMasterVersion, networkConfig.enableL4ilbSubsetting)"

更改下列內容:

  • CLUSTER_NAME:叢集名稱。
  • LOCATION :叢集的可用區或區域。

指令的輸出內容會顯示叢集的控制層版本,後面接著 networkConfig.enableL4ilbSubsetting 屬性的 True 或 False。請按照下列方式解讀輸出內容:

  • 如果控制層版本為 1.36 以上,無論 networkConfig.enableL4ilbSubsetting 屬性是 True 還是 False,GKE 子集都會啟用。
  • 如果控制層版本早於 1.36:
    • True 表示已啟用 GKE 子設定。
    • False 表示 GKE 子集功能已停用。

如要在執行 GKE 1.18.19-gke.1400 以上版本,但低於 GKE 1.36 版本的叢集中啟用 GKE 子設定,請使用 gcloud CLI 或 Cloud de Confiance 控制台。

控制台

  1. 前往 Cloud de Confiance 控制台的「Google Kubernetes Engine」頁面。

    前往 Google Kubernetes Engine

  2. 在叢集清單中,按一下您要修改的叢集名稱。

  3. 在「Networking」(網路) 下方,按一下「Subsetting for L4 Internal Load Balancers」(L4 內部負載平衡器的子設定) 欄位旁的 「Enable subsetting for L4 internal load balancers」(啟用 L4 內部負載平衡器的子設定)。

  4. 勾選「啟用 L4 內部負載平衡器的子設定」核取方塊。

  5. 按一下 [儲存變更]。

gcloud

gcloud container clusters update CLUSTER_NAME \
    --location=LOCATION
    --enable-l4-ilb-subsetting

更改下列內容:

  • CLUSTER_NAME:叢集名稱。
  • LOCATION :叢集的可用區或區域。

使用 gcloud CLI、Cloud de Confiance 控制台或將叢集升級至 1.36 以上版本,啟用 GKE 子設定,不會修改現有的內部 LoadBalancer 服務。如要遷移現有的內部 LoadBalancer Service,改用 GCE_VM_IP NEG 後端,則必須部署替代 Service 資訊清單。

部署工作負載

下列資訊清單說明執行範例網頁應用程式容器映像檔的 Deployment。

  1. 將資訊清單儲存為 ilb-deployment.yaml:

    apiVersion: apps/v1
    kind: Deployment
    metadata:
      name: ilb-deployment
    spec:
      replicas: 3
      selector:
        matchLabels:
          app: ilb-deployment
      template:
        metadata:
          labels:
            app: ilb-deployment
        spec:
          containers:
          - name: hello-app
            image: us-docker.pkg.dev/google-samples/containers/gke/hello-app:1.0
    
  2. 將資訊清單套用至叢集:

    kubectl apply -f ilb-deployment.yaml
    

建立內部 LoadBalancer Service

  1. (選用) 停用自動建立虛擬私有雲防火牆規則的功能:

    雖然 GKE 會自動建立虛擬私有雲防火牆規則,允許流量傳送至內部負載平衡器,但您也可以選擇停用自動建立虛擬私有雲防火牆規則的功能,並自行管理防火牆規則。只有在為內部 LoadBalancer Service 啟用 GKE 子設定時,才能停用虛擬私有雲防火牆規則。不過,管理虛擬私有雲防火牆規則是選用步驟,您也可以使用自動規則。

    停用自動建立虛擬私有雲防火牆規則的功能前,請務必定義允許規則,讓流量傳送至負載平衡器和應用程式 Pod。

    如要進一步瞭解如何管理虛擬私有雲防火牆規則,請參閱「管理自動建立防火牆規則」;如要瞭解如何停用自動建立防火牆規則,請參閱「GKE LoadBalancer 服務的使用者自行管理防火牆規則」。

  2. 下列範例會使用 TCP 通訊埠 80 建立內部 LoadBalancer Service。GKE 會部署內部直通式網路負載平衡器,其轉送規則使用通訊埠 80,但會將流量轉送至通訊埠 8080 上的後端 Pod:

    1. 將資訊清單儲存為 ilb-svc.yaml:

      apiVersion: v1
      kind: Service
      metadata:
        name: ilb-svc
      spec:
        type: LoadBalancer
        # Request an internal load balancer.
        loadBalancerClass: networking.gke.io/l4-regional-internal
        # Evenly route external traffic to all endpoints.
        externalTrafficPolicy: Cluster
        # Prioritize routing traffic to endpoints that are in the same zone.
        trafficDistribution: PreferSameZone
        selector:
          app: ilb-deployment
        # Forward traffic from TCP port 80 to port 8080 in backend Pods.
        ports:
        - name: tcp-port
          protocol: TCP
          port: 80
          targetPort: 8080
      

      資訊清單必須包含下列內容:

      • 內部 LoadBalancer 服務的 name,在本例中為 ilb-svc。
      • spec.loadBalancerClass 欄位設為 networking.gke.io/l4-regional-internal 值,用於指定內部 LoadBalancer Service,如資訊清單範例所示。
      • type: LoadBalancer。
      • spec: selector 欄位:指定 Service 應指定的 Pod,例如 app: hello。
      • 通訊埠資訊:
        • port 代表內部直通式網路負載平衡器轉送規則接收封包的目的地通訊埠。
        • targetPort 必須與每個服務 Pod 上定義的 containerPort 相符。
        • port 和 targetPort 的值不一定要相同。節點一律會執行目的地網路位址轉譯 (NAT),將目的地負載平衡器轉送規則 IP 位址和 port 變更為目的地 Pod IP 位址和 targetPort。詳情請參閱 LoadBalancer 服務概念說明文件中的「節點上的目的地網路位址轉譯」一節。

      資訊清單可包含下列內容:

      • spec.ipFamilyPolicy 和 ipFamilies,定義 GKE 如何為 Service 分配 IP 位址。GKE 支援單一堆疊 (僅限 IPv4 或僅限 IPv6) 或雙重堆疊 IP LoadBalancer 服務。雙重堆疊 LoadBalancer 服務是透過兩個獨立的內部直通式網路負載平衡器轉送規則實作:一個用於 IPv4 流量,另一個用於 IPv6 流量。GKE 雙堆疊 LoadBalancer 服務適用於 1.29 以上版本。如要在雙重堆疊叢集中建立單一堆疊 IPv6 Service,請將 spec.ipFamilyPolicy 欄位的值設為 SingleStack,並將 spec.ipFamilies 欄位的值設為 IPv6。在單一堆疊 IPv6 叢集中,這些是預設值,您可以省略。詳情請參閱「IPv4/IPv6 雙重堆疊 Service」。
      • spec.trafficDistribution,定義 GKE 轉送傳入流量的方式。如要啟用可用區相似度,請將這個欄位的值設為 PreferSameZone。可用區相似度是指 GKE 會優先將來自某個可用區的流量,轉送至同一可用區內的節點和 Pod。如果該可用區沒有健康狀態良好的 Pod,流量就會轉送至其他可用區。如果叢集版本早於 1.35.0-gke.1811000,請改用 PreferClose 做為值。必須啟用 GKE 子集,才能使用可用區親和性。

        如需重要考量事項和解決方法,瞭解如何調度具有可用區相似性的工作負載資源,請參閱「調度具有可用區相似性的工作負載資源」。

      詳情請參閱「LoadBalancer 服務參數」。

    2. 將資訊清單套用至叢集:

      kubectl apply -f ilb-svc.yaml
      
  3. 取得服務的詳細資訊:

    kubectl get service ilb-svc --output yaml
    

    輸出結果會與下列內容相似:

    apiVersion: v1
    kind: Service
    metadata:
      annotations:
        cloud.google.com/neg: '{"ingress":true}'
        cloud.google.com/neg-status: '{"network_endpoint_groups":{"0":"k8s2-pn2h9n5f-default-ilb-svc-3bei4n1r"},"zones":["ZONE_NAME","ZONE_NAME","ZONE_NAME"]}'
        kubectl.kubernetes.io/last-applied-configuration: |
          {"apiVersion":"v1","kind":"Service","metadata":{"annotations":{"networking.gke.io/load-balancer-type":"Internal"},"name":"ilb-svc","namespace":"default"},"spec":{"externalTrafficPolicy":"Cluster","ports":[{"name":"tcp-port","port":80,"protocol":"TCP","targetPort":8080}],"selector":{"app":"ilb-deployment"},"type":"LoadBalancer"}}
        networking.gke.io/load-balancer-type: Internal
        service.kubernetes.io/backend-service: k8s2-pn2h9n5f-default-ilb-svc-3bei4n1r
        service.kubernetes.io/firewall-rule: k8s2-pn2h9n5f-default-ilb-svc-3bei4n1r
        service.kubernetes.io/firewall-rule-for-hc: k8s2-pn2h9n5f-l4-shared-hc-fw
        service.kubernetes.io/healthcheck: k8s2-pn2h9n5f-l4-shared-hc
        service.kubernetes.io/tcp-forwarding-rule: k8s2-tcp-pn2h9n5f-default-ilb-svc-3bei4n1r
      creationTimestamp: "2022-07-22T17:26:04Z"
      finalizers:
      - gke.networking.io/l4-ilb-v2
      - service.kubernetes.io/load-balancer-cleanup
      name: ilb-svc
      namespace: default
      resourceVersion: "51666"
      uid: d7a1a865-7972-44e1-aa9e-db5be23d6567
    spec:
      allocateLoadBalancerNodePorts: true
      clusterIP: 10.88.2.141
      clusterIPs:
      - 10.88.2.141
      externalTrafficPolicy: Cluster
      internalTrafficPolicy: Cluster
      ipFamilies:
      - IPv4
      ipFamilyPolicy: SingleStack
      ports:
      - name: tcp-port
        # Kubernetes automatically allocates a port on the node during the
        # process of implementing a Service of type LoadBalancer.
        nodePort: 30521
        port: 80
        protocol: TCP
        targetPort: 8080
      selector:
        app: ilb-deployment
      sessionAffinity: None
      trafficDistribution: PreferSameZone
      type: LoadBalancer
    status:
      # IP address of the load balancer forwarding rule.
      loadBalancer:
        ingress:
        - ip: 10.128.15.245
    

    輸出內容具有下列屬性:

    • 內部直通式網路負載平衡器的轉送規則 IP 位址包含在 status.loadBalancer.ingress 中。這個 IP 位址與 clusterIP 的值不同。在本範例中,負載平衡器的轉送規則 IP 位址為 10.128.15.245。
    • 任何具有 app: ilb-deployment 標籤的 Pod 都是這個 Service 的服務 Pod。這些 Pod 會接收內部直通式網路負載平衡器轉送的封包。
    • 用戶端會使用這個 loadBalancer IP 位址和 Service 資訊清單 port 欄位中指定的 TCP 目的地通訊埠,呼叫 Service。如要完整瞭解封包在節點接收後的轉送方式,請參閱「封包處理」。
    • GKE 為 Service 指派了 nodePort;在本範例中,指派的是通訊埠 30521。nodePort與內部直通式網路負載平衡器無關。
  4. 檢查 Service 網路端點群組:

    kubectl get svc ilb-svc -o=jsonpath="{.metadata.annotations.cloud\.google\.com/neg-status}"
    

    輸出結果會與下列內容相似:

    {"network_endpoint_groups":{"0":"k8s2-knlc4c77-default-ilb-svc-ua5ugas0"},"zones":["ZONE_NAME"]}
    

    回應指出 GKE 已建立名為 k8s2-knlc4c77-default-ilb-svc-ua5ugas0 的網路端點群組。這個註解會出現在使用 GKE 子集的 LoadBalancer 類型服務中,不會出現在未使用 GKE 子集的服務中。

在單一堆疊 IPv6 叢集上建立內部 LoadBalancer Service

在單一堆疊 IPv6 叢集或雙重堆疊叢集上部署單一堆疊 IPv6 內部 LoadBalancer 服務時,負載平衡器使用的子網路取決於叢集的節點子網路是否使用 INTERNAL 或 EXTERNAL IPv6 存取權類型。在雙堆疊叢集上,您必須將 spec.ipFamilyPolicy 欄位的值設為 SingleStack,並將 spec.ipFamilies 欄位的值設為 IPv6 (在單堆疊 IPv6 叢集上,這些是預設值,可以省略)。如要改為建立雙堆疊 Service,請將 spec.ipFamilyPolicy 欄位的值設為 RequireDualStack,並在 spec.ipFamilies 欄位中列出兩個位址系列:

  • 具有內部節點的叢集 (INTERNAL ULA 存取權類型):如果叢集節點在具有專屬本機單點傳播位址 (ULA) 的內部子網路上執行,內部負載平衡器會自動使用現有的節點子網路。建立 Service,不使用任何自訂子網路註解:

    apiVersion: v1
    kind: Service
    metadata:
      name: ilb-ipv6-svc
    spec:
      type: LoadBalancer
      loadBalancerClass: networking.gke.io/l4-regional-internal
      ipFamilyPolicy: SingleStack
      ipFamilies:
      - IPv6
      selector:
        app: my-app
      ports:
        - name: tcp-port
          protocol: TCP
          port: 80
          targetPort: 8080
    
  • 具有外部節點的叢集 (EXTERNAL GUA 存取權類型):如果叢集節點在具有全域單點傳播位址 (GUA) 的外部子網路上執行,內部負載平衡器就無法直接使用該子網路。您必須佈建專屬的內部 (INTERNAL) IPv6 子網路,並在 Service 中使用 networking.gke.io/load-balancer-subnet 註解參照該子網路:

    1. 建立專屬的內部 IPv6 子網路:

      gcloud compute networks subnets create SUBNET_NAME \
          --stack-type=ipv6_only \
          --ipv6-access-type=INTERNAL \
          --network=NETWORK_NAME \
          --region=COMPUTE_REGION
      

      更改下列內容:

      • SUBNET_NAME:要建立的子網路名稱。
      • NETWORK_NAME:您要在其中建立這個子網路的虛擬私有雲網路名稱。
      • COMPUTE_REGION:子網路的 Compute Engine 區域。
    2. 建立 Service,並在 networking.gke.io/load-balancer-subnet 註解中參照上一個步驟的子網路名稱:

      apiVersion: v1
      kind: Service
      metadata:
        name: ilb-ipv6-svc
        annotations:
          networking.gke.io/load-balancer-subnet: SUBNET_NAME
      spec:
        type: LoadBalancer
        loadBalancerClass: networking.gke.io/l4-regional-internal
        ipFamilyPolicy: SingleStack
        ipFamilies:
        - IPv6
        selector:
          app: my-app
        ports:
          - name: tcp-port
            protocol: TCP
            port: 80
            targetPort: 8080
      
  1. 驗證指派的 Service IP 位址:

    kubectl get svc ilb-ipv6-svc
    

    輸出內容會確認 CLUSTER-IP 和 EXTERNAL-IP 欄 (內部 ULA 位址) 已填入:

    NAME           TYPE           CLUSTER-IP                          EXTERNAL-IP               PORT(S)        AGE
    ilb-ipv6-svc   LoadBalancer   2600:2d00:0:4:1a1e:d3b3:de4d:c549   fd20:f5d:a91f:3:0:9:0:0   80:30234/TCP   3m
    

詳情請參閱「IPv6 LoadBalancer 服務」。

使用自備 IPv6 位址 (BYOIPv6)

如要使用自備 IPv6 位址 (BYOIPv6) 設定 IPv6 內部 LoadBalancer Service,請建立具有內部 BYOIPv6 位址範圍的子網路,並在 Service 中參照該子網路。子網路的 IPv6 位址範圍必須來自 INTERNAL_IPV6_SUBNETWORK_CREATION 模式中公開委派前置碼 (PDP) 的區域 IPv6 子前置碼。

建立 Service 之前,請確認您在叢集所在區域中,有 INTERNAL_IPV6_SUBNETWORK_CREATION 模式的區域 IPv6 子前置字串。詳情請參閱「建立 IPv6 子前置字串」和「建立具有 IPv6 BYOIP 範圍的子網路」。

  1. 在與叢集相同的區域和虛擬私有雲網路中,建立子網路,並使用子前置字元的內部 BYOIPv6 範圍:

    gcloud compute networks subnets create BYOIP_SUBNET_NAME \
        --network=NETWORK_NAME \
        --region=REGION \
        --stack-type=IPV6_ONLY \
        --ipv6-access-type=INTERNAL \
        --ip-collection=projects/PROJECT_ID/regions/REGION/publicDelegatedPrefixes/SUB_PREFIX_NAME
    

    更改下列內容:

    • BYOIP_SUBNET_NAME:新子網路的名稱。
    • NETWORK_NAME:叢集虛擬私有雲網路的名稱。
    • REGION:叢集所在的區域。
    • PROJECT_ID:子前置字元所在專案的 ID。
    • SUB_PREFIX_NAME:INTERNAL_IPV6_SUBNETWORK_CREATION 模式中的區域子前置字串名稱。
  2. 選用:從 BYOIPv6 子網路預留靜態內部 /96 IPv6 位址範圍。如果略過這個步驟,GKE 會自動從您在 networking.gke.io/load-balancer-subnet 註解中指定的子網路,分配臨時內部 BYOIPv6 位址範圍:

    gcloud compute addresses create STATIC_IPV6_NAME \
        --region=REGION \
        --subnet=BYOIP_SUBNET_NAME \
        --ip-version=IPV6
    

    將 STATIC_IPV6_NAME 替換為靜態 IPv6 位址資源的名稱。

  3. 將下列資訊清單儲存為 ilb-byoipv6-svc.yaml:

    apiVersion: v1
    kind: Service
    metadata:
      name: ilb-byoipv6-svc
      annotations:
        networking.gke.io/load-balancer-subnet: BYOIP_SUBNET_NAME
        # Optional: To use a static address, uncomment the following line
        # networking.gke.io/load-balancer-ip-addresses: STATIC_IPV6_NAME
    spec:
      type: LoadBalancer
      loadBalancerClass: networking.gke.io/l4-regional-internal
      ipFamilyPolicy: SingleStack
      ipFamilies:
      - IPv6
      selector:
        app: ilb-deployment
      ports:
      - name: tcp-port
        protocol: TCP
        port: 80
        targetPort: 8080
    

    將 BYOIP_SUBNET_NAME 替換為您建立的 BYOIPv6 子網路名稱。根據預設,GKE 會從這個子網路分配臨時內部 BYOIPv6 位址範圍。

    選用:如果您在上一個步驟中保留了靜態內部 BYOIPv6 位址,請取消註解 networking.gke.io/load-balancer-ip-addresses 註解,並將 STATIC_IPV6_NAME 替換為靜態 IPv6 位址資源的名稱。

  4. 將資訊清單套用至叢集:

    kubectl apply -f ilb-byoipv6-svc.yaml
    

詳情請參閱「自備 IPv6 位址 (BYOIPv6)」。

啟用後端服務的記錄功能

您可以啟用、停用及查看內部直通式網路負載平衡器的記錄。如要為後端服務啟用記錄功能,必須啟用 GKE 子集。

如要設定 Cloud Logging,請建立 L4LBConfig 自訂資源,並指定記錄設定。L4LBConfig 資源會連結至 Service 資訊清單中的 Kubernetes Service。套用資訊清單後,GKE 控制器會設定後端服務的記錄功能。如未將 L4LBConfig 資源連結至 Service,控制器會停止管理記錄設定,並將後端服務保留在最後已知的狀態。詳情請參閱「瞭解滑行行為」。

您可以設定下列欄位:

  • enabled:如果設為 true,系統會啟用這項服務的記錄功能,並將記錄檔儲存至 Cloud Logging。否則,系統會停用這項服務的記錄功能。
  • sampleRate:指定介於 0 到 1,000,000 (預設) 之間的值,0 表示不會記錄任何封包,1,000,000 則代表會記錄所有封包。sampleRate 欄位為選填,只有在 enable 欄位的值設為 true 時才適用。
  • optionalMode:控制要將哪些選填中繼資料欄位,納入為負載平衡器產生的記錄。這個欄位接受下列其中一個字串值:
    • EXCLUDE_ALL_OPTIONAL:如果未指定 optionalMode,則為預設設定。設定後,記錄就不會包含任何選項欄位,提供最精簡的記錄格式。
    • INCLUDE_ALL_OPTIONAL:為所有可用的選填欄位啟用記錄功能,提供最詳細的記錄項目。
    • CUSTOM:指定要納入記錄的選填欄位自訂清單。使用 CUSTOM 模式時,您也必須使用 optionalFields 參數,提供以半形逗號分隔的所需欄位清單。
  • optionalFields:以半形逗號分隔的欄位名稱字串。定義要納入生成記錄檔的確切選用中繼資料欄位。只有在 optionalMode 設為 CUSTOM 時,系統才會使用這個欄位,否則會忽略任何值。

如要設定 Cloud Logging,請在與 Service 資源相同的命名空間中建立 L4LBConfig 資源。下列 L4LBConfig 資訊清單範例會啟用 Cloud Logging,並將指定負載平衡器 Service 的取樣率設為 50%。

  1. 將下列資訊清單儲存為 svc-l4lb-config.yaml:

    apiVersion: networking.gke.io/v1
    kind: L4LBConfig
    metadata:
      name: svc-l4lb-config
      namespace: default
    spec:
      logging:
        enabled: true # must be included
        sampleRate: 500000
        optionalMode: "INCLUDE_ALL_OPTIONAL"
    
  2. 將 L4LBConfig 資訊清單套用至叢集:

    kubectl apply -f svc-l4lb-config.yaml
    
  3. 將 networking.gke.io/l4lb-config 註解新增至 ilb-svc.yaml Service 資訊清單:

    apiVersion: v1
    kind: Service
    metadata:
      name: ilb-svc
      annotations:
        networking.gke.io/load-balancer-type: "Internal"
        networking.gke.io/l4lb-config: "svc-l4lb-config"
    spec:
      type: LoadBalancer
      selector:
        app: store
      ports:
        - name: tcp-port
          protocol: TCP
          port: 8080
          targetPort: 8080
    
  4. 將 Service 資訊清單套用至叢集:

    kubectl apply -f ilb-svc.yaml
    

運用可用區相依性調度工作負載

HorizontalPodAutoscaler (HPA) 會根據匯總叢集指標 (而非各可用區負載) 調整 Pod 資源調度,因此請依可用區分離工作負載,避免可用區超載。請為叢集運作的每個可用區建立個別的 Deployment 和 HPA,而非單一叢集層級的 Deployment 和 HPA。單一內部 LoadBalancer Service 可同時將流量轉送至所有這些獨立可用區工作負載。

架構總覽

  • 每個可用區一個工作負載:為每個可用區建立獨立的 Deployment (例如 zone-a、zone-b)。
  • 節點選取器:使用 topology.kubernetes.io/zone 節點選取器,將各項 Deployment 繫結至特定可用區。
  • 每個可用區一個 HPA:將 HPA 附加至各個 Deployment,讓 Pod 根據本地化指標獨立調度資源。
  • 一個共用 Service:透過單一內部 LoadBalancer Service 公開所有 Deployment,並設定可用區相似度 (使用相同選取器)。

設定獨立可用區工作負載

以下範例說明如何在兩個可用區中實作這個架構。

  1. 為每個可用區建立不同的 Deployment。這些 Deployment 共用相同的 app 標籤,但有嚴格的 nodeSelector 將其繫結至特定可用區。

    將下列資訊清單儲存為 zonal-deployments.yaml:

    apiVersion: apps/v1
    kind: Deployment
    metadata:
      name: my-app-zone-a
    spec:
      replicas: 2
      selector:
        matchLabels:
          app: my-app
          zone: zone-a
      template:
        metadata:
          labels:
            app: my-app
            zone: zone-a
        spec:
          nodeSelector:
            topology.kubernetes.io/zone: "COMPUTE_ZONE_A"
          containers:
          - name: echoserver
            image: gcr.io/google_containers/echoserver:1.10
            ports:
            - containerPort: 8080
            resources:
              requests:
                cpu: "100m"
    ---
    apiVersion: apps/v1
    kind: Deployment
    metadata:
      name: my-app-zone-b
    spec:
      replicas: 2
      selector:
        matchLabels:
          app: my-app
          zone: zone-b
      template:
        metadata:
          labels:
            app: my-app
            zone: zone-b
        spec:
          nodeSelector:
            topology.kubernetes.io/zone: "COMPUTE_ZONE_B"
          containers:
          - name: echoserver
            image: gcr.io/google_containers/echoserver:1.10
            ports:
            - containerPort: 8080
            resources:
              requests:
                cpu: "100m"
    

    將 COMPUTE_ZONE_A 和 COMPUTE_ZONE_B 替換為實際可用區 (例如 us-central1-a 和 us-central1-b)。

  2. 套用資訊清單:

    kubectl apply -f zonal-deployments.yaml
    
  3. 為每個可用區部署作業建立獨立的 HPA。

    將下列資訊清單儲存為 zonal-hpas.yaml:

    apiVersion: autoscaling/v2
    kind: HorizontalPodAutoscaler
    metadata:
      name: hpa-zone-a
    spec:
      scaleTargetRef:
        apiVersion: apps/v1
        kind: Deployment
        name: my-app-zone-a
      minReplicas: 2
      maxReplicas: 10
      metrics:
      - type: Resource
        resource:
          name: cpu
          target:
            type: Utilization
            averageUtilization: 70
    ---
    apiVersion: autoscaling/v2
    kind: HorizontalPodAutoscaler
    metadata:
      name: hpa-zone-b
    spec:
      scaleTargetRef:
        apiVersion: apps/v1
        kind: Deployment
        name: my-app-zone-b
      minReplicas: 2
      maxReplicas: 10
      metrics:
      - type: Resource
        resource:
          name: cpu
          target:
            type: Utilization
            averageUtilization: 70
    
  4. 套用資訊清單:

    kubectl apply -f zonal-hpas.yaml
    
  5. 確認 Service 指定共用標籤 (app: my-app),並已啟用可用區親和性。

    將下列資訊清單儲存為 zonal-service.yaml:

    apiVersion: v1
    kind: Service
    metadata:
      name: my-app-service-internal
    spec:
      type: LoadBalancer
      loadBalancerClass: networking.gke.io/l4-regional-internal
      trafficDistribution: PreferSameZone
      selector:
        app: my-app
      ports:
      - name: tcp-port
        protocol: TCP
        port: 8080
        targetPort: 8080
    
  6. 套用資訊清單:

    kubectl apply -f zonal-service.yaml
    

驗證內部直通式網路負載平衡器元件

本節說明如何驗證內部直通式網路負載平衡器的重要元件。

  • 確認 Service 是否正在運作:

    kubectl get service SERVICE_NAME --output yaml
    

    將 SERVICE_NAME 替換為 Service 資訊清單的名稱。

    如果啟用可用區相似度,輸出內容會包含 spec.trafficDistribution 參數。如果叢集版本早於 1.35.0-gke.1811000,這個欄位的值會設為 PreferSameZone 或 PreferClose。

  • 驗證內部直通式網路負載平衡器的轉送規則 IP 位址。在「建立內部 LoadBalancer 服務」一節的範例中,內部直通式網路負載平衡器的轉送規則 IP 位址為 10.128.15.245。使用 Google Cloud CLI,確認這項轉送規則已列在叢集專案的轉送規則清單中:

    gcloud compute forwarding-rules list --filter="loadBalancingScheme=INTERNAL"
    

    輸出內容包含相關的內部直通式網路負載平衡器轉送規則、其 IP 位址,以及轉送規則參照的後端服務 (在本例中為 k8s2-pn2h9n5f-default-ilb-svc-3bei4n1r)。

    NAME                          ... IP_ADDRESS  ... TARGET
    ...
    k8s2-tcp-pn2h9n5f-default-ilb-svc-3bei4n1r   10.128.15.245   ZONE_NAME/backendServices/k8s2-pn2h9n5f-default-ilb-svc-3bei4n1r
    
  • 使用 Google Cloud CLI 說明負載平衡器的後端服務:

    gcloud compute backend-services describe k8s2-pn2h9n5f-default-ilb-svc-3bei4n1r --region=COMPUTE_REGION
    

    將 COMPUTE_REGION 替換為後端服務的運算區域。

    如果啟用可用區相依性:

    • networkPassThroughLbTrafficPolicy.zonalAffinity.spillover 欄位應設為 ZONAL_AFFINITY_SPILL_CROSS_ZONE 值。
    • networkPassThroughLbTrafficPolicy.zonalAffinity.spilloverRatio 欄位應設為 0,或不應包含在內。

    輸出內容包含 Service 的後端 GCE_VM_IP NEG (在本範例中為 k8s2-pn2h9n5f-default-ilb-svc-3bei4n1r)。

    backends:
    - balancingMode: CONNECTION
      group: .../ZONE_NAME/networkEndpointGroups/k8s2-pn2h9n5f-default-ilb-svc-3bei4n1r
    ...
    kind: compute#backendService
    loadBalancingScheme: INTERNAL
    name: aae3e263abe0911e9b32a42010a80008
    networkPassThroughLbTrafficPolicy:
      zonalAffinity:
        spillover: ZONAL_AFFINITY_SPILL_CROSS_ZONE
    protocol: TCP
    ...
    

    如果停用可用區親和性,networkPassThroughLbTrafficPolicy.zonalAffinity.spillover 欄位應設為 ZONAL_AFFINITY_DISABLED 或不包含。請注意,如果叢集版本早於 1.33.3-gke.1392000,可用區親和性會自動停用。

  • 判斷服務子集中的節點清單:

    gcloud compute network-endpoint-groups list-network-endpoints NEG_NAME \
        --zone=COMPUTE_ZONE
    

    更改下列內容:

    • NEG_NAME:GKE 控制器建立的網路端點群組名稱。
    • COMPUTE_ZONE:要操作的網路端點群組運算可用區。
  • 判斷內部直通式網路負載平衡器的健康節點清單:

    gcloud compute backend-services get-health SERVICE_NAME \
        --region=COMPUTE_REGION
    

    更改下列內容:

    • SERVICE_NAME:後端服務的名稱。這個值與 GKE 控制器建立的網路端點群組名稱相同。
    • COMPUTE_REGION:要操作的後端服務運算區域。
  • 確認服務已啟用 Cloud Logging:

    kubectl get svc SERVICE_NAME --output yaml
    

    更改下列內容:

    • SERVICE_NAME:Service 的名稱。

    在輸出內容中,確認 Status.Conditions 欄位包含 Type: LoggingConfigManaged 和 Reason: Reconciled。

測試與內部直通式網路負載平衡器之間的連線

內部直通式網路負載平衡器只能在同一個虛擬私有雲網路 (或連線網路) 內存取。根據預設,負載平衡器的轉送規則會停用全域存取權,因此用戶端 VM、Cloud VPN 通道或 Cloud Interconnect 連結 (VLAN) 必須與內部直通式網路負載平衡器位於相同區域。如要支援所有區域的用戶端,請在 Service 資訊清單中加入全域存取權註解,在負載平衡器的轉送規則中啟用全域存取權。

在叢集所在的區域執行下列指令:

curl LOAD_BALANCER_IP:80

將 LOAD_BALANCER_IP 替換為負載平衡器的轉送規則 IP 位址。

回應會顯示 ilb-deployment 的輸出內容:

Hello, world!
Version: 1.0.0
Hostname: ilb-deployment-77b45987f7-pw54n

刪除內部 LoadBalancer Service 和負載平衡器資源

您可以使用 kubectl delete 或Cloud de Confiance 控制台刪除 Deployment 和 Service。

kubectl

刪除 Deployment

如要刪除 Deployment,請執行下列指令:

kubectl delete deployment ilb-deployment

刪除服務

如要刪除 Service,請執行下列指令:

kubectl delete service ilb-svc

控制台

刪除 Deployment

如要刪除 Deployment,請按照下列步驟操作:

  1. 前往 Cloud de Confiance 控制台的「Workloads」(工作負載) 頁面。

    前往「Workloads」(工作負載)

  2. 選取要刪除的 Deployment,然後按一下「 刪除」。

  3. 系統提示您確認時,請勾選「刪除與所選 Deployment 相關聯的 HorizontalPodAutoscaler」核取方塊,然後按一下「刪除」。

刪除服務

如要刪除 Service,請按照下列步驟操作:

  1. 前往 Cloud de Confiance 控制台的「Services & Ingress」(Service 與 Ingress) 頁面。

    前往「Services & Ingress」(Service 與 Ingress) 頁面

  2. 選取要刪除的 Service,然後按一下「 刪除」。

  3. 當系統提示時,按一下「Delete」(刪除)。

共用 IP

內部直通式網路負載平衡器可讓多個轉送規則共用虛擬 IP 位址。這項功能可用於擴充相同 IP 上的同時通訊埠數量,或在相同 IP 上接受 UDP 和 TCP 流量。每個 IP 位址最多可有 50 個公開通訊埠。GKE 叢集原生支援共用 IP,並提供內部 LoadBalancer 服務。部署時,Service 的 loadBalancerIP 欄位會用來指出應在 Service 之間共用的 IP。

限制

多個負載平衡器共用 IP 時,有下列限制和功能:

  • 每項轉送規則最多可有五個通訊埠 (連續或不連續),也可以設定為比對及轉送所有通訊埠的流量。如果內部 LoadBalancer 服務定義了五個以上的通訊埠,轉送規則會自動設為比對所有通訊埠。
  • 最多十項 Service (轉送規則) 可共用一個 IP 位址。因此每個共用 IP 最多可有 50 個通訊埠。
  • 共用相同 IP 位址的轉送規則,必須使用不重複的通訊協定和通訊埠組合。因此,每個內部 LoadBalancer Service 都必須使用一組不重複的通訊協定和通訊埠。
  • 同一個共用 IP 支援僅限 TCP 和僅限 UDP 的服務組合,但您無法在同一服務中同時公開 TCP 和 UDP 通訊埠。
  • 共用 IP 僅支援內部 IPv4 位址。您無法在多項內部 LoadBalancer 服務之間共用靜態內部 IPv6 位址範圍。

啟用共用 IP

如要讓內部 LoadBalancer 服務共用 IP,請按照下列步驟操作:

  1. 使用 --purpose SHARED_LOADBALANCER_VIP 建立靜態內部 IP。建立 IP 位址時,必須指定這個用途,才能啟用共用功能。如果您在共用虛擬私有雲中建立靜態內部 IP 位址,則必須在與將使用該 IP 位址的執行個體相同的服務專案中建立 IP 位址,即使 IP 位址的值來自共用虛擬私有雲網路中所選共用子網路的可用 IP 範圍。詳情請參閱「佈建 Shared VPC」頁面的「保留靜態內部 IP」一節。

  2. 在 loadBalancerIP 欄位中使用這個靜態 IP,最多可部署十個內部 LoadBalancer 服務。內部直通式網路負載平衡器會由 GKE 服務控制器協調,並使用相同的 前端 IP 部署。

以下範例說明如何針對同一個內部負載平衡器 IP,支援多個 TCP 和 UDP 通訊埠。

  1. 在 GKE 叢集所在的區域建立靜態 IP。子網路必須與負載平衡器使用的子網路相同,預設為 GKE 叢集節點 IP 使用的子網路。

    如果叢集和虛擬私有雲網路位於相同專案:

    gcloud compute addresses create IP_ADDR_NAME \
        --project=PROJECT_ID \
        --subnet=SUBNET \
        --addresses=IP_ADDRESS \
        --region=COMPUTE_REGION \
        --purpose=SHARED_LOADBALANCER_VIP
    

    如果叢集位於 Shared VPC 服務專案,但使用主專案中的 Shared VPC 虛擬私有雲網路:

    gcloud compute addresses create IP_ADDR_NAME \
        --project=SERVICE_PROJECT_ID \
        --subnet=projects/HOST_PROJECT_ID/regions/COMPUTE_REGION/subnetworks/SUBNET \
        --addresses=IP_ADDRESS \
        --region=COMPUTE_REGION \
        --purpose=SHARED_LOADBALANCER_VIP
    

    更改下列內容:

    • IP_ADDR_NAME:IP 位址物件的名稱。
    • SERVICE_PROJECT_ID:服務專案的 ID。
    • PROJECT_ID:專案 ID (單一專案)。
    • HOST_PROJECT_ID:Shared VPC 主機專案的 ID。
    • COMPUTE_REGION:共用子網路所在的運算區域。
    • IP_ADDRESS:所選子網路主要 IP 位址範圍中未使用的內部 IP 位址。如未指定 IP 位址, Cloud de Confiance 會從所選子網路的主要 IP 位址範圍中,選取未使用的內部 IP 位址。如要判斷自動選取的位址,您必須執行 gcloud compute addresses describe。
    • SUBNET:共用子網路的名稱。
  2. 將下列 TCP 服務設定儲存至名為 tcp-service.yaml 的檔案,然後部署至叢集。將 IP_ADDRESS 替換為您在上一個步驟中選擇的 IP 位址。

    apiVersion: v1
    kind: Service
    metadata:
      name: tcp-service
      namespace: default
    spec:
      type: LoadBalancer
      # Request an internal load balancer.
      loadBalancerClass: networking.gke.io/l4-regional-internal
      # Use an IP address that you create.
      loadBalancerIP: IP_ADDRESS
      selector:
        app: myapp
      ports:
      - name: 8001-to-8001
        protocol: TCP
        port: 8001
        targetPort: 8001
      - name: 8002-to-8002
        protocol: TCP
        port: 8002
        targetPort: 8002
      - name: 8003-to-8003
        protocol: TCP
        port: 8003
        targetPort: 8003
      - name: 8004-to-8004
        protocol: TCP
        port: 8004
        targetPort: 8004
      - name: 8005-to-8005
        protocol: TCP
        port: 8005
        targetPort: 8005
    
  3. 將這項 Service 定義套用至叢集:

    kubectl apply -f tcp-service.yaml
    
  4. 將下列 UDP 服務設定儲存至名為 udp-service.yaml 的檔案,然後部署。此外,系統也會使用您在上一個步驟中指定的 IP_ADDRESS。

    apiVersion: v1
    kind: Service
    metadata:
      name: udp-service
      namespace: default
    spec:
      type: LoadBalancer
      # Request an internal load balancer.
      loadBalancerClass: networking.gke.io/l4-regional-internal
      # Use the same IP address that you used for the TCP Service.
      loadBalancerIP: IP_ADDRESS
      selector:
        app: my-udp-app
      ports:
      - name: 9001-to-9001
        protocol: UDP
        port: 9001
        targetPort: 9001
      - name: 9002-to-9002
        protocol: UDP
        port: 9002
        targetPort: 9002
    
  5. 將這個檔案套用至叢集:

    kubectl apply -f udp-service.yaml
    
  6. 列出負載平衡器轉送規則,並篩選靜態 IP,驗證 VIP 是否在這些規則之間共用。這表示 UDP 和 TCP 轉送規則都在共用 IP_ADDRESS (在本例中為 10.128.2.98) 的七個不同通訊埠上監聽。

    gcloud compute forwarding-rules list | grep 10.128.2.98
    ab4d8205d655f4353a5cff5b224a0dde                         us-west1   10.128.2.98     UDP          us-west1/backendServices/ab4d8205d655f4353a5cff5b224a0dde
    acd6eeaa00a35419c9530caeb6540435                         us-west1   10.128.2.98     TCP          us-west1/backendServices/acd6eeaa00a35419c9530caeb6540435
    

已知問題

在標準級建立負載平衡器時發生錯誤

如果專案的預設網路級別設為「標準」,在該專案中建立內部直通式網路負載平衡器時,會出現下列錯誤訊息:

Error syncing load balancer: failed to ensure load balancer: googleapi: Error 400: STANDARD network tier (the project's default network tier) is not supported: Network tier other than PREMIUM is not supported for loadBalancingScheme=INTERNAL., badRequest

如要在 1.23.3-gke.900 之前的 GKE 版本中解決這個問題,請將專案預設網路級別設為進階。

在 GKE 1.23.3-gke.900 以上版本中,啟用 GKE 子集設定即可解決這個問題。

即使專案預設網路級別設為標準級,GKE 控制器也會在進階網路級別中建立內部直通式網路負載平衡器。

在內部 LoadBalancer Service 使用 networking.gke.io/ip-collection-v6 註解時發生錯誤

將 networking.gke.io/ip-collection-v6 註解新增至內部 LoadBalancer Service 時,GKE 會發出 IPCollectionV6Error 警告事件,並顯示下列訊息:

networking.gke.io/ip-collection-v6 is not supported for Internal LoadBalancers. To use BYOIPv6 with ILB, specify a BYOIP subnet using the "networking.gke.io/load-balancer-subnet" annotation

networking.gke.io/ip-collection-v6 註解僅適用於單一堆疊 IPv6 外部 LoadBalancer Service。如要搭配使用 BYOIPv6 位址和內部 LoadBalancer 服務,請在 INTERNAL_IPV6_SUBNETWORK_CREATION 模式下,使用公開委派前置字串中的內部 IPv6 位址範圍建立子網路。請使用 networking.gke.io/load-balancer-subnet 註解指定該子網路。詳情請參閱「使用自備 IPv6 位址 (BYOIPv6)」。

後續步驟