本页面介绍如何创建专用 Google Kubernetes Engine (GKE) 集群，该集群是一种 VPC 原生集群。在专用集群中，节点仅具有内部 IP 地址，这意味着节点和 Pod 默认与互联网隔离。 您可以选择对控制平面没有客户端访问权限、具有受限访问权限或不受限访问权限。
您不能将现有非专用集群转换为专用集群。 如需详细了解专用集群的工作原理，请参阅专用集群概览。
本页面面向负责规划和实施网络安全的网络专家。如需详细了解我们在 Google Cloud 内容中提及的常见角色和示例任务，请参阅常见的 GKE Enterprise 用户角色和任务。
限制和局限
专用集群必须是 VPC 原生集群。对于您在 2020 年 1 月 15 日之前创建的所有专用集群，每个网络最多只能有 25 个专用集群（假设对等互连不用于其他目的）。如需了解详情，请参阅 VPC 对等互连重复使用。
展开以下部分，查看创建专用集群时有关 IP 地址范围和流量的规则。
准备工作
在开始之前，请确保您已执行以下任务：
- 启用 Google Kubernetes Engine API。 启用 Google Kubernetes Engine API
- 如果您要使用 Google Cloud CLI 执行此任务，请安装并初始化 gcloud CLI。 如果您之前安装了 gcloud CLI，请运行
gcloud components update以获取最新版本。
确保您具有创建集群的正确权限。您至少应是 Kubernetes Engine Cluster Admin。
确保您有通向默认互联网网关的路由。
创建无法通过客户端访问公共端点的专用集群
在本部分中，您将创建以下资源：
- 名为
private-cluster-0的专用集群，该集群具有专用节点，但没有对公共端点的客户端访问权限。 - 名为
my-net-0的网络。 - 名为
my-subnet-0的子网。
控制台
创建网络和子网
前往 Google Cloud 控制台中的 VPC 网络页面。
点击 add_box 创建 VPC 网络。
对于名称，输入
my-net-0。对于子网创建模式，选择自定义。
在新子网部分的名称中，输入
my-subnet-0。在地区列表中，选择所需的地区。
对于 IP 地址范围，输入
10.2.204.0/22。将专用 Google 访问通道设置为开启。
点击完成。
点击创建。
创建专用集群
转到 Google Cloud 控制台中的 Google Kubernetes Engine 页面。
点击 创建。
对于名称，指定
private-cluster-0。在导航窗格中，点击网络。
在网络列表中，选择 my-net-0。
在节点子网列表中，选择 my-subnet-0。
选择专用集群单选按钮。
取消选中使用外部 IP 地址的控制平面复选框。
（对于 Autopilot 而言为可选）：将控制层面 IP 地址范围设置为
172.16.0.32/28。点击创建。
gcloud
对于 Autopilot 集群，请运行以下命令：
gcloud container clusters create-auto private-cluster-0 \ --create-subnetwork name=my-subnet-0 \ --enable-master-authorized-networks \ --enable-private-nodes \ --enable-private-endpoint
其中：
--create-subnetwork name=my-subnet-0使 GKE 自动创建名为my-subnet-0的子网。--enable-master-authorized-networks用于指定仅限您授权的 IP 地址范围访问公共端点。
--enable-private-nodes表示集群的节点没有外部 IP 地址。--enable-private-endpoint表示使用控制平面 API 端点的内部 IP 地址管理集群。
API
如需创建不具备可公开访问的控制平面的集群，请在 privateClusterConfig 资源中指定 enablePrivateEndpoint: true 字段。
此时，只有以下范围内的地址才能访问控制层面：
my-subnet-0的主要范围。- 用于 Pod 的次要范围。
例如，假设您在 my-subnet-0 的主要范围内创建了一个虚拟机。
在该虚拟机上，您可以配置 kubectl 以使用控制平面的内部 IP 地址。
如果您想从 my-subnet-0 外部访问控制平面，则必须至少授权一个地址范围访问专用端点。
假设您的虚拟机位于默认网络中，并且与您的集群位于同一区域，但不在 my-subnet-0 中。
例如：
my-subnet-0：10.0.0.0/22- Pod 次要范围：
10.52.0.0/14 - 虚拟机地址：
10.128.0.3
您可以使用以下命令授权虚拟机访问控制平面：
gcloud container clusters update private-cluster-0 \
--enable-master-authorized-networks \
--master-authorized-networks 10.128.0.3/32
创建对公共端点的访问受限的专用集群
使用此配置创建专用集群时，您可以选择使用自动生成的子网或自定义的子网。
使用自动生成的子网
在本部分中，您将创建一个名为 private-cluster-1 的专用集群，其中 GKE 会自动为您的集群节点生成子网。该子网启用了专用 Google 访问通道。在该子网中，GKE 会自动创建两个次要范围：一个用于 Pod，另一个用于 Service。
您可以使用 Google Cloud CLI 或 GKE API。
gcloud
对于 Autopilot 集群，请运行以下命令：
gcloud container clusters create-auto private-cluster-1 \ --create-subnetwork name=my-subnet-1 \ --enable-master-authorized-networks \ --enable-private-nodes
其中：
--create-subnetwork name=my-subnet-1使 GKE 自动创建名为my-subnet-1的子网。--enable-master-authorized-networks用于指定仅限您授权的 IP 地址范围访问公共端点。
--enable-private-nodes表示集群的节点没有外部 IP 地址。
API
在 Cluster API 资源中指定 privateClusterConfig 字段：
{
"name": "private-cluster-1",
...
"ipAllocationPolicy": {
"createSubnetwork": true,
},
...
"privateClusterConfig" {
"enablePrivateNodes": boolean # Creates nodes with internal IP addresses only
"enablePrivateEndpoint": boolean # false creates a cluster control plane with a publicly-reachable endpoint
"masterIpv4CidrBlock": string # CIDR block for the cluster control plane
"privateEndpoint": string # Output only
"publicEndpoint": string # Output only
}
}
此时，只有以下范围内的地址才能访问集群控制平面：
my-subnet-1的主要范围。- 用于 Pod 的次要范围。
假设您有一组机器位于 VPC 网络之外，它们的地址在范围 203.0.113.0/29 内。您可以通过输入以下命令向这些机器授予对公共端点的访问权限：
gcloud container clusters update private-cluster-1 \
--enable-master-authorized-networks \
--master-authorized-networks 203.0.113.0/29
现在，只有以下范围内的地址才能访问控制平面：
my-subnet-1的主要范围。- 用于 Pod 的次要范围。
- 您已授权的地址范围，例如
203.0.113.0/29。
使用自定义子网
在本部分中，您将创建以下资源：
- 名为
private-cluster-2的专用集群。 - 名为
my-net-2的网络。 - 用于集群节点的主范围为
192.168.0.0/20的my-subnet-2子网。您的子网具有以下次要地址范围：my-pods（对于 Pod IP 地址）。my-services（对于 Service IP 地址）。
控制台
创建网络、子网和次要范围
前往 Google Cloud 控制台中的 VPC 网络页面。
点击 add_box 创建 VPC 网络。
对于名称，输入
my-net-2。对于子网创建模式，选择自定义。
在新子网部分的名称中，输入
my-subnet-2。在地区列表中，选择所需的地区。
对于 IP 地址范围，输入
192.168.0.0/20。点击创建次要 IP 范围。在子网范围名称部分，输入
my-services；在次要 IP 范围部分，输入10.0.32.0/20。点击添加 IP 范围。在子网范围名称部分，输入
my-pods；在次要 IP 范围部分，输入10.4.0.0/14。将专用 Google 访问通道设置为开启。
点击完成。
点击创建。
创建专用集群
创建使用子网的专用集群：
转到 Google Cloud 控制台中的 Google Kubernetes Engine 页面。
点击 创建。
对于名称，请输入
private-cluster-2。在导航窗格中，点击网络。
选择专用集群单选按钮。
如需创建可从授权外部 IP 范围访问的控制平面，请保持使用外部 IP 地址访问主节点复选框处于选中状态。
（对于 Autopilot 而言为可选）：将控制层面 IP 地址范围设置为
172.16.0.16/28。在网络列表中，选择 my-net-2。
在节点子网列表中，选择 my-subnet-2。
清除自动创建次要范围复选框。
在 Pod 次要 CIDR 范围列表中，选择 my-pods。
在 Service 次要 CIDR 范围列表中，选择 my-services。
选中启用控制平面授权网络复选框。
点击创建。
gcloud
创建网络
首先，为您的集群创建一个网络。以下命令会创建一个网络 my-net-2：
gcloud compute networks create my-net-2 \
--subnet-mode custom
创建子网和次要范围
接下来，在 my-net-2 网络中创建一个子网 my-subnet-2，其次要范围为 my-pods（用于 Pod）和 my-services（用于 Service）：
gcloud compute networks subnets create my-subnet-2 \
--network my-net-2 \
--range 192.168.0.0/20 \
--secondary-range my-pods=10.4.0.0/14,my-services=10.0.32.0/20 \
--enable-private-ip-google-access
创建专用集群
现在，使用您创建的网络、子网以及次要范围创建一个专用集群 private-cluster-2。
对于 Autopilot 集群，请运行以下命令：
gcloud container clusters create-auto private-cluster-2 \ --enable-master-authorized-networks \ --network my-net-2 \ --subnetwork my-subnet-2 \ --cluster-secondary-range-name my-pods \ --services-secondary-range-name my-services \ --enable-private-nodes
此时，只有以下范围内的地址才能访问控制层面：
my-subnet-2的主要范围。- 次要范围
my-pods。
假设您有一组机器位于 my-net-2 之外，它们的地址在范围 203.0.113.0/29 内。您可以通过输入以下命令向这些机器授予对公共端点的访问权限：
gcloud container clusters update private-cluster-2 \
--enable-master-authorized-networks \
--master-authorized-networks 203.0.113.0/29
此时，只有以下范围内的地址才能访问控制层面：
my-subnet-2的主要范围。- 次要范围
my-pods。 - 您已授权的地址范围，例如
203.0.113.0/29。
创建对公共端点具有不受限制的访问权限的专用集群
在本部分中，您将创建一个专用集群，使得任何 IP 地址都可以访问控制平面。
控制台
转到 Google Cloud 控制台中的 Google Kubernetes Engine 页面。
点击 创建。
对于名称，请输入
private-cluster-3。在导航窗格中，点击网络。
选择专用集群选项。
保持使用外部 IP 地址的访问权限控制复选框处于选中状态。
（对于 Autopilot 而言为可选）：将控制层面 IP 地址范围设置为
172.16.0.32/28。将网络和节点子网保留设置为
default。这会使 GKE 为您的集群生成子网。取消选中启用控制平面授权网络复选框。
点击创建。
gcloud
对于 Autopilot 集群，请运行以下命令：
gcloud container clusters create-auto private-cluster-3 \ --create-subnetwork name=my-subnet-3 \ --no-enable-master-authorized-networks \ --enable-private-nodes
其中：
--create-subnetwork name=my-subnet-3使 GKE 自动创建名为my-subnet-3的子网。--no-enable-master-authorized-networks用于为集群停用已授权的网络。
--enable-private-nodes表示集群的节点没有外部 IP 地址。
针对特定用例添加防火墙规则
本部分介绍如何向专用集群添加防火墙规则。默认情况下，防火墙规则将集群控制平面限制为只能启动与端口 443 (HTTPS) 和 10250 (kubelet) 上的节点和 Pod 的 TCP 连接。对于某些 Kubernetes 功能，您可能需要添加防火墙规则以允许在其他端口上进行访问。请勿创建优先级高于自动创建的防火墙规则的防火墙规则或分层防火墙政策规则。
需要额外防火墙规则的 Kubernetes 功能包括：
- 准入 webhook
- 聚合 API 服务器
- Webhook 转换
- 动态审核配置
- 通常情况下，具有 ServiceReference 字段的任何 API 都需要额外的防火墙规则。
添加防火墙规则，允许流量从集群控制平面传输到以下所有端口：
- 每个节点的指定端口 (hostPort)。
- 在这些节点上运行的每个 Pod 的指定端口。
- 在这些节点上运行的每个 Service 的指定端口。
如需了解防火墙规则，请参阅 Cloud Load Balancing 文档中的防火墙规则。
如需在专用集群中添加防火墙规则，您需要记录集群控制层面的 CIDR 块和使用的目标。记录完成后，就可以创建规则了。
第 1 步：查看控制层面的 CIDR 块
为了添加防火墙规则，您需要使用集群控制层面的 CIDR 块。
控制台
转到 Google Cloud 控制台中的 Google Kubernetes Engine 页面。
在集群列表中，点击集群名称。
在网络下的详细信息标签页中，记下控制平面地址范围字段中的值。
gcloud
运行以下命令：
gcloud container clusters describe CLUSTER_NAME
将 CLUSTER_NAME 替换为您的专用集群名称。
在命令输出中，记下 masterIpv4CidrBlock 字段中的值。
第 2 步：查看现有防火墙规则
您需要指定集群的现有防火墙规则针对的目标（在这种情况下，就是目标节点）。
控制台
进入 Google Cloud 控制台中的防火墙政策页面。
在 VPC 防火墙规则的过滤表中，输入
gke-CLUSTER_NAME。
在结果中，记下目标字段中的值。
gcloud
运行以下命令：
gcloud compute firewall-rules list \
--filter 'name~^gke-CLUSTER_NAME' \
--format 'table(
name,
network,
direction,
sourceRanges.list():label=SRC_RANGES,
allowed[].map().firewall_rule().list():label=ALLOW,
targetTags.list():label=TARGET_TAGS
)'
在命令输出中，记下目标字段中的值。
第 3 步：添加防火墙规则
控制台
进入 Google Cloud 控制台中的防火墙政策页面。
点击 add_box 创建防火墙规则。
对于名称，输入防火墙规则的名称。
在网络列表中，选择相关网络。
在流量方向中，点击入站。
在对匹配项执行的操作中，点击允许。
在目标列表中，选择指定的目标标记。
在目标标记部分，输入您之前记下的目标值。
在来源过滤条件列表中，选择 IPv4 范围。
在来源 IPv4 范围部分，输入集群控制平面的 CIDR 地址块。
在协议和端口中，点击指定的协议和端口，选中相关协议（tcp 或 udp），然后在协议字段中输入端口号。
点击创建。
gcloud
运行以下命令：
gcloud compute firewall-rules create FIREWALL_RULE_NAME \
--action ALLOW \
--direction INGRESS \
--source-ranges CONTROL_PLANE_RANGE \
--rules PROTOCOL:PORT \
--target-tags TARGET
请替换以下内容：
FIREWALL_RULE_NAME：您为防火墙规则选择的名称。CONTROL_PLANE_RANGE：您之前收集的集群控制平面 IP 地址范围 (masterIpv4CidrBlock)。PROTOCOL:PORT：端口及其协议（tcp或udp）。TARGET：您先前收集的目标 (Targets) 值。
验证节点是否没有外部 IP 地址
创建专用集群后，请验证集群的节点是否没有外部 IP 地址。
控制台
转到 Google Cloud 控制台中的 Google Kubernetes Engine 页面。
在集群列表中，点击集群名称。
对于 Autopilot 集群，在集群基本信息部分中，查看外部端点字段。其值为已停用。
gcloud
运行以下命令：
kubectl get nodes --output wide
输出的 EXTERNAL-IP 列为空：
STATUS ... VERSION EXTERNAL-IP OS-IMAGE ...
Ready v.8.7-gke.1 Container-Optimized OS
Ready v1.8.7-gke.1 Container-Optimized OS
Ready v1.8.7-gke.1 Container-Optimized OS
验证集群中的 VPC 对等互连重复使用
您在 2020 年 1 月 15 日之后创建的所有专用集群会重复使用 VPC 网络对等互连连接。
您可以使用 gcloud CLI 或 Google Cloud 控制台检查专用集群是否会重复使用 VPC 网络对等互连连接。
控制台
检查集群详情页面中的 VPC 对等互连行。如果您的集群正在重复使用 VPC 对等互连连接，则输出会以 gke-n 开头。例如 gke-n34a117b968dee3b2221-93c6-40af-peer。
gcloud
gcloud container clusters describe CLUSTER_NAME \
--format="value(privateClusterConfig.peeringName)"
如果您的集群正在重复使用 VPC 对等互连连接，则输出会以 gke-n 开头。例如 gke-n34a117b968dee3b2221-93c6-40af-peer。
清理
完成本页面上的任务后，请按照以下步骤移除资源，以防止您的账号产生不必要的费用：
删除集群
控制台
转到 Google Cloud 控制台中的 Google Kubernetes Engine 页面。
选择每个集群。
点击 delete 删除。
gcloud
gcloud container clusters delete -q private-cluster-0 private-cluster-1 private-cluster-2 private-cluster-3
删除网络
控制台
转到 Google Cloud 控制台中的 VPC 网络页面。
在网络列表中，点击
my-net-0。在 VPC 网络详细信息页面上，点击 delete 删除 VPC 网络。
在删除网络对话框中，点击删除。
gcloud
gcloud compute networks delete my-net-0