在进行 Kubernetes 集群部署时,很多团队都会陷入“网络平面混乱”的困境,常见的问题包括:“宿主机和 Pod 使用了同一个网段,导致 IP 冲突”、“虚拟机节点能直接访问宿主机物理网卡,存在安全风险”、“Pod 之间随便通信,被攻击后直接横向渗透”。
问题的根源在于,宿主机、虚拟机节点、Pod 实际上是三个独立的网络平面。规划的核心原则是 “按需互通、分层隔离”——既不能完全隔绝,否则业务无法运行;也不能放任自由,否则将漏洞百出。本文将详细拆解这三个平面的规划逻辑、互通边界、潜在风险,并提供可直接落地的隔离方案。
一、先明确:三个网络平面的核心规划逻辑
网络平面规划的核心是 “网段隔离+功能分区” ,这类似于城市规划中的“工业区、住宅区、商业区”,每个区域都应有独立的“道路(网段)”和“出入口(网关)”,以确保互不干扰。
1. 宿主机网络平面:物理网络的“主干道”
- 定位:物理服务器的原生网络,是所有上层网络的“地基”。
- 核心配置:
- 网段:使用物理网络规划的独立网段(例如
192.168.1.0/24),由数据中心的 DHCP 或静态分配。
- 核心组件:物理网卡(
eth0/eth1)、服务器本地路由表、iptables 防火墙。
- 功能:连接外部物理网络(路由器、交换机),为虚拟机节点提供网络出口。
- 规划要点:
- 必须与虚拟机、Pod 网段严格区分(例如,宿主机用
192.168.1.x,虚拟机用 10.0.0.x,Pod 用 172.16.0.x)。
- 物理网卡建议分为“管理网”和“业务网”:管理网用于服务器运维(SSH、监控),业务网用于虚拟机/容器数据传输。
2. 虚拟机节点网络平面:虚拟化层的“次干道”
- 定位:运行在宿主机上的虚拟机网络,是 Pod 和宿主机之间的“中间层”。
- 核心配置:
- 网段:独立的虚拟化网段(例如
10.0.0.0/16),由虚拟化平台(VMware/KVM)分配。
- 核心组件:虚拟交换机(OVS/vSwitch)、虚拟机虚拟网卡(vNIC)、VLAN 标签。
- 功能:为 Pod 提供运行环境,并负责转发 Pod 与宿主机、Pod 与外部的流量。
- 规划要点:
- 为每个虚拟机节点分配独立的 IP(例如
10.0.1.1、10.0.1.2),避免与宿主机、Pod 网段重叠。
- 使用 VLAN 隔离不同业务的虚拟机节点(例如,电商业务用
VLAN 10,支付业务用 VLAN 20)。
3. Pod 网络平面:容器层的“支路”
- 定位:Kubernetes 容器网络,是应用通信的“最后一公里”。
- 核心配置:
- 网段:由 CNI 插件分配的容器专用网段(例如
172.16.0.0/12),每个节点分配一个子网(例如节点 1 用 172.16.1.0/24,节点 2 用 172.16.2.0/24)。
- 核心组件:CNI 网桥(
cni0)、虚拟网卡对(veth pair)、kube-proxy。
- 功能:实现 Pod 之间、Pod 与 Service 之间的通信,并通过虚拟机节点网络对接外部。
- 规划要点:
- Pod 网段必须与宿主机、虚拟机网段完全隔离,且跨节点的 Pod 子网不能重叠(CNI 插件通常会管理此事项)。
- 避免使用常见的局域网网段(例如
192.168.x.x、10.0.x.x),以防与外部网络发生冲突。
三个平面核心区别表
| 网络平面 |
网段示例 |
核心组件 |
核心作用 |
| 宿主机 |
192.168.1.0/24 |
物理网卡、iptables |
物理网络出口、服务器运维 |
| 虚拟机节点 |
10.0.0.0/16 |
虚拟交换机、VLAN |
连接宿主机与Pod,业务隔离 |
| Pod |
172.16.0.0/12 |
CNI 网桥、veth pair |
容器间通信、对接 Service |
二、关键问题:三个平面是否允许互通?
答案是:允许“必要互通”,禁止“非必要访问”——互通是为了保障业务正常运行,而隔离则是为了控制风险。核心原则是“只打开必要的通道,并关闭所有多余的路径”。
1. 允许的“必要互通”(必须开启,否则业务无法运行)
- Pod ↔ 虚拟机节点:Pod 需要通过虚拟机节点上的
kube-proxy 访问 Service,并且依赖节点的网络栈进行对外通信(例如,Pod 访问互联网需要经过节点的 NAT 转发)。
- 虚拟机节点 ↔ 宿主机:虚拟机需要通过宿主机的物理网卡连接外部网络;同时,宿主机需要通过虚拟化管理层来管理虚拟机(例如启动、停止、配置网络)。
- Pod ↔ 外部网络:业务 Pod 可能需要访问数据库、第三方 API;或者外部客户端需要通过
Ingress/NodePort 访问 Pod。
2. 禁止的“非必要访问”(必须隔离,否则风险极高)
- 宿主机 ↔ Pod:禁止宿主机直接访问 Pod 网段(除非在极少数运维排查场景下临时授权),以防止 Pod 被攻击后反向渗透控制宿主机。
- 虚拟机节点 ↔ 其他虚拟机节点:不同业务或安全域的虚拟机节点禁止直接通信(例如,电商业务的虚拟机不能直接访问支付业务的虚拟机),通信应通过 Service 或 Ingress 进行可控转发。
- Pod ↔ 宿主机物理网卡:禁止 Pod 直接绑定或访问宿主机物理网卡(除非在特殊场景下,且权限受到严格限制),以避免容器逃逸后直接控制物理网络。
三、互通风险:为什么不能“随便通”?
一旦打破“按需互通”的原则,将会引发三大类风险,生产环境很可能因此中招。
1. 安全风险:攻击横向扩散,漏洞连锁反应
- 容器逃逸风险:如果 Pod 能直接访问宿主机网络,攻击者利用容器漏洞逃逸后,便可直接控制宿主机物理网卡、修改
iptables 规则,进而渗透整个集群。
- 横向移动风险:如果不同业务的 Pod、虚拟机节点可以随意通信,一个 Pod 被攻陷后,攻击者就能直接扫描并攻击同一网络平面内的其他 Pod、虚拟机甚至宿主机,形成“多米诺骨牌”式的连锁攻击。
- 权限滥用风险:虚拟机节点若能直接访问宿主机的敏感目录(例如
/var/lib/etcd),可能导致 Kubernetes 集群配置、证书等核心信息泄露。
2. 性能风险:网络拥堵,业务受影响
- 广播风暴:如果三个平面共用同一个网段,大量 Pod 和虚拟机的 ARP 广播报文会占用宿主机物理网卡的带宽,导致网络延迟飙升。
- 带宽抢占:Pod 间的大流量通信(例如大数据传输)若未进行有效隔离,会争抢虚拟机节点和宿主机的网络资源,影响其他关键业务。
- 网段冲突:不同平面网段重叠会导致 IP 地址冲突,致使 Pod 或虚拟机无法正常通信,且排查难度极大。
3. 管理风险:网络混乱,故障难以定位
- 路由复杂:三个平面无限制地互通会导致路由表条目混乱,可能出现“Pod 访问外部走了错误路径”等难以排查的怪现象。
- 合规不达标:金融、医疗等行业的合规要求(如等保 2.0)明确规定了“不同安全级别的网络平面必须隔离”,随意的互通会直接违反这些规定。
四、分层隔离方案:给每个平面安装“智能门禁”
网络隔离并非“建墙堵死所有通道”,而是“安装智能门禁系统”——只允许经过授权的流量通过。其核心思路是构建 “物理隔离+逻辑隔离+策略隔离” 的三层防护体系。
1. 宿主机网络平面:物理层隔离,守住“大门”
- 网段严格划分:宿主机物理网卡使用独立网段,禁止与虚拟机、Pod 网段重叠。例如:宿主机用
192.168.1.0/24,虚拟机用 10.0.0.0/16,Pod 用 172.16.0.0/12。
- 防火墙硬限制:在宿主机上配置
iptables/nftables 规则,只允许来自虚拟机节点的管理流量(如 kubelet 通信)和必要的业务出口流量,明确拒绝来自 Pod 网段的直接访问请求。
- 物理网卡分离:将宿主机的物理网卡划分为“管理网”(
eth0,仅用于 SSH 等运维操作)和“业务网”(eth1,专用于承载虚拟机/容器的数据流量),从物理层面进行分离,互不干扰。
2. 虚拟机节点网络平面:虚拟化层隔离,管好“楼道门”
- 虚拟交换机隔离:使用 OVS 或 vSwitch 创建独立的虚拟交换机,将不同业务或安全域的虚拟机节点连接到不同的虚拟交换机上,并禁止跨交换机直接通信。
- VLAN 标签划分:为每个业务单元分配独立的 VLAN 标签(例如电商业务
VLAN 10,支付业务 VLAN 20),通过虚拟化平台配置策略,限制不同 VLAN 之间的流量转发,有效防止横向渗透。
- 端口安全限制:在虚拟交换机上配置端口安全策略,仅允许预先绑定的虚拟机虚拟网卡 MAC 地址接入,从而防止 MAC 地址欺骗攻击。
3. Pod 网络平面:容器层隔离,控好“房门”
- CNI 网桥隔离:确保每个虚拟机节点上的 CNI 网桥(
cni0)仅负责本节点内 Pod 的流量转发。跨节点 Pod 之间的通信应通过 CNI 插件(如 Calico)的路由同步机制实现,而非直接走虚拟机节点的原生网络,从而提升对 网络规划 的可控性。
- NetworkPolicy 策略:在 Kubernetes 集群中积极使用
NetworkPolicy 资源,遵循“默认拒绝,按需允许”的原则。例如,只允许特定的 Web Pod 访问数据库 Pod 的 3306 端口,其他 Pod 的访问一律拒绝。
- 服务网格加密:部署 Istio 等服务网格,为 Pod 间的通信启用 mTLS 双向加密。这样即使流量被拦截,攻击者也无法解密数据内容,同时服务网格还能提供细粒度的流量控制和策略管理。
隔离方案总结:三层防护联动
| 隔离层级 |
核心措施 |
作用 |
| 物理层(宿主机) |
独立网段、双网卡分离、iptables防火墙 |
守住集群外部入口,防止物理层渗透 |
| 虚拟化层(虚拟机) |
虚拟交换机、VLAN标签、端口安全 |
隔离不同业务的虚拟机,防止跨业务攻击 |
| 容器层(Pod) |
CNI网桥、NetworkPolicy、mTLS加密 |
限制Pod间通信,防止容器逃逸后横向移动 |
五、生产环境落地建议:避坑关键点
- 网段规划先行:在部署之前,必须预先梳理并规划好三个平面的网段,形成书面文档。这能有效避免在后期集群扩容或与其他系统对接时出现意料之外的地址冲突。
- 禁用不必要的互通:例如,主动关闭宿主机到 Pod 网段的直接路由;在虚拟化平台配置策略,禁止虚拟机节点进行非必要的跨 VLAN 通信,仅保留业务必需的通道。
- 监控网络流量:部署 NDR(网络检测与响应)或类似的流量监控工具,对三个平面的流量进行持续监控。重点关注异常行为,例如 Pod 突然尝试访问宿主机的敏感管理端口。
- 合规检查常态化:定期审计检查
NetworkPolicy 配置、宿主机防火墙规则等,确保其始终符合等保 2.0、PCI-DSS 等行业或监管的合规要求,这也是 运维 工作中的重要一环。
掌握上述规划与隔离策略,能帮助你构建一个既稳健又安全的 Kubernetes 集群底层网络。如果你在实践中有更多心得或疑问,欢迎到云栈社区的技术板块与大家交流探讨。
|