1. 单机 PVE:一张千兆卡也能跑,但别只给一张
-
最低要求
1 × 1 GbE 网卡即可完成系统安装、访问 Web 管理界面、运行虚拟机和容器。
网口通常直接桥接到 vmbr0,采用默认的桥接模式,无需复杂配置即可开箱即用。
-
推荐做法
使用 2 × 1 GbE 网口创建 Linux bond,模式选择 active-backup(模式1)。
这种模式下,交换机无需任何特殊配置。当任意一条网线被拔出时,业务不会中断,进行物理服务器维护时会更加安心。
-
接口配置示例
auto bond0
iface bond0 inet manual
bond-slaves eno1 eno2
bond-mode active-backup
bond-miimon 100
auto vmbr0
iface vmbr0 inet static
address 192.168.10.10/24
gateway 192.168.10.1
bridge-ports bond0
2. 三节点“轻量”集群:让 VM 动起来
目标:将三台主机组成 PVE 集群,实现虚拟机热迁移和高可用(HA)。在预算有限的情况下,核心是保证“链路不断、数据不丢”。
| 网络类型 |
带宽 |
说明 |
Bond 模式 |
| Management |
1 × 1 GbE |
集群内部通信 + Web 管理 |
active-backup,交换机免配置 |
| VM/Storage |
1 × 1 GbE(可复用) |
VM 南北向流量 + Ceph 公网流量 |
可复用 bond0,或独立 bond1(LACP 需交换机支持) |
3. 企业入门三节点:把“可用”升级为“可靠”
目标:在生产环境实现 7×24 小时运行,支撑虚拟机高可用与 Ceph 三副本存储。网络架构必须做到“三网分离、双上行、可横向扩容”。
| 网络类型 |
建议带宽 |
物理接口 |
Bond 模式 |
交换机要求 |
| Management |
1 GbE |
2 × 1 GbE |
active-backup |
普通 access,无需 LACP |
| Ceph Public |
10 GbE |
2 × 10 GbE |
802.3ad (LACP) |
需要支持并启用 LACP |
| Ceph Cluster |
10 GbE |
2 × 10 GbE |
802.3ad (LACP) |
同上,通常使用独立 VLAN |
| VM/Service |
1/10 GbE |
2 × 1/10 GbE |
802.3ad (LACP) |
配置为 trunk 端口,允许多 VLAN 通过 |
-
典型端口规划(每台服务器)
eno1 eno2 ┐→ bond0 (1 GbE) → Management
ens1 ens2 ┐→ bond1 (10 GbE) → Ceph Public
ens3 ens4 ┐→ bond2 (10 GbE) → Ceph Cluster
ens5 ens6 ┐→ bond3 (10 GbE) → VM/Service 多 VLAN Trunk
-
配置片段(以 Ceph 公网为例)
auto bond1
iface bond1 inet manual
bond-slaves ens1 ens2
bond-mode 802.3ad
bond-xmit-hash-policy layer2+3
bond-miimon 100
auto vmbr1
iface vmbr1 inet static
address 10.10.10.x/24
bridge-ports bond1
-
验证命令
使用 cat /proc/net/bonding/bond* 命令查看所有 bond 接口状态。
确认所有 Slave 接口状态均为 Selected,且链路速率与交换机上的链路聚合组配置一致,即表示配置成功。
4. 架构演进示意图
单机: [eno1]─┐
├─bond0(active-backup)─vmbr0
[eno2]─┘
轻量集群: [eno1]─┐
├─bond0(active-backup)─vmbr0 (管理+业务)
[eno2]─┘
企业入门: [1G×2]─bond0(active-backup)─vmbr0 (管理)
[10G×2]─bond1(LACP)─vmbr1 (Ceph Public)
[10G×2]─bond2(LACP)─vmbr2 (Ceph Cluster)
[10G×2]─bond3(LACP)─vmbr3 (VM Trunk)
从“单线作战”到“三网分离”,PVE 集群的 bond 网口规划可以总结为两条核心原则:
- 管理网求“稳”—— active-backup 模式最简单可靠;
- 业务/存储网求“快且冗余”—— 802.3ad (LACP) 模式是提升带宽和可靠性的不二之选。
根据业务发展的不同阶段逐步升级网络架构,既能有效控制初期成本,又能为未来平滑演进到真正的企业级超融合环境打下坚实基础。这类关于 网络/系统 和 云原生/IaaS 的架构实践,欢迎在技术社区进行深入探讨。祝各位部署顺利,运维安心!
|