主要观点:作者寻找能生成 1Tbps 和 1Gpps VPP 流量的机器,考虑到 100G 网络接口的限制需 7 或 8 张网卡,通过 DACs 背靠背做负载测试虽可行但连接到交换机更方便,为此需要十四或更多百吉比特以太网端口,价格较高,后经推荐了解到 Mellanox SN2700 交换机。
关键信息:
- SN2700 交换机规格 impressive,32x100G QSFP28 端口可拆分,开关吞吐量 6.4Tbps 等,架构由 AMD64 组件和 Spectrum 硅芯片组成。
- 交换机基于 ONIE 平台,支持多种操作系统,如 Mellanox Onyx、Cumulus Linux 等,还可安装 Debian 并使用 switchdev 驱动。
- 安装 Debian 需编译内核并添加特定配置,插入 Debian 系统后可正常启动,mlxsw 驱动加载,风扇等工作正常,能识别 34 个以太网端口,端口顺序和命名特殊。
- 通过 LLDP 协议可显示连接设备,ethtool 工具可管理网络接口设备,devlink 可用于暴露设备信息和资源,能查询开关芯片配置和 FIB 大小,还可进行端口拆分操作。
- 在 L2、IPv4 和 IPv6 等模式下进行负载测试,展示了交换机在不同模式下的性能,如 L2 模式下大部分流量在数据平面处理,L3 模式下大部分数据包由 ASIC 转发等。
重要细节: - 安装 Debian 时需自行编译内核添加 mlxsw 相关配置,通过特定 GRUB 配置使内核不创建复杂接口名。
- devlink 资源包括 kvd 等,可用于存储 FIB 等信息,通过 devlink dpipe 可查看和理解 FIB 的匹配和操作。
- 端口拆分操作可将 100G 端口拆分为多个 25G 等端口,且操作可在线进行,拆分时会影响 MAC 地址。
- 在不同模式下进行负载测试,如 L2 模式下通过 T-Rex 进行双向负载测试,L3 模式下配置 IPv4 和 IPv6 路由等,VLAN 接口模式下也能保持线速工作。
- 作者对 Mellanox SN2700 交换机的性能和功能表示赞赏,认为其性价比高,适合实验室测试等用途,并感谢相关参考资料和社区。
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。