带宽探测 (PROBEBW)

带宽探测（Bandwidth Profiling）并非单纯的网络物理指标测量，而是大模型分布式训练架构中的动态感知与自适应机制。在大模型训练场景中，由于参数量巨大且常采用多机多卡并行策略，网络带宽成为制约训练速度的关键瓶颈。该机制旨在通过主动发送测试包或分析实际通信流，实时评估集群内部节点间及节点与存储间的有效数据传输速率。其核心在于将静态的网络理论带宽转化为动态的、可量化的训练带宽指标，从而指导系统决策，是连接底层网络设施与上层模型训练效率的桥梁。

在现代大模型训练架构中，带宽探测扮演着‘网络感知器’与‘性能调优器’的双重角色。随着模型规模向千亿甚至万亿参数演进，训练过程高度依赖高速网络（如 InfiniBand, RoCE, Ethernet）进行梯度同步与参数聚合。带宽探测技术使得训练框架能够感知网络拥塞、链路波动及硬件差异，进而动态调整梯度压缩率、选择通信拓扑或触发数据预取策略。它解决了传统静态网络配置无法适应动态训练负载的痛点，显著提升了分布式训练的收敛速度与资源利用率，是构建高效、稳定大模型训练平台不可或缺的基础设施组件。