Peerium如何让百万处理器像一台计算机？Nested BSP与灵衢原理解读

AI算力瓶颈正在从芯片转向系统协同

谈到AI基础设施，人们首先想到的往往是芯片算力。但当系统扩展到数千或更多处理器后，真正决定效率的不只是每颗芯片计算多快，还包括数据能否及时到达、处理器是否长期等待，以及故障发生后任务能否继续。

华为在全联接大会上表示，传统十万卡集群中，大量算力会在通信阶段等待，模型实际利用到的计算能力可能明显低于硬件总量。Peerium计算架构针对的正是这一问题：与其只追求更强的单颗处理器，不如让数量庞大的处理器更高效地协同行动。

Nested BSP解决“怎么一起算”

先理解经典BSP

BSP是批量同步并行模型。可以把它理解为一支分工明确的队伍：所有成员先独立完成一段计算，到达同步点后交换结果并进行汇总，随后再进入下一轮。这样可以避免各处理器毫无规则地等待和通信。

Nested BSP把同一规则嵌入多个层级

百万级处理器不可能由一个中心节点逐个管理。Nested BSP把经典BSP递归嵌套：整座数据中心有一套并行阶段，超节点内部还有更小的并行阶段，机柜、板卡和芯片内部继续使用相似规则。

公开论文将其概括为四个反复出现的步骤：并行计算、同步屏障、数据交换与结果聚合，然后进入下一阶段。不同层级采用一致的组织逻辑，可以把超大任务拆成每一级都能管理的子任务。

灵衢UnifiedBus解决“怎么传得动”

统一协议减少转换

传统数据中心内部存在多种互联方式，处理器、内存、存储和网络设备之间的数据往往要经过协议转换。规模越大，转换带来的延迟、能耗和故障点就越明显。

灵衢的目标是用一套互联协议覆盖不同层级，让CPU、NPU、内存、SSD、网卡和交换设备可以在统一体系中通信。它不是简单把网速提高，而是试图让整个系统共享相近的内存访问语义。

统一编址降低数据搬运负担

统一内存寻址让不同计算单元能够在更大的地址空间中访问资源，减少应用反复复制数据和切换格式的需要。对大模型训练而言，中间结果和模型参数规模巨大，少一次不必要的数据搬运，就可能节省可观时间。

平等互联减少中心瓶颈

Peerium强调对等访问，而不是所有请求都先经过单一主控节点。这样做有利于CPU与NPU灵活组合，也能让内存和存储更接近共享资源池。不过，对等互联并不等于系统完全没有调度，实际任务仍需要软件层进行资源管理和同步。

软件模型与硬件互联为什么必须配套

如果只有高速总线而没有合适的并行算法，处理器仍可能因为任务划分不合理而闲置；如果只有Nested BSP而互联带宽和时延跟不上，软件设计也无法发挥作用。Peerium的思路是让软件嵌套层级与硬件层级一一对应。

从芯片核心、封装、板卡、机柜，到超节点和数据中心，每一层都有自己的并行范围与通信边界。Nested BSP负责任务组织，灵衢负责数据与内存访问，两者共同构成“许多处理器仍是一台计算机”的基础。

这种设计对大模型有什么价值

训练超大模型需要在不同处理器之间切分参数、数据、流水线和专家模块。Nested BSP适合把这些并行方式分层管理；统一内存和高速互联则有助于缩短同步与交换时间。

在推理场景中，不同请求对CPU、NPU、内存和缓存的需求持续变化。资源池化可以根据负载动态组合硬件，减少某类资源拥堵而另一类资源闲置的情况。理论上，这会提高吞吐量和硬件利用率。

它与普通分布式集群有什么不同

普通集群通常仍以多台独立服务器为基本单位，应用需要显式处理网络通信、数据切分和节点边界。Peerium希望把这些物理边界尽量隐藏在统一架构后面，让开发者看到更大的逻辑计算机。

但“像一台计算机”不代表物理距离消失。跨机柜和跨数据中心仍会受到光链路、故障率、同步成本和能耗约束。架构能否在百万级规模保持高效率，最终要靠实际工作负载证明。

FAQ

Q: Nested BSP和普通并行计算最大的区别是什么？

A: 它把计算、同步、交换和汇总的规则递归嵌入多个层级，使芯片、机柜、超节点和数据中心能够采用统一的分层并行方式。

Q: 灵衢UnifiedBus只是速度更快的网络吗？

A: 不只是。除了提高带宽、降低时延，它还试图统一不同组件和层级的互联协议，并提供统一编址与内存访问语义。