智算组网架构

ZCube:自研新型算力组网架构

当前,国内外主流智算中心普遍采用CLOS及其变种组网架构。该类架构采用多级交换机组网,通过Leaf和Spine交换机的分层互联实现网络扩展。尽管CLOS架构理论支持无阻塞通信,但其存在三大重要问题:1)成本偏高。CLOS架构采用交换机层次化互联方式进行大规模组网,在万卡以上规模集群中,网络成本可占集群总成本的20%以上;2)实际性能偏低。CLOS架构在实践中通常采用哈希算法在平行路径之间进行流量负载均衡。哈希冲突导致的带宽浪费和网络拥塞,在实践中严重影响端到端模型训练和推理性能;3)容错性不足。CLOS网络中Spine交换机或关键链路一旦故障,影响范围常扩散至整个集群,导致大规模服务降级或中断。并且由于CLOS架构所需网络设备较多,CLOS网络出现设备故障的概率较高,显著影响了大模型训推性能。

ZCube拓扑是上海驭驯网络科技有限公司与清华大学联合提出的一种新型智算组网架构,与CLOS网络相比,可实现成本、性能与可靠性的显著提升,并可应用于从百节点到百万节点规模的算力组网。ZCube网络采用全对称互联架构,在同等规模下,相比CLOS网络,ZCube可减少33%-60%的交换机与光模块数量,大幅降低组网成本,在构建万卡级集群时可节省数亿元投资。ZCube网络在降低组网成本的同时,还可明显提升网络性能。由于ZCube拓扑架构内嵌负载均衡特性,在智算流量模式下可实现无阻塞通信,避免了哈希冲突带来的流量阻塞问题。在容错性方面,ZCube的全网连通设计与无Spine交换机设计使得单点故障影响范围更小,网络整体可用性更高、容错性更强。