当AI模型参数迈入万亿级别,数据中心的通信瓶颈不再是算力,而是网络。亚马逊AWS近期公开了一篇由网络架构奠基人James Hamilton亲自撰写的工程实践,详细阐述了在大规模数据中心中实现扁平化网络架构的设计思路与部署考量。这篇内容迅速在Hacker News上引起热议,原因直白:它解释了支撑AWS庞大AI训练集群的底层网络究竟如何工作。
传统数据中心网络多采用三层(接入-汇聚-核心)拓扑,层次越深,延迟越高,带宽折损越严重,且路由配置复杂,难以应对超大规模集群的横向扩展。亚马逊的扁平化设计核心在于直接打通物理层与路由层,大幅减少交换机层级,用更简单的拓扑实现任意节点间的低延迟高吞吐。具体而言,他们放弃了传统CLOS模型的过度分层,转而采用更接近物理连线的直连或稀疏CLOS结构,并针对性优化了路由策略(如ECMP负载均衡的细粒度调整),从而在数千张GPU同时训练时,将跨机通信延迟控制在微秒级。
这一架构并非凭空而来。对比谷歌自2008年就开始迭代的Jupiter网络,亚马逊的路径更为务实:不追求理论上的全网状,而是围绕实际流量模型做减法。在AI训练场景下,流量呈现“南北向”缩减、“东西向”并发特征,扁平化天然适配后者。而微软Azure此前被广泛讨论的“光环路”方案,更强调光学交换的灵活性,亚马逊则选择依靠纯电交换+精细化路由来降低成本与运维复杂度。三家云巨头殊途同归,但亚马逊的版本对自有数据中心建设者更具参考价值——因为它不依赖特定光器件,普适性更强。
值得注意的是,文章并未披露具体模型或性能评测数据,但这恰恰体现了工程实践的务实:架构设计的成败不在参数表,而在大规模生产环境中的稳定性与可运维性。James Hamilton作为AWS基础设施的掌舵者,其团队能在数千节点网络中实现近乎线性的带宽扩展,靠的是对拓扑简化、故障域隔离与路由收敛时间的深度打磨。
对基础设施工程师的启示:不要盲目堆叠网络设备层级。评估自身集群的通信模式,优先削减不必要的跳数;路由策略的精简比硬件升级更易见效——例如用流表预均衡替代动态负载均衡。展望未来,随着AI模型向MoE(混合专家)结构发展,节点间通信模式将更碎片化,扁平化网络从“可选”变为“必需品”。亚马逊此番开放自身经验,实质上是为整个行业搭建了一个可复用的工程模板,而不仅是公关材料。