亚马逊扁平化网络揭秘:支撑AWS万亿参数AI训练的基础设施演进

亚马逊网络架构的灵魂人物James Hamilton近期公开了支撑AWS大规模AI训练的数据中心网络设计核心思路,引发基础设施领域广泛关注。这篇来自工程一线的分享,直指当前业界在构建超大规模集群时最棘手的难题——如何在数十万GPU节点间维持一致的高带宽与微秒级延迟,同时避免路由策略失控。

传统分层架构的困境在于:当GPU数量突破万级,三层Clos拓扑中的ECMP哈希冲突、流表膨胀、链路负载不均等问题会急剧恶化。亚马逊的做法是彻底抛弃复杂的多级聚合,采用“极简扁平化”思路——减少物理层跳数,用协议层面的精细控制替代拓扑冗余。Hamilton强调,核心不在于选用哪种特定交换芯片或光模块,而在于路由策略能否随集群规模线性扩展,且不引入额外控制面开销。

亚马逊的具体实践可归纳为三点:第一,采用折叠Clos变体将东西向流量的转发路径压缩至2-3跳,同时利用分布式任播(Anycast)技术消除核心层SPOF;第二,针对AI训练中AllReduce、All-to-All等通信模式,设计专用流调度算法,避免因TCP incast导致的吞吐坍塌;第三,将网络控制平面与数据平面解耦,通过集中式意图管理动态下发转发表,使万级端口的收敛时间从分钟级降至秒级。

这一架构与谷歌Jupiter、微软Global AI Network形成鲜明对比。谷歌倾向于垂直整合光电路交换与定制交换机,微软则依赖可编程交换机(P4)动态调整转发路径。亚马逊方案的优势在于对现有商用硬件的兼容性——无需大规模定制芯片,即可在Bare Metal实例上复现接近物理直连的性能。但其代价是要求运营商具备极强的系统级调优能力,对运维团队的知识面广度与自动化工具链提出更高要求。

对国内基建团队的启示:在追求“万卡集群”的热潮中,不宜盲目堆叠带宽或引入未成熟的硅光方案。亚马逊的经验证明,理清业务通信模型、简化拓扑层次、提升路由策略的确定性,往往比单纯升级硬件更能释放尾部延迟裕量。对于正在建设AI训练云的团队,建议优先验证:当前的ECMP是否真正均匀?流完成时间是否有长尾?控制平面能否在中断后快速重收敛?

长远来看,随着模型参数迈向十万亿级,网络扁平化将成为必然趋势。结合分布式缓存、内存池化等新技术,未来数据中心可能进一步压缩为“一跳直达”的全光互联架构。亚马逊此次披露的工程细节,恰为业界提供了一份从现有生态平稳过渡的路线图样本。