
引言
理解数据中心网络演进需要掌握一个多年来指导网络设计的基本原则。对于高性能计算和人工智能工作负载,这些应用对延迟和带宽都有严格要求,传统方法是尽可能使用交换,只在必要时才使用路由。同样,在物理连接方面,铜缆一直是首选方案,只有在铜缆无法满足性能要求时才选择光纤[1]。
当前铜缆面临的挑战
英伟达的大规模GB200 NVL72系统完美展示了基于铜缆网络的优势和局限性。这个令人印象深刻的机架级系统整合了36个服务器节点,每个节点包含两个Blackwell B200 GPU加速器,配对一个Grace CG100 Arm处理器,构建出一个共享内存集群,包含36个CPU和72个GPU协同工作。然而,该系统需要超过5000根粗铜缆来维持组件间的连接,使用运行在224千兆位每秒的NVLink 5 SerDes技术。
铜缆传输的基本物理特性造成了不可避免的约束。工程师每次将铜线带宽提高一倍时,信号衰减也会翻倍,有效地将清洁信号传输的最大缆线长度减半。当英伟达在未来的Rubin GPU加速器中引入NVLink 6技术时,这种带宽翻倍将限制连接范围至大约半个机架的GPU,如果热管理变得更加困难,范围可能更小。
硅基光电子技术的解决方案
认识到这些限制,英伟达宣布向硅基光电子和光电共封装(CPO)技术转型,应用于Quantum InfiniBand和Spectrum以太网交换机系列。这代表了解决数据中心网络中不断升级的功耗和成本挑战的新方法。
问题的规模在检查当前光收发器需求时变得清晰。在一个典型的数据中心中,容纳10万台服务器和40万个GPU,完全互连需要大约240万个光收发器。这些收发器消耗约40兆瓦功率,仅激光组件就占据其中24兆瓦的消耗。
图1:数据中心规模下光收发器的功耗分布和成本分析
图2:包含10万台服务器和40万个GPU的数据中心配置方案
技术架构和实施方案
英伟达的CPO方法为不同的交换机系列采用两种不同的架构策略。Quantum-X InfiniBand设计采用单片交换机ASIC芯片,集成六个CPO模块,每个模块包含三个连接器,总共提供36个端口,运行速度为800千兆位每秒。这种设计优先考虑可制造性和成本效益,同时保持高良品率。
Spectrum-X以太网交换机采用不同的多chiplet设计方法。架构包括一个中央单片数据包处理引擎,周围环绕八个SerDes chiplet,每侧放置两个,另外四个角落chiplet。每侧提供九个端口,总共36个端口,运行速度为800千兆位每秒。
图3:Quantum-X InfiniBand和Spectrum-X以太网的不同架构设计
两种设计都使用运行在每通道224千兆位每秒的SerDes技术,四个通道组合创建每个端口。考虑编码开销后,这种配置每端口提供净800千兆位每秒的速度。
功耗效率和信号质量改进
向CPO技术转型在功耗效率和信号质量方面带来显著改进。传统可插拔光器件每个收发器需要30瓦功率,包括数字信号处理器的20瓦和外部调制激光器的10瓦。相比之下,CPO技术通过交换机中的2瓦连续波激光源和7瓦集成光引擎,将每端口功耗降至仅9瓦。
图4:传统光收发器与CPO技术在功耗方面的对比分析
这种减少转化为整个数据中心网络功耗降低约3.3倍。此外,CPO技术通过将组件转换从五次减少到仅一次,显著改善信号质量,将信号损失从22分贝降低到仅4分贝。
图5:CPO技术如何减少信号转换次数并改善信号质量
产品性能优势
CPO技术的实施带来了多方面的性能提升。在相同的光器件功耗条件下,可以支持3.3倍数量的GPU。同时,连接任意给定数量GPU所需的激光器数量将减少超过4倍。关键在于Quantum-X和Spectrum-X交换机内部的激光源要么在现场故障时易于更换,要么足够可靠以至于无需担心此问题。因此,配备CPO的Quantum-X和Spectrum-X交换机将采用液体冷却,允许运行温度更低,避免激光器性能不稳定。
图6:展示CPO技术如何在相同功耗下支持更多GPU连接
产品发布时间表
这些论文代表了光通信和光子学领域的最新研究成果,展示了推动该领域发展的创新工作。每篇论文都为现代通信系统面临的挑战提供了独特的见解和解决方案。英伟达计划分阶段推出三款支持CPO的交换机。Quantum 3450-LD将在2025年下半年到达,配备四个Quantum-X CPO插槽,提供144个端口,总带宽为115太比特每秒。Spectrum-X交换机将在2026年下半年跟进,SN6810提供128个端口,SN6800提供令人印象深刻的512个端口,总带宽达409.6太比特每秒。
图7:Quantum-X交换机的完整线缆连接配置
通过整合硅基光电子技术和光电共封装方案,英伟达为解决当前网络面临的功耗、成本和性能挑战提供了实用的工程解决方案。随着人工智能和高性能计算工作负载继续增长,这些技术进步将为数据中心运营商提供更高效、更经济的网络连接选择。
参考来源
[1] T. P. Morgan, "Nvidia Weaves Silicon Photonics Into InfiniBand And Ethernet," The Next Platform, Mar. 18, 2025. [Online]. Available: https://www.nextplatform.com/2025/03/18/nvidia-weaves-silicon-photonics-into-infiniband-and-ethernet/. [Accessed Aug. 17, 2025].
END