Whoscored(中国·中文)官网-专注足球数据分析的专业平台

陈昇祐，Whoscored中文官网

引言

为满足人工智能（AI）、高性能计算(HPC)和其他数据密集型工作负载的日益增长的需求，需要先进的互联解决方案来实现多GPU之间的高带宽、低延迟通信。NVIDIA一直处于开发这些技术的前沿，包括用于快速GPU间连接的NVLink、用于网络拓扑的NVSwitch，以及用于芯片间通信的先进封装和硅基光电子技术。

图一  NVLink：具有可扩展IO和NVSwitch的直接GPU互连，实现全速多节点通信

NVLink

NVLink是NVIDIA的高速GPU直接互连技术，可实现服务器或工作站内的多GPU扩展。与传统的PCIe解决方案相比，NVLink提供了显着更高的带宽、更低的延迟和更好的可扩展性，使多GPU系统能够更高效地处理AI和HPC工作负载的通信需求。最新NVLink实现在两个GPU之间提供高达900 GB/s的双向带宽，比PCIe 4.0高出近10倍。 使用NVLink,延迟也降低到只有几百纳秒。这种互联性能的显着提高使工作负载可以在多个GPU上更高效地扩展。NVLink使用针对GPU通信模式中典型的小数据包和顺序交付进行了优化的混合数据包协议。它通过系统板或NVLink桥接芯片上的简单、窄轨迹连接，最小化了路由拥塞问题。 NVLink对GPU驱动程序和应用程序透明，不需要任何代码更改。它在CPU和GPU之间实现了完全缓存一致性，保持了数据一致性。NVLink为需要高带宽、低延迟和可扩展性的多GPU AI和HPC工作负载提供了所需的互连性能。它克服了PCIe的局限性，同时无缝集成到软件生态系统中，加速了系统性能。NVLink带宽和延迟性能代代提升，并行链路数量也在不断增多，可以支持更大规模的多GPU系统互联。

NVLink不同版本的关键特性比较: 

NVSwitch

在NVLink的基础上，NVIDIA开发了NVSwitch，这是一种网络交换机，可在单节点或多节点系统内实现全速多GPU通信。 NVSwitch可以互联最多256个GPU，具有惊人的57.6 TB/s总带宽，非常适合最大型的AI工作负载。

NVSwitch使用NVLink链接在GPU对之间提供直接的对等全带宽连接。可以将NVSwitch系统配置为不同的拓扑(如网状或混合立方体网状),以优化各种工作负载和封装配置。 NVSwitch管理GPU之间的路由并使用拥塞控制机制来防止瓶颈。

与NVIDIA早期GPU互联结构相比，NVSwitch提供了大幅提高的带宽，使GPU能够最大限度地利用彼此之间的通信容量。直接的GPU到GPU路径也降低了延迟。这使得可以使用NVSwitch构建更具可扩展性的多GPU系统。NVSwitch完全集成到了NVIDIA的加速计算栈中,包括CUDA、GPU驱动程序、多进程服务软件和库。这使应用程序可以无缝地利用NVSwitch的功能，而无需任何代码更改。 NVSwitch系统还可以通过Mellanox InfiniBand网络耦合以实现多节点配置。

NVSwitch的性能指标如下： 

NVIDIA NVSwitch为节点内GPU通信可扩展性和性能设定了新的标准，为极其强大的AI超级计算机和数据中心铺平了道路。

先进的封装与硅基光电子技术

为了进一步推进互联功能，NVIDIA正在利用先进的2.5D和3D封装以及硅光子技术，这些解决方案可以实现极高能效和高密度的芯片间通信。

1. 先进封装：

使用先进的晶圆级封装技术，以使用高密度的细间距微球垂直互连多个芯片。这使芯片间可以传输比板间连接更多的数据。

NVIDIA利用CoWoS的封装技术，使用超过10,000个微球将GPU芯片与HBM内存堆栈集成并连接到NVLink交换机芯片上。这种2.5D集成通过NVLink在GPU之间提供了非常宽的带宽，同时具有高内存带宽。

其他3D堆叠技术如硅通孔（TSV）可以进一步增加芯片间的互联密度，这些封装创新结合在一起，可以更紧密地集成更多组件以获得更高的系统性能。

2. 硅基光电子技术

虽然电信号在互联容量和效率方面已达到极限，但基于硅基光电子的光学互联为克服这些挑战提供了一条途径。通过使用光传输芯片间的高速数据，硅光子可以提供比电连接更高的带宽和更低的功耗。

NVIDIA正在开发硅基光电子技术，以实现未来GPU系统的高通量、高能效光学NVLink连接。使用波分复用技术，每根光纤线缆都可以携带每秒数TB的数据容量。这使NVLink组件可以扩展到跨数据中心的数千个互连GPU。

光收发器和调制器与CMOS控制逻辑一起集成在硅封装中。 光源则由外部提供。这种共封装光学（CPO）方法结合了硅基光电子技术与先进2.5D集成的优势。

为了促进这些先进光子封装解决方案的设计和仿真，NVIDIA可以利用像PIC Studio这样的电光联合设计工具。 PIC Studio实现了电子驱动电路和光子组件的联合仿真，确保信号在电光界面的完整性。它还与Spectre等电子仿真器的互操作性，将CMOS和光子仿真链接起来。 主要的硅基光电子厂商的PDK支持进一步加速了开发工作流程。 PIC Studio中的光收发器基础模块可以用于模拟NVLink设想的高速光链路。 总体而言, 硅基光电子利用光的速度和效率将系统互连性能推向新的高度。与先进的封装技术相结合，这项技术将支持下一代万亿字节超级计算机和大规模AI训练的需要。

互联技术路线图

NVIDIA将继续推进NVLink和NVSwitch技术，以赶上AI和HPC工作负载不断增长的需求。每一代都会增加带宽、降低延迟和扩大连接规模。

去年公布的NVLink C2C将NVLink作为高速、 Cache一致性互连在自定义芯片与NVIDIA GPU、DPU和CPU之间开放使用。这将支持构建由多芯片集成的新型异构计算系统。 NVLink C2C支持行业标准像CXL和AMBA CHI以实现互操作性。

展望未来,随着先进封装和硅基光电子解决方案的成熟，光I/O技术将进入NVIDIA生产系统。采用CPO的多GPU服务器将在带宽容量和能效方面取得巨大飞跃。 GPU、内存和交换机的更紧密集成也将提升系统性能。

结论

NVIDIA的长期愿景是架构高性能的加速计算平台，从芯片到整个数据中心。其中的关键是开发像NVLink、NVSwitch和光网络等创新互连，以消除通信瓶颈。 多GPU扩展和芯片集成正在成为推进AI和HPC功能的关键。凭借其深入的专业知识和持续的研究，NVIDIA旨在提供世界领先的互连解决方案，以支持下一代万亿字节级计算的需要。