对人工智能(AI)永无止境的需求正在推动人工智能模型的规模和复杂性的爆炸式增长,这就需要成千上万个 GPU 并行的大规模计算能力。这种不断增长的计算需求推动了人工智能数据中心对超高带宽网络的需求。基于铜缆的传统电气互连正面临着巨大的扩展挑战,因此迫切需要能提供更高带宽、更长距离、更低功耗和更小外形尺寸的光互连解决方案。硅基光电子技术是将光学组件集成到硅芯片上的技术,在ISSCC2024论坛上,来自 NVIDIA 的Tom Gray博士题为”Silicon Photonics and Foundry Requirements for AI Datacenters”的报告讲述了满足下一代人工智能数据中心严格要求的硅基光电子技术以及工艺代工厂要求 [1],本文将解说其内容。人工智能数据中心通常采用分层网络架构,如图 1 所示。在最底层,计算集群由数百到数千个 GPU 组成,这些 GPU 通过英伟达™(NVIDIA®)的 NVLink over NVSwitch Fabrics 等高速链路互连。然后,使用基于 InfiniBand 或以太网的数据中心网络将这些计算集群扩展到数万个节点。
图 1. 人工智能数据中心网络架构
计算集群的扩展需要超高的带宽、定制网络和信息传递,而数据中心的扩展则需要通过标准化的 InfiniBand 或以太网 Fabric 获得更多的带宽。英伟达™(NVIDIA®)最新的Hopper架构的目标是在DGX计算集群中将GPU的数量扩大到256个以上,在数据中心中将节点数量扩大到10,000个以上。当今的计算集群在很大程度上依赖铜互连来实现板级和机架级通信。然而,铜缆的覆盖范围正在缩小,每线带宽正在停滞,电缆的尺寸和重量也在增加,从而导致成本上升。同时,传统的多机架和数据中心光互连存在成本高、可靠性低、功耗大和外形尺寸大等问题。为了应对这些挑战,人工智能产业正在追求光电融合,即将光学组件与电子电路紧密集成在同一封装或芯片上。这种集成光电融合解决方案的目标规格非常宏大:- 外形小巧: >大于 4 Tbps/mm,大于 0.5 Tbps/mm^2
图 2. 光电融合技术目标
实现光电融合的主要方法是基于微环谐振器的密集波分复用 (DWDM) 链路。如图 3 和图 4 所示,微型环形波导可充当高选择性滤波器,在单根光纤上实现多个光波长的复用和解复用。
图 3. 微环谐振器
图 4 - 微环谐振器调制器- 选择性强,品质因数 (Q) 高达 5,000-8,000- 用途广泛--单个器件可用作调制器和多路复用器/解复用器- 面积小(半径 <5 μm),电容小,驱动功率低如图 5 所示,通过在微环的自由光谱范围(FSR)内封装多个波长信道,DWDM 链路可以实现巨大的单位光纤吞吐量,同时通过使用较慢的密集信道来保持能效。
图 5. 微环谐振器可用频谱
图 6 显示了基于微环的 DWDM 链路令人印象深刻的扩展潜力,预计到 2025 年,每根光纤的吞吐量将达到 1 Tbps,同时将每线能量降至 1 pJ/bit以下。高带宽和出色能效的完美结合,使 DWDM 链路成为满足人工智能数据中心不断增长的网络需求的极具吸引力的解决方案。
图 6. 扩展 DWDM 带宽和能耗虽然基于微环的 DWDM 方法前景广阔,但要充分发挥其潜力,还必须应对几个挑战:1.仿真和建模:需要全面的仿真和建模能力,以准确捕捉 DWDM 链路中的串扰、自热和四波混合等多波长效应(图 7-8)。2.硅基光电子设计工具包(PDK)和代工厂:一个强大的硅基光电子代工生态系统可提供具有器件模型、布局能力和多波长仿真支持的综合 PDK,这对于实现光电融合技术的广泛应用非常重要(图 9-10)。3.光电子组件和可变性:微环、耦合器和光电探测器等光子器件的精确建模和设计很重要,需要考虑工艺变化和温度波动等环境因素。4.激光器:低成本、高效率和高性能的多波长激光梳对于 DWDM 链路很重要。潜在的解决方案包括 DFB 阵列、硅基异质 III-V 激光器和非线性谐振梳(图 11)。5.封装:需要可靠且具有成本效益的封装解决方案来集成光电子芯片和电子芯片、将光耦合到芯片或从芯片耦合出光,以及管理热环境(图 12-14)。
图 7. DWDM 微环建模
图 8. 微环模拟要求
图 9. DWDM PDK 全景
图 10. DWDM PDK 基础设施
图 11. 用于 DWDM 光子技术的激光器
图 12. 2.5D 集成光学器件的封装
图 13. 热模拟
图 14. 热模拟热管理是协同光电融合技术特别关键的方面,因为光子和电子组件的紧密集成会导致严重的热串扰和瞬变。图 13 和图 14 说明了 ASIC 和邻近微环中的瞬态功率对目标微环调制器的温度和共振偏移的影响。如图 15 所示,有效的热控制回路对于将微环温度保持在较窄范围(通常为 ±0.4K)内以防止共振偏移导致性能下降至关重要。这些控制环路的设计必须能够处理来自 ASIC 和邻近光电子组件的瞬态热冲击。
图 15. 热控制然而,要实现光电融合技术的全部潜力,需要共同努力应对从光电子器件建模和仿真到激光器开发、封装和热管理等整个生态系统所面临的挑战。强大的代工基础设施,包括全面的 PDK 和多波长仿真能力,对于这些尖端技术的广泛应用至关重要。
随着人工智能革命的步伐不断加快,光电融合技术将在为下一代超高性能、高能效人工智能数据中心提供动力方面发挥关键作用,从而开启深度学习、计算机视觉、自然语言处理等领域的新前沿。[1]Gray, T. (2024). Silicon Photonics and Foundry Requirements for AI Datacenters. Paper presented at ISSCC 2024 - Forum 6.7.