
导言
人工智能 (AI)、机器学习 (ML)、高分辨率视频流和增强现实/虚拟现实 (AR/VR) 等数据密集型应用的快速增长,导致超大规模数据中心和云服务提供商的数据流量激增,推动了对网络基础设施带宽需求的大幅增长,导致交换机系统和以太网光纤的总带宽每两到三年翻一番。
然而,带宽的指数级增长也带来了巨大的挑战:耗电量也相应增加。典型的数据中心都是按照固定的电力预算和能源使用预测建造的,因此必须在严格的电力范围内扩展带宽,否则就需要进行昂贵的基础设施升级。
这正是光电共封装技术(CPO)成为前景广阔的解决方案的原因所在。CPO 是新兴技术,将高带宽光学引擎与交换机 ASIC 或 CPU/GPU 等计算芯片集成在同一基板上。与传统的可插拔光收发器相比,CPO 通过使光组件更靠近计算芯片,具有多项关键优势,包括降低功耗、减少延迟和提高成本效益。
在本教程中,我们将探讨 CPO 的基本原理、发展、所涉及的关键组件、系统级集成挑战以及该技术对超大规模网络和高性能计算应用的潜在影响。
光电共封装器件的需求
对数据中心带宽不断增长的需求以及相关的功耗挑战,推动了对创新解决方案的需求。图 1 显示了过去几年 ASIC 和以太网带宽扩展的趋势,凸显了这两个领域的指数级增长。
随着带宽密度的增加,每一代产品的功耗要求也显着提高。图 2 进一步说明了这一趋势,显示在数据速率较高的情况下,光互联可占交换机系统总成本的 80%,在 51.2T 系统中约占系统总功耗的 50%。
为了应对这些挑战,业界正在进行各种努力,以优化整个交换机系统的互连和串行器-解串器(Serdes)功耗。其中包括高能效串行器设计、使用低损耗印刷电路板(PCB)材料、低损耗飞越电缆作为互连器件以及采用线性可插拔光学器件。不过,光电共封装器件(CPO)是特别有前途的方法,因为通过使光学收发器更接近 ASIC 芯片来优化功耗,从而无需使用耗电的复位时器和光学信号处理。
光电共封装方法
光电共封装(CPO)是构建交换机系统的一种模式转变,将光引擎封装在与交换机专用集成电路(ASIC)(或用于人工智能/移动计算应用的 CPU/GPU 集成电路)相同的基板或中间件上。这样,ASIC 就可以直接驱动光器件,而无需在光引擎中单独安装数字信号处理器 (DSP)。
图 3 描述了可用于降低交换机系统功耗的各种架构选择,其中 CPO 方法是系统功耗优化方面最有效的方法之一。通过将光学引擎封装在专用集成电路旁边,并允许专用集成电路直接驱动光学器件,CPO 可以显着降低整体系统功耗,估计可降低 25%-30% [11,12]。这是由于取消了光学器件中功耗较高的 DSP,以及在 ASIC 上使用功耗较低的 Serdes(XSR 对 LR)。
CPO 系统的关键部件是光引擎和交换系统组件,将在下面的章节中进行讨论。
基于硅基光电子技术的光引擎
CPO 的关键推动因素是硅基光电子技术的发展,利用标准互补金属氧化物半导体(CMOS)制造工艺,可在单个硅芯片上密集集成多个光电子和电子器件。这些器件包括光调制器、光电探测器、低损耗光波导、光耦合结构、热敏电阻、传感器、电容器,在某些情况下甚至还包括模拟电子器件,如跨阻放大器(TIA)和驱动器。
通过这种集成,可以利用半导体封装和装配技术,经济高效地大规模生产可与 ASIC(或 CPU/GPU)共同封装的光子互连器件。思科在开发基于硅基光电子技术的高度可扩展 PAM-4 光互连方面一直处于领先地位,其 400G FR4 架构具有低损耗调制器、低损耗光耦合结构和集成 Mux-Demux(复用-解复用)等关键特性。
为了实现光电芯片 (PIC)、电子芯片 (EIC) 和其他组件之间的高度集成,并优化光系统的信号和电源完整性,2.5D 或 3D 封装架构具有明显的优势。这些封装方法能够在紧凑的空间内紧密集成 PIC 和 EIC 组件,并允许使用成熟的半导体组装工艺进行光学器件的共同封装。
光纤与用于 CPO 的光引擎耦合是另一个重大挑战。根据 CPO 应用的不同,光引擎可能有 24 到 72 个以上的光纤通道,包括用于将远程激光光功率耦合到硅基光电子集成电路的偏振保持(PM)光纤。对于如此庞大的光纤阵列,芯片或封装翘曲在决定光耦合效率和耦合解决方案可靠性方面起着重要作用。
因此,大信道密度光纤阵列的光耦合需要优化整体光学封装翘曲、光纤排列轴以及光学组件中使用的耦合结构的效率。
光电共封装器件的系统集成
在 ASIC 平台上共同封装光引擎需要复杂的芯片级和系统级组装。涉及到协同封装机械和热设计、电源传输架构、封装翘曲管理和组装材料选择方面的多项创新。
大型基板(通常大于 80 x 80 毫米)需要同时容纳开关 ASIC 和 8 至 16 块光学瓦片组件。由于各种装配组件之间的热膨胀系数 (CTE) 不匹配,这就导致了封装中的高翘曲和高应力。采用正确的材料组合、装配技术和使用具有优化 CTE 的加强筋材料进行翘曲管理,对于实现高性能、高可靠性的共封装很重要。
先进的基板材料和制造技术对于在 ASIC 和光芯片之间实现低损耗通道也很重要,其中减少通道不连续性、降低通道损耗和实现短通道长度都是关键参数。
CPO 的热管理很重要,因为高功率 ASIC 和各种光引擎共享相同的空间,增加了系统中心的热密度。防止 ASIC 和光电芯片之间的热串扰对系统的性能和可靠性很重要,增大表面积散热系统的设计和战略布局,以及先进的空气冷却机制,有助于有效散热和防止与温度相关的性能下降。
为了使 CPO 系统更加可靠和坚固,必须增加电力和光源的冗余。出于这个原因,激光源被开发成一个远程激光器封装,与 ASIC 封装分开组装,这是因为考虑到热串扰问题,以及在出现现场故障时缺乏可修复性选择。
思科与其他几家行业合作伙伴一起,推动了 ELSFP(外置激光小型可插拔)模块标准多源协议 (MSA) 的开发,目的是提高 CPO 的成本效率、制造可扩展性和光功率源的标准化。这些 ELSFP 模块允许激光器采用被动冷却方式,运行效率更高、更可靠,并可在现场更换。
扩展和部署方面的挑战
虽然 CPO 具有巨大的潜在优势,但其系统集成也面临着一些挑战,包括信号完整性和高速通道优化、封装、热管理和整体系统可靠性。
最大限度地减少高热耗散功率 ASIC 与光学器件之间的热串扰,以及管理整体封装的应力和翘曲,这些都是独特的挑战,需要创新的热学、光学机械和电气设计解决方案。
对各种组件的可靠性进行建模和论证,对于 CPO 在数据中心网络和 AI/ML 应用中的成功应用很重要。由于大部分光学引擎组件(激光源除外)都在交换机箱内,一旦发生故障,现场维修或更换都是不可行的。因此,必须证明光学引擎组件的可靠性和故障时间 (FIT) 率是数据中心用例应用可以接受的,在某些情况下,可能需要证明其可靠性和故障时间 (FIT) 率等于或优于交换机 ASIC 系统组件。
总结
光电共封装技术(CPO)为超大规模网络和高性能计算应用所面临的功耗和成本挑战提供了前景广阔的解决方案。通过在计算芯片旁集成高带宽光学引擎,CPO 可以显着降低系统的总体功耗和成本,同时还能改善延迟。
要实现 CPO,就必须紧密集成各种光电子和电子器件,特别是高带宽光学引擎和 ASIC/CPU/GPU封装。要在数据中心环境中可行地部署 CPO,就必须解决与光学组装、机械设计和组装以及散热解决方案有关的集成难题。
硅基光电子技术在实现光学和电子组件微型化方面发挥着重要的作用,允许使用标准半导体工艺对光学组件和 ASIC 进行共同封装。这对于在小型器件中提供高密度光学和电子通道带宽以及实现可靠和经济高效的系统非常重要。
虽然已经开发出一些技术解决方案来缓解集成、产量和可靠性方面的挑战,但由于对现场可靠性、可维修性、可能的系统停机时间以及与同类可插拔光学解决方案相比在成本和性能上的显着优势等方面的担忧,CPO 的大规模应用仍然面临着关键挑战。
尽管存在这些挑战,但光电共封装技术在降低整体系统功耗、互联延迟以及实现下一代数据中心和高性能计算应用的环境可持续发展和治理目标方面显示出巨大的潜力。随着业界不断推动这一领域的创新,CPO 的广泛采用将极大地塑造超大规模网络和计算的未来。
参考文献
[1] S. Razdan、M. Traverso 和 A. Torza,《面向超大规模网络的共封装光学集成》,思科系统公司,[在线]。Available: https://ieee802.org/3/B400G/public/21_02/chopra_b400g_01_210208.pdf