
简介
本文以2021年Rockley Photonics论文来谈及光电共封装(CPO)器件的观念,逻辑清晰,但需要注意的是,其中的数据可能已经过时。高容量、高密度、高能效和高成本效益的光链路对现代数据中心基础设施很重要。在过去十年中,以太网交换机和光模块的容量都有了显着提高,交换机从 0.64 Tb/s 提高到 25.6 Tb/s,光模块从 10 Gb/s 提高到 400 Gb/s。然而,目前可插拔数据中心光模块的发展蓝图并没有超过每个模块 800 Gb/s。光链路的进一步扩展面临着功耗、单位容量成本和带宽密度方面的巨大挑战。
这些挑战促使转向新的部署模式,即光电共封装器件(CPO),将光学元件集成到更靠近主交换 ASIC 的位置。本教程文章讨论了推动向 CPO 过渡的因素、技术要求和使能技术、行业采用途径以及对数据中心网络架构的潜在影响。
数据中心交换机 ASIC 的演变
商用芯片的兴起极大地改变了过去由专有硬件和软件主导的以太网交换机市场。如今,网络设备通常基于第三方芯片供应商设计和销售的 ASIC。这使得生态系统更加开放,网络运营商有了更多的选择来定制自己的网络。
以太网交换机 ASIC 的发展轨迹令人瞩目,通过交替增加服务器通道数和每通道信号传输速率,其容量大约每两年翻一番(表 1,图 1)。最新一代交换机 ASIC 的容量为 25.6 Tb/s,是通过使用 256 个以 50 Gb/s 速率运行、采用 PAM4 调制的服务器实现的。
展望未来,下一代交换机 ASIC 可能会采用 56 GBd PAM4 服务器,使总吞吐量达到 51.2 Tb/s。不过,这些高速服务器的能效将非常重要,因为在 51.2 Tb/s 交换 ASIC 中,其功耗可能超过 300 W。
表 1 交换机 ASIC 演进。
最右边两列为预测值。数据来源:Broadcom [1]
图 1 交换机 ASIC 演进。数据来源:Broadcom [1]
数据中心光学技术路线图
面板可插拔 (FPP) 光模块已成为数据中心光链路的主流部署模式。FPP 模块具有多种优势,包括根据使用情况灵活匹配光接口,能够进行现场升级和维修,以及多源协议 (MSA) 的出现实现了互操作性和多供应商生态系统。
数据中心光学接口由 IEEE 802.3 以太网标准和各种 MSA 定义。对于 400G 以太网,主要 PMD 选项包括并行多模光纤(SR16、SR8)、带波分复用功能的双工单模光纤(FR8、LR8、ER8)和并行单模光纤(DR4)(表 2)。400GBASE-DR4 和 -FR4 PMD 是数据中心内连接的重点。
除了光接口,数据中心光器件还需要电接口,这些接口通常基于光互联网论坛(OIF)定义的通用电气接口 (CEI)。这些接口包括 LR、MR、VSR、XSR 和 USR 服务器,在覆盖范围、功率和灵活性之间进行权衡(表 3)。
表 2 400 GBASE 光端口类型。
(来源:IEEE 802.3: 来源:IEEE 802.3。标有星号的条目尚未最终确定(IEEE 802.3 cu、802.3 cm)。)
表 3 光互联网论坛 [2] 定义的 OIF-CEI-112G 链路类型。
其中,IL = 插入损耗,DAC = 直接连接铜缆,C2C = 跨背板的芯片到芯片,C2M = 芯片到模块,C2OE = 芯片到光引擎,D2D = 芯片到芯片
数据中心光互连面临的挑战
尽管 FPP 模块取得了成功,但正在出现的一些问题可能会限制其进一步扩展:
表 4 面板带宽密度,假设每个 RU 有 32 个模块。最后两行需要新的 FPP 外形尺寸
将光器件移入内部: 光电共封装(CPO)器件
为应对这些挑战,业界探索将光器件从面板移入交换机机箱并靠近主交换 ASIC 的概念,这种方法被称为光电共封装器件 (CPO)。这可以看作是从目前的面板插接模式到板载光器件,再到完全集成的 2.5D 和 3D CPO 的演变(图 3)。
CPO 的主要优势在于能够:
然而,转向 CPO 还需要克服几个挑战:
CPO 要求和支持技术
与可插拔光器件相比,CPO 解决方案必须在能效(目标:10-15 pJ/bit)和单位容量成本方面实现大幅(>50%)改进,才能获得广泛采用。这需要满足几个关键技术要求:
光电芯片是实现这些 CPO 要求的关键因素。虽然存在各种集成平台,包括硅基光电子、磷化铟和氮化硅,但硅基光电子技术因其能够提供广泛的光电子功能、高集成度和批量生产的潜力而脱颖而出。
对网络架构的影响
向 CPO 过渡将对数据中心网络架构产生重大影响。由于 CPO 能够实现更高的端口密度和更低的功耗,为网络简化和整合提供了新的可能性。
CPO 的一个潜在渐进式采用途径是,首先在spine-leaf结构中使用 400GbE-DR4 和 -FR4 CPO 引擎(图 4)。下一步,leaf交换机的上行链路可以迁移到 CPO,可能会使用混合 CPO 和可插拔光器件的混合方法。最后,leaf交换机的下行链路也可以过渡到 CPO,从而形成具有不同类型 CPO 引擎的交换机(例如,上行链路采用 FR4 引擎,下行链路采用 DR4 引擎)。
此外,TOR 层也可能受到影响,因为 CPO 可以将许多小型 TOR 交换机合并为一个大型交换机。这可以大大减少网络中交换机盒的总数,简化管理并提高总体成本和能效。不过,TOR 层可能仍需要一些可插拔端口,以支持用于服务器连接的铜缆 DAC。
除了 “TOR-spine-leaf ”架构外,CPO 所支持的高级交换机 ASIC 的全部功能有可能使 TOR 层完全消失,从而实现更精简的 “leaf-spine ”网络拓扑结构,并提供光纤到服务器 (FTTS) 连接。这将需要具有成本效益的较短距离 CPO 链路,有可能基于多模光纤或经过距离优化的单模光纤 PMD。
结论
面板可插拔式光模块为数据中心行业提供了良好的支持,但其路线图在功率、成本和密度方面已达到极限。共封装光学器件(CPO)是有前途的替代方案,通过将光学器件集成到更靠近主交换 ASIC 的位置来应对这些挑战。
虽然仍存在技术挑战,但整个行业摆脱根深蒂固的可插拔光器件模式的惯性则进一步阻碍了 CPO 的采用。与可插拔光学件相比,要证明潜在的总拥有成本(TCO)至少可节省 50%,才能推动 CPO 的广泛采用。
CPO 的关键推动因素包括先进的光电芯片,特别是硅基光电子技术,以及建立行业标准和多源协议的合作努力。随着 CPO 的普及,还将促进数据中心网络架构的简化和整合,并有可能导致采用光纤到服务器连接的更精简的 “leaf-spine”拓扑结构。
向 CPO 的过渡代表着数据中心光学领域的重大转变,若成功应用将对未来数据中心基础设施的性能、成本和效率产生深远影响。
参考资料