Whoscored(中国·中文)官网-专注足球数据分析的专业平台

资源中心
深入浅出谈数据中心光电共封装(CPO)器件的机遇与挑战

简介

本文以2021年Rockley Photonics论文来谈及光电共封装(CPO)器件的观念,逻辑清晰,但需要注意的是,其中的数据可能已经过时。高容量、高密度、高能效和高成本效益的光链路对现代数据中心基础设施很重要。在过去十年中,以太网交换机和光模块的容量都有了显着提高,交换机从 0.64 Tb/s 提高到 25.6 Tb/s,光模块从 10 Gb/s 提高到 400 Gb/s。然而,目前可插拔数据中心光模块的发展蓝图并没有超过每个模块 800 Gb/s。光链路的进一步扩展面临着功耗、单位容量成本和带宽密度方面的巨大挑战。


这些挑战促使转向新的部署模式,即光电共封装器件(CPO),将光学元件集成到更靠近主交换 ASIC 的位置。本教程文章讨论了推动向 CPO 过渡的因素、技术要求和使能技术、行业采用途径以及对数据中心网络架构的潜在影响。


数据中心交换机 ASIC 的演变

商用芯片的兴起极大地改变了过去由专有硬件和软件主导的以太网交换机市场。如今,网络设备通常基于第三方芯片供应商设计和销售的 ASIC。这使得生态系统更加开放,网络运营商有了更多的选择来定制自己的网络。


以太网交换机 ASIC 的发展轨迹令人瞩目,通过交替增加服务器通道数和每通道信号传输速率,其容量大约每两年翻一番(表 1,图 1)。最新一代交换机 ASIC 的容量为 25.6 Tb/s,是通过使用 256 个以 50 Gb/s 速率运行、采用 PAM4 调制的服务器实现的。


展望未来,下一代交换机 ASIC 可能会采用 56 GBd PAM4 服务器,使总吞吐量达到 51.2 Tb/s。不过,这些高速服务器的能效将非常重要,因为在 51.2 Tb/s 交换 ASIC 中,其功耗可能超过 300 W。


表 1 交换机 ASIC 演进。

最右边两列为预测值。数据来源:Broadcom [1]


图 1 交换机 ASIC 演进。数据来源:Broadcom [1]


数据中心光学技术路线图

面板可插拔 (FPP) 光模块已成为数据中心光链路的主流部署模式。FPP 模块具有多种优势,包括根据使用情况灵活匹配光接口,能够进行现场升级和维修,以及多源协议 (MSA) 的出现实现了互操作性和多供应商生态系统。


数据中心光学接口由 IEEE 802.3 以太网标准和各种 MSA 定义。对于 400G 以太网,主要 PMD 选项包括并行多模光纤(SR16、SR8)、带波分复用功能的双工单模光纤(FR8、LR8、ER8)和并行单模光纤(DR4)(表 2)。400GBASE-DR4 和 -FR4 PMD 是数据中心内连接的重点。


除了光接口,数据中心光器件还需要电接口,这些接口通常基于光互联网论坛(OIF)定义的通用电气接口 (CEI)。这些接口包括 LR、MR、VSR、XSR 和 USR 服务器,在覆盖范围、功率和灵活性之间进行权衡(表 3)。


表 2  400 GBASE 光端口类型。

(来源:IEEE 802.3: 来源:IEEE 802.3。标有星号的条目尚未最终确定(IEEE 802.3 cu、802.3 cm)。)


表 3 光互联网论坛 [2] 定义的 OIF-CEI-112G 链路类型。

其中,IL = 插入损耗,DAC = 直接连接铜缆,C2C = 跨背板的芯片到芯片,C2M = 芯片到模块,C2OE = 芯片到光引擎,D2D = 芯片到芯片


数据中心光互连面临的挑战

尽管 FPP 模块取得了成功,但正在出现的一些问题可能会限制其进一步扩展:

1.800G 以上的路线图:目前还没有支持 800G 以上容量的 FPP 外形。由于连接器密度的原因,将信道数增加到 8 个以上具有挑战性,而每通道超过 200 Gb/s 的更高信号传输速率也带来了巨大的信号完整性挑战。
2.成本:光模块的单位容量成本一直在下降,但现在光学成本已经超过了交换机专用集成电路本身的成本,占满载交换机总成本的 50%以上(图 2)。这是因为交换机专用集成电路更多地受益于摩尔定律,而光模块仍然是复杂的微型光学系统,封装成本很高。
3.功耗:交换机 ASIC 和光模块之间的电气通道所消耗的功率越来越令人担忧,预计将超过交换机核心本身的功率(图 4)。将信令速率从 50 Gb/s 提高到 100 Gb/s,将使这些电气通道的插入损耗增加大约一倍,从而加剧了功耗挑战。
4.密度:交换机面板的带宽密度也正在成为限制因素。从 12.8 Tb/s 过渡到 25.6 Tb/s,需要将机箱高度从 1RU 增加一倍到 2RU,以容纳更多的可插拔模块(表 4)。超过 51.2 Tb/s,面板可插拔模式可能无法提供足够的带宽密度。

 

图 2 2010 年至 2023 年以太网交换机和光模块的成本趋势;2020 年至 2023 年的数值为预测值。基于 LightCounting [3] 和 Dell'Oro [4] 报告中的数据。

表 4 面板带宽密度,假设每个 RU 有 32 个模块。最后两行需要新的 FPP 外形尺寸


将光器件移入内部: 光电共封装(CPO)器件

为应对这些挑战,业界探索将光器件从面板移入交换机机箱并靠近主交换 ASIC 的概念,这种方法被称为光电共封装器件 (CPO)。这可以看作是从目前的面板插接模式到板载光器件,再到完全集成的 2.5D 和 3D CPO 的演变(图 3)。

 

图 3  CPO 路线图:光器件和交换机 ASIC 集成度不断提高。该图示侧重于光器件和 ASIC 之间的线性距离,但请注意,CPO 解决方案的关键指标之一是交换机周边的带宽密度。


CPO 的主要优势在于能够:

1.大幅缩短交换机 ASIC 和光器件之间的电气通道,降低功耗。
2.利用先进的封装和集成技术降低单位容量成本。
3.消除面板安装式可插拔模块的限制,提高带宽密度。


然而,转向 CPO 还需要克服几个挑战:

1.保持可插拔光器件的灵活性,包括使用不同光学 PMD 和支持铜 DAC(Direct Attach Copper)实现短距离连接的能力。
2.确保现场维修和升级的可及性。
3.通过标准化或多源协议建立多供应商生态系统。


CPO 要求和支持技术

与可插拔光器件相比,CPO 解决方案必须在能效(目标:10-15 pJ/bit)和单位容量成本方面实现大幅(>50%)改进,才能获得广泛采用。这需要满足几个关键技术要求:

1.光引擎集成:需要高度集成的光电芯片 (PIC),具有高密度的光信道(例如每个引擎 16-32 个通道)和小尺寸(≤100 mm x 100 mm),以达到所需的带宽密度。
2.电气接口:CPO 引擎应利用 XSR 电气接口(10 dB 插入损耗预算)来最大限度地降低功耗,同时仍然支持 LR 服务器,以保持与铜 DAC 和相干光学的兼容性。
3.封装和热管理:需要采用先进的 2.5D 和 3D 封装技术,将 PIC、驱动器/TIA IC 和光学输入/输出集成在一个紧凑的空间内,同时对热环境进行管理。
4.激光集成:为解决可靠性问题,最好采用外部、面板安装式激光源架构,尽管这会带来额外的光损耗、占地面积和成本。
5.标准化:通过行业合作和 MSA 建立通用的外形尺寸、电气和光学接口以及管理协议,对于建立多供应商生态系统很重要。


光电芯片是实现这些 CPO 要求的关键因素。虽然存在各种集成平台,包括硅基光电子、磷化铟和氮化硅,但硅基光电子技术因其能够提供广泛的光电子功能、高集成度和批量生产的潜力而脱颖而出。


对网络架构的影响

向 CPO 过渡将对数据中心网络架构产生重大影响。由于 CPO 能够实现更高的端口密度和更低的功耗,为网络简化和整合提供了新的可能性。


CPO 的一个潜在渐进式采用途径是,首先在spine-leaf结构中使用 400GbE-DR4 和 -FR4 CPO 引擎(图 4)。下一步,leaf交换机的上行链路可以迁移到 CPO,可能会使用混合 CPO 和可插拔光器件的混合方法。最后,leaf交换机的下行链路也可以过渡到 CPO,从而形成具有不同类型 CPO 引擎的交换机(例如,上行链路采用 FR4 引擎,下行链路采用 DR4 引擎)。


此外,TOR 层也可能受到影响,因为 CPO 可以将许多小型 TOR 交换机合并为一个大型交换机。这可以大大减少网络中交换机盒的总数,简化管理并提高总体成本和能效。不过,TOR 层可能仍需要一些可插拔端口,以支持用于服务器连接的铜缆 DAC。

 

图 4 CPO 的逐步采用与网络架构的演变相辅相成


除了 “TOR-spine-leaf ”架构外,CPO 所支持的高级交换机 ASIC 的全部功能有可能使 TOR 层完全消失,从而实现更精简的 “leaf-spine ”网络拓扑结构,并提供光纤到服务器 (FTTS) 连接。这将需要具有成本效益的较短距离 CPO 链路,有可能基于多模光纤或经过距离优化的单模光纤 PMD。


结论

面板可插拔式光模块为数据中心行业提供了良好的支持,但其路线图在功率、成本和密度方面已达到极限。共封装光学器件(CPO)是有前途的替代方案,通过将光学器件集成到更靠近主交换 ASIC 的位置来应对这些挑战。


虽然仍存在技术挑战,但整个行业摆脱根深蒂固的可插拔光器件模式的惯性则进一步阻碍了 CPO 的采用。与可插拔光学件相比,要证明潜在的总拥有成本(TCO)至少可节省 50%,才能推动 CPO 的广泛采用。


CPO 的关键推动因素包括先进的光电芯片,特别是硅基光电子技术,以及建立行业标准和多源协议的合作努力。随着 CPO 的普及,还将促进数据中心网络架构的简化和整合,并有可能导致采用光纤到服务器连接的更精简的 “leaf-spine”拓扑结构。


向 CPO 的过渡代表着数据中心光学领域的重大转变,若成功应用将对未来数据中心基础设施的性能、成本和效率产生深远影响。


参考资料

[1]Verheyde, A.: Broadcom ships first 25.6Tbps switch on 7nm. Tom's Hardware (2019). https://www.tomshardware.com/uk/news/ broadcom‐ships‐first‐256tbps‐switch‐on‐7nm
[2]Optical Internetworking Forum: Common electrical I/O (CEI) 112G. OIF (2017). https://www.oiforum.com/technical‐work/hot‐topics/ common‐electrical‐interface‐cei‐112g‐2/
[3]LightCounting, Lightcounting ethernet optics report. (2020)
[4]Dell'oro datacenter ethernet switch report. Dell'Oro (2019)


XML 地图