摘要
据预测，可预见的未来的数据流量将呈指数增长，需要在满足网络带宽、效率、规模和成本目标不断提高的需求方面取得重大技术进步。本综述总结了高性能计算机（HPC）和大规模数据中心中新兴应用、架构和互连技术。光互连相对电连接有明显优势，但在可靠性、热设计和向后兼容性方面面临集成障碍。本文评估了有前景的解决方案，包括共封装光模块和非重新定时接口。此外，探讨了为克服阻碍主流采用的关键成本壁垒而提出的战略方向。最终，成功地将光收发器价格降低到与铜缆技术的价格水平将决定集成光子学能否成为未来数据中心架构中的必备的支柱[1]。
介绍
根据大多数估计，全球互联网协议（IP）流量继续显示出惊人的增长，约每2-3年翻一番[1]。这种坚定的增长是由新应用驱动的，包括社交媒体、搜索、视频流、电子商务、云计算和存储，以及新兴的5G无线服务、人工智能、增强/虚拟现实平台和指数式增长的物联网（IoT）设备。
为了跟上快速增长的互联带宽需求，高性能计算机（HPC）架构师和包括亚马逊、谷歌、美国在线和微软在内的大规模数据中心运营商面临着在降低总体拥有成本的同时交付几个数量级的网络容量和效率飞跃的艰巨挑战。
本综述总结了跨越多种HPC和数据中心细分市场的互连架构、技术和应用的演变和部署。 探讨了每个环境的关键要求、指标和工作负载，以及当前电气和光互连方法的优缺点。
评估了新兴解决方案，包括将激光器与交换机逻辑芯片集成在一起的共封装光模块组件，以及消除功耗大的重发器的非重新定时光接口。此外，讨论了为克服制约集成光子学主流采用的关键成本壁垒而提出的战略方向。
最终，成功地将光收发器定价降低到现有高容量铜缆技术定价水平将决定集成光子技术是否可以从利基应用转变为未来数据中心架构中的一项无所不在的基础技术支柱。
HPC和大规模数据中心趋势
高性能计算（HPC）依赖于低延迟的自适应路由网络，将大量并行节点链接起来运行通信密集型计算工作负载。 排名靠前的超级计算机安装需要比领先的大规模云数据中心高5-10倍的节点注入带宽，以馈送越来越强大的多CPU/GPU节点。
历史上，这催生了诸如Cray的Gemini和Slingshot或富士通的Tofu等专有互连结构的发展，通过更早地利用新兴技术而不是大众的以太网解决方案实现了每个链路超过1Tbps的速度。HPC通信工作负载具有可预测的持续流量模式，但必须主动避免拥塞以在数千个节点中保持应用程序的可扩展性。
相比之下，亚马逊（AWS）、谷歌、美国在线和微软等公司运营的大规模数据中心则非常注重成本效益、冗余性和基础架构的快速弹性扩展，以最大限度地提高可用性并快速适应用户需求的变化。这些因素鼓励采用大众的电气以太网，尽管HPC优化的技术（如InfiniBand）在历史上已经证明了效率优势。
然而，机器学习训练工作负载现在正在迫使超大规模数据中心和HPC对通用互连需求达成一致，以支持扩展到数千个GPU加速器。但数据中心的流量模式仍然主要是“多对多”流量，而不是结构化的点对点通信。
在各种应用中，光互连技术相对铜缆都有明显的带宽密度（带宽/mm）、覆盖范围（高达10公里）和功耗效率优势。但是，在初始部署和多代升级周期中，采用往往受到总体拥有成本与现有技术持平的限制。
互连技术
下面的图1总结了各种电气和光互连技术的效率与覆盖范围的权衡。 根据物理介质特性，可以预料到短的电气连接可以实现最高的效率，但超过1-10米的性能会迅速下降。 光学解决方案提供了高达10公里的扩展范围，但位能效率降低。
在数据中心内，主动电缆支配着低于10米的机架长度，由于先进的均衡技术，效率降低到5pJ/bit以下。 然而，不断增长的带宽需求正在推动光链路在机架内而不仅仅是较长距离的采用。
并行的单模光纤目前通过堆叠多个发射和接收元件来扩展容量。新兴的波分复用（WDM）技术通过频率重用进一步增加光纤带宽。100Gbps车道速率的直接检测调制是标准的，但超过400Gbps可能需要低功耗的相干检测。硅基光电子技术通过集成更高的端口数和功能密度实现进一步扩展。对于光收发器，形状因素和封装策略的组合在性能、可维护性和密度之间取得了平衡。插拔模块（如QSFP-DD）提供可替换性，而光电共封装技术最大限度地提高了带宽密度，但牺牲了现场维修。
可靠性，热设计和基础设施挑战
几个持续的挑战减慢了光互连在数据中心架构中的主流采用。
首先，随着扩展的继续，光电封装的功率密度增加，迫使采用液体冷却技术，同时要求对热设计进行协同优化。
其次，使用III-V材料制成的主动光学元件的可靠性，特别是激光器，必须在高达80°C 或更高温度以及快速热瞬态的数据中心操作条件下达到可接受的平均故障间隔时间水平超过50，000小时。这需要进行广泛的验证，远远超出典型的电信带。
此外，现有布线、波长和光连接方案的向后兼容性的物理架构限制限制了升级周期中全新信号方法的部署。典型的光产品代际关注于车道速率的翻倍，同时保持与以前产品代的兼容性。需要更灵活的数据中心来插入数据中心本身的低功耗相干链路等破坏性技术。
最后，已发表的分析表明，当前的光收发器解决方案相对于无所不在的被动铜缆仍然有5-10倍的溢价。硅CMOS成本降低轨迹的匹配应该是集成光子学技术的最终目标。这将需要更高程度的单片集成来提高产量和减少封装复杂性，以及来自大容量客户的战略参与来启动制造投资。
集成光子技术解决方案
集成光子技术方法可以通过密度、效率、可靠性和规模的优势来解决这些挑战中的几个。 将更高端口数的光开关和路由功能与激光器、调制器、光电探测器和跨阻放大器集成在一起，可以在缩小光纤耦合要求的同时扩大总带宽。更小的特征尺寸也可以转换为更低的电容器件，从而减少动态功耗。
然而，必须解决一些严重的技术差距。高效的芯片激光需要异质集成成熟的III-V增益材料。成本效益高的零变更CMOS工艺在温度灵敏度和可实现的损耗预算方面仍面临挑战。 最后，需要先进的集成光子学封装技术来解决光纤耦合、热设计和光功率处理，同时避免在基于遗留微型跳线的共封装光学中遇到的带宽×距离瓶颈。
与传统光插拔模块相比，并装光学模块可以极大地提高光学元件与电子模块之间的总体封装密度、降低功耗以及瞬态响应，从而成为一种有前景的集成光子学解决方案。
图2显示了光电共封装结构，其中光子芯片与交换机芯片安装在共同的封装衬底上。这种架构消除了否则需要的重发器，以便通过铜质信道向传统光插拔模块驱动信号。OIF 400G-ZR标准使这些光子芯片能够直接安装在封装衬底上，避免了以前几代中需要的昂贵像素化微型跳线垫片。
将驱动电路定位在调制器附近可以提高效率，同时也避免了路径中的电连接器。OSFP-LS插拔模块标准保持了这些并装光学模块的可更换性。
热量和可靠性方面的挑战确实会将并装光学模块的覆盖范围限制在独立的插拔模块之下，这为进一步的协同优化提供了动机。 基于硅光子学研究所开发的集成光子学制造工艺流程的扩展可以帮助提高产量和可重复性。CMOS工厂广泛使用的自动测试、验证和控制技术也可以有效地转换，以提高光子学制造的水平。
衍生自硅基光电子研究领域的制造工艺流动的扩展，可以有助于产量的提高和重复性的改善。CMOS工厂广泛采用的自动测试、验证和控制技术也可以有效地迁移到光子学制造当中。
成本均衡路线图
最终，已发表的系统成本分析预测，与普通被动铜缆技术相比， 光收发器仍然存在大约10倍的成本溢价，如图3所示。 因此，成本现状明显仍然是阻碍在HPC和云数据中心网络的指数级流量增长预测中广泛采用光的最关键障碍。
可以采取什么措施来克服这一差距? 通过优越的制造规模和效率降低集成光电子技术的定价应该是最终目标。 达到低于每Gb/s0.05美元的铜缆成本将使光连接在机架互连和更长距离应用中直接取代电连接成为可能。 零部件成本降低轨迹应该以CMOS硅芯片的成功为目标，后者的成本随着时间的推移从精密的工艺改进和规模经济中大幅降低。
现今已经存在初始的利基应用， 如用于激光雷达、光纤收容接口或雷达和5G的模拟链路的硅基光电子技术。然而，数据通信仍必须被视为集成光子学的“杀手级应用”，其中可以实现体量经济效应。如果价值足够强大，那么围绕内存隔离等边缘应用的行动号召有可能推动最初的部署规模超过成本溢价壁垒。
标准组织和行业协作也在技术转换和促进客户与供应商生态系统之间的投资一致性方面发挥着重要作用。 包括光互联网论坛（OIF）、IEEE产业连接和围绕开放式计算项目（OCP）的协会在内的团体已经开始围绕集成光子学开展这些工作。 然而，将需要整个价值链中设备供应商的网络架构师和决策者的数量级更广泛的参与。
结论
高性能计算和云数据中心网络的指数级流量增长正在推动互连带宽需求达到前所未有的新兴水平。电信号接口正迅速接近实用性能极限。集成光互连解决方案由于物理介质特性而提供了明显的优势，但在可靠性、热设计和基础设施兼容性方面仍面临障碍。
尽管今天的应用只有利基部署，但是鉴于未来的扩展预测，成功地将集成光子定价降低到与现有铜缆技术的成本相当的程度，应该被行业视为一种迫切需求。 通过制造创新和具有破坏性的高容量采用途径克服这一障碍，将使集成光子技术得以从领先指标转变为未来数据中心架构中的基础技术支柱。
微信公众号 
bilibili 
微信视频号