简介
人工智能、机器学习和图形分析等现代计算工作负载在数据移动方面面临着延迟、能耗和生产率方面的严峻挑战。 “内存墙”问题（处理单元和内存之间的速度差距）已成为系统性能的关键瓶颈。此外，异构计算系统（Heterogeneous computing systems, HCS）结合了不同领域的特定处理器架构，从片上系统到数据中心和HPC系统，在不同规模上都能发挥能源和性能优势。然而，当前使用电气互连的系统在实现这种HCS时面临以下几个挑战：1.基本物理限制制约了电子互连的带宽和不可重复距离。
2.连接引脚的数量受到物理限制，迫使每个引脚具有更高的带宽。
3.依赖大型电子控制器和交叉开关的传统架构不再符合更高吞吐量、更低延迟、更低功耗、异构和分解的要求。
4.电气互连缺乏灵活性且能耗与距离有关，这使得高能效HCS设计面临挑战。
光互连结构为应对这些挑战提供了突破性方案。本教程将介绍下一代异构计算系统中的光电子集成芯片（PIC）和光互连结构带来的创新解决方案。与电子器件相比，光互连不受距离限制，功耗低，带宽高。
波分复用（WDM）技术可在大量分布式/分散式计算节点之间实现可扩展、高吞吐量、低延迟的互连。
光学可重构性允许带宽转向，以使互连拓扑结构与数据流模式最佳匹配。
硅基光电子集成新片为光电协同设计、协同集成和协同封装提供了理想的平台。
图1说明了光子传输信息比电子传输信息更有效的分区长度。请注意，在20 GHz以上，使用30个波长通道的系统的分区长度小于60微米。
图1光I/O PIC将电子器件（数字电路、高速模拟混合信号电路）与光子器件（光纤耦合器、波导、滤波器、调制器、光电探测器等）集成到单个芯片中。图2所示的Ayar Labs TeraPHY芯片就是一例。
图21.电气接口——连接主机片上系统（SoC），以传输/接收电气数据。
2.Optical macros ——对电气信号进行串行化/反串行化，以在每个光通道上以更高的数据速率传输/接收。通常利用硅微环技术进行波分复用。
3.光纤到芯片耦合器——片上波导和光纤之间的接口。
此类PIC需要与ASIC、GPU和CPU等电子IC紧密封装，以降低功耗并利用高带宽密度。图3和图4展示了TeraPHY光I/O芯片与电子IC的封装示例。
图3
图4为了充分利用异构计算资源，需要通过光互连拓扑结构重新配置来匹配数据流模式。这可以通过使用Optical Switch来实现。目前，商用Optical Switch通常为带有可插拔光收发器的Electronic Switch，如图5所示。未来一代Optical Switch可能使用集成光I/O PIC，如图6所示。
图5
图6全光开关PIC可以实现重新配置，同时消除光-电-光转换。Flex-LIONS（灵活低延迟互连光网络开关）就是一个例子。图7展示了这种开关如何将波长重新分配给热链路，从而提高吞吐量和能效。
图7图8展示了硅基光电子Flex-LIONS PIC，在一个芯片上集成了阵列波导光栅路由器、微环谐振器加/减滤波器和交叉开关。这使得异构计算节点之间可重构的全连接互连成为可能。
图8随着光互连的带宽和拓扑结构不断升级，系统级可靠性变得重要。目前100 Gbps可插拔模块的故障率（FIT）约为300。根据线性外推，采用相同技术的3.2 Tbps模块的故障率可能约为9600。然而，系统集成商已经确定，3.2 Tbps模块的目标FIT率应低于60，以支持系统年故障率<1%。1.改进模型，将低级别技术故障与系统级故障相关联。
2.大批量生产，提高产量并改善特性。
3.采用可靠性更高的全新光学连接器。
4.在系统设计中考虑故障影响和优雅降级。
例如，在全网状网络拓扑结构中，每个交换机最多允许5个链路故障，这只会导致约4%的带宽损失。这可能会导致1%的应用速度下降，但对于某些用例而言是可以接受的。功耗和热管理是下一代HCS面临的关键挑战。网络功耗占数据中心总功耗的比例正在增加，从2016年的约3%增加到如今的约10%。此外，在某些情况下，网络组件的功率密度正在增加，超过CPU和GPU的功率密度。用于冷却单个组件的冷板
使用泵送非导电液体的单相浸没
使用低沸点液体的两相浸没
这些新的冷却方法对光学元件的设计和可靠性有影响，必须予以考虑。虽然目前光链路的成本是铜链路的30倍左右，但其在传输距离、带宽和物理体积方面的优势足以抵消许多应用中的成本。通过板载光器件（OBO）、光电共封装器件（CPO）以及最终集成光器件实现更紧密的光电集成，将显着降低成本。将光器件从小规模精品技术转变为大批量标准化技术是进一步降低成本的关键。利用与CMOS生产类似的大批量制造流程，包括：图9展示了晶圆级光学测试的示例，可在封装前选择已知良品芯片。
图9可重构光子结构需要可扩展且低延迟的控制平面，以便根据不断变化的流量模式管理动态重构。主要考虑因素包括：物理层重构：约100微秒
流量/突发切换：<100微秒
分组交换：<1 ns
集中式SDN：~1毫秒的重新配置时间
分布式硬件控制：<100微秒
在大型网络中实施集中控制存在挑战。解决这一问题的部分方法包括：利用机器学习方法对数据流模式进行统计预测
用于光分组交换的分布式控制平面
使用Valiant负载均衡等技术的无调度程序设计
光电子集成芯片和互连结构为异构计算系统面临的挑战提供了极具吸引力的解决方案。主要优势包括：1.独立于距离、高带宽、节能的互连
2.通过波分复用实现可扩展性
3.可重新配置，使互连拓扑结构与应用数据流相匹配
4.通过协同设计和先进封装与电子器件紧密集成
随着人工智能/机器学习和其他数据密集型工作负载的需求继续呈指数级增长，PIC将在实现下一代异构计算架构方面发挥越来越重要的作用。在可靠性、热管理、制造和控制平面等领域的持续研发对于充分发挥光互连在HCS方面的潜力重要。通过利用光电子技术，未来的计算系统将能够克服当前数据传输的瓶颈，从而在各种工作负载和应用中持续提升性能和能效。[1] M. Glick, L. Liao, and K. Schmidtke, Integrated Photonics for Data Communication Applications. Elsevier, 2023.
微信公众号 
bilibili 
微信视频号