Whoscored(中国·中文)官网-专注足球数据分析的专业平台

IEEE JLT更新|集成光电子人工智能加速器

简介

随着人工智能（AI）和深度学习技术的不断快速发展，对高性能、高能效硬件的需求日益增加，以加速人工智能工作负载。传统电子计算架构在满足这些需求方面面临着根本性的物理限制，尤其是当我们进入后摩尔定律时代。集成光电子技术已成为克服这些瓶颈并实现下一代人工智能加速器的有前景的解决方案。

本文概述了光电子集成电路在人工智能加速方面的最新进展。我们将介绍使用集成光电子技术实现光学神经网络和人工智能加速器的基础构件、关键架构和重要设计考虑因素。

光电子集成电路技术在人工智能领域的优势

光电子集成电路技术为人工智能加速提供了几个关键优势：

1. 高速低延迟：光信号在传统电路中的传播速度比电信号快得多。

2. 高带宽：波分复用（WDM）等技术可实现大规模并行。

3. 能源效率：光子器件每次操作时的能耗极低。

4. CMOS兼容性：硅基光电子技术利用成熟的CMOS制造工艺。

光电子人工智能加速器的构建模块

光电子人工智能加速器的基本组成部分包括：

1.光调制器：将电信号转换为光信号。常见类型包括马赫-曾德干涉仪（MZI）和微环谐振器（MRR）。

2.光电探测器：将光信号转换为电信号。

3.波导：在芯片上引导光在组件之间传输。

4.光源：提供输入光，通常是耦合到光子芯片的片外激光器。

5.多路复用器/解复用器：通常使用波分复用器（WDM）来合并或分离光信号。

图1展示了AI加速器中使用的部分关键光电子器件：

图1. 用于PIC的调制技术。（a）带有微加热器的热光学MZI。（b）自由载流子效应调制器：载流子注入、载流子耗尽和MOSCAP模式。（c）带有Sb2S3相变材料和透射光谱的MRR调制器。

实现光矩阵乘法

神经网络的核心运算是矩阵-向量乘法。在光学领域，可通过多种架构高效实现该运算：

1.MZI Mesh：使用可编程MZI阵列实现任意单位矩阵变换。可通过奇异值分解实现任意矩阵。

2.微环权重库：使用可调谐微环谐振器阵列对不同波长的输入信号进行加权。

3.交叉阵列：使用可调谐光学元件阵列实现直接矩阵乘法。

图2展示了这些光矩阵乘法架构的示例：

图2. 光子-电子张量核心实现。（a）2×2 MZI示意图。（b）基于MZI的相干张量核心，使用SVD。（c）加-减MRR示意图和光谱响应。（d）用于WDM信号调制的MRR权重库。（e）用于矩阵乘法的4×4 MRR交叉阵列。（f）使用WDM和相干干涉的动态全范围矩阵乘法。

非线性激活函数

非线性激活函数对于神经网络非常重要。在光子神经网络中，可通过以下方式实现：

1.光-电-光（O-E-O）转换：转换为电域，应用非线性，然后转换回光域。

2.非线性光学材料：使用具有固有光学非线性的材料。

3.利用电光器件的非线性：例如调制器的非线性响应。

图3展示了光非线性激活函数的一些实现方式：

图3. 可编程非线性激活函数。（a）和（b）用于可重构激活的O-E-O非线性单元。（c）基于PCM的全光脉冲神经元，具有基于阈值的输出脉冲生成。

光电子张量核心

光电子张量核心（PTC）是光AI加速器中的关键计算元件。它们以光学方式实现矩阵乘法和其他张量运算。PTC设计的关键考虑因素包括：

1.相干与非相干：相干系统在振幅和相位两方面对信息进行编码，而非相干系统仅使用振幅。

2.静态与动态权重：静态权重只需编程一次，而动态系统则允许快速重新配置。

3.硬件效率：紧凑的设计可提高可扩展性和集成密度。

一些先进的PTC设计包括：

1.多操作数器件：在单个紧凑型器件中执行矢量运算。

2.子空间神经网络：以通用矩阵表示为代价换取更高的效率。

3.时间积分架构：使用更少的组件，但牺牲一些速度。

光学神经网络训练

由于硬件的模拟性质，训练光学神经网络面临独特的挑战。主要训练方法包括：

1. 硬件感知异地训练：在数字计算机上训练，同时模拟光子硬件行为。

2. 物理网络训练：使用实际的光子硬件进行前向传播，使用数字模型进行反向传播。

3. 原位训练：直接在光子硬件上执行完整训练。

图4. ONN训练方法。（a）使用PIC模型进行离线训练。（b）混合训练：PIC前向传播、数字反向传播。（c）在光子硬件上进行完全的原位训练。

光电子人工智能加速器架构

完整的光电子人工智能加速器将光计算元件与支持电子元件集成在一起。关键元件包括：

1. 光电子张量核心：以光学方式执行核心矩阵运算。

2. 存储器层次结构：片上SRAM和片外DRAM用于存储数据和参数。

3. 数字处理单元：处理非矩阵运算和控制流。

4. 数据转换器：用于光学和电子领域之间接口的模数转换器和数模转换器。

图5展示了光电子人工智能加速器的通用架构：

图5. 光电子加速器架构。（a）全系统概览。（b）单块架构。（c）光子线性计算单元。（d）与外围设备交互的ADEPT系统。

关键设计考虑因素

在设计光电子人工智能加速器时，必须考虑几个重要因素：

1.面积效率：光电子元件通常比晶体管大得多。多操作数器件和子空间神经网络等技术可以提高面积效率。

2.能源效率：虽然光操作具有能源效率，但光域和电域之间的转换可能会消耗大量能量。光广播和权重重用等策略有助于降低转换成本。

3.噪声和精度：模拟光子系统容易受到各种噪声源的影响，精度也有限。噪声感知训练和精心设计的模数转换器（ADC）等技术非常重要。

4.可扩展性：支持更大的神经网络模型需要精心设计架构，并将操作高效映射到光子硬件。

5.可训练性：开发高效的片上训练方法是一项活跃的研究领域，旨在实现自适应系统。

挑战与未来方向

虽然光电子人工智能加速器前景广阔，但仍面临挑战：

1.器件创新：开发更紧凑、更高效、更坚固的光电子器件。

2.先进集成：改进大规模集成光子与电子的技术。

3.大型模型支持：扩展光子系统，以支持具有数十亿个参数的最先进的人工智能模型。

4.片上训练：实现光学神经网络的高效、稳定片上训练。

5.软件堆栈：开发针对光子人工智能硬件优化的编译器和编程模型。

随着这些领域研究的不断深入，我们可以预见光电子集成电路将在下一代人工智能系统中发挥越来越重要的作用，为要求苛刻的人工智能工作负载提供前所未有的性能和能效。

结论

光电子集成电路利用集成光电子技术的独特优势，是加速人工智能工作负载的有前景的方法。本文概述了实现光学神经网络和人工智能加速器所需的关键概念、构建模块和设计考虑因素。随着该领域继续快速发展，我们可以期待光电子人工智能加速器成为支持未来人工智能系统广泛应用的关键技术。

参考资料

[1]S. Ning et al., "Photonic-Electronic Integrated Circuits for High-Performance Computing and AI Accelerators," IEEE/OSA Journal of Lightwave Technology, 2024, doi: 10.1109/JLT.2024.3427716.