引言
神经形态计算旨在创建模仿大脑架构和信息处理能力的硬件系统。在神经形态硬件上实现反向传播算法（现代深度学习的核心算法）一直是一个重大挑战。本文探讨了在尖峰神经形态硬件上实现反向传播的创新方法[1]。
核心概念与实现
英特尔的Loihi处理器等神经形态硬件提供快速、节能的计算能力，但在实现传统机器学习算法时面临独特的挑战。主要挑战包括：
权重传输：神经形态突触通常无法双向使用
反向计算：正向传播和反向传播需要不同的计算方式
梯度存储：误差梯度必须与激活值分开存储
可微分性：处理不可微分的尖峰函数
硬件限制：受限的可塑性机制和局部信息共享
图1：概念线路架构概述，展示了前馈激活、误差计算和通过反馈通路的反向传播。该图说明了如何从输出和目标信号计算误差，然后通过网络反向传播。
网络架构和信息流
系统采用包含输入层、隐藏层和输出层的三层架构。信息通过网络分不同阶段流动：
前馈阶段：输入模式通过网络传播
误差计算阶段：计算输出误差
反向传播阶段：误差通过单独的通路反向传播
图2：功能连接图显示了不同网络层随时间步长的活动时序进展。该图展示了门控机制如何在学习过程中控制信息流动。
同步发放门控控制
同步发放门控的动态信息协调是一项关键创新。该机制：
控制信息流动的精确时序
实现正向和反向传播的独立通路
协调局部突触修改
维持网络组件间的同步
门控链由12个神经元组成，形成环形活动链，控制不同网络组件的激活时间。
性能和结果
该实现在标准基准测试上取得显著结果：
MNIST数据集上达到95.7%准确率（峰值96.3%）
Fashion-MNIST数据集上达到79%准确率
每个样本处理时间为1.5毫秒
在神经形态核心上每个样本能耗为0.6毫焦
图3：性能图显示了训练周期内的准确率和损失指标。该图展示了算法实现的学习进展和稳定性。
能效和硬件实现
与传统计算方法相比，该系统展现了显著的能效优势：
训练后每次推理仅需0.02毫焦
推理操作延迟为0.17毫秒
计算分布在81个神经形态核心上
稀疏激活模式，每个输入图像通常仅需100个尖峰
通过以下方式实现高效性：
二值神经编码
稀疏时间表示
事件驱动处理
局部学习规则
未来发展方向和应用
这一实现代表重大突破，但仍有多个待发展领域：
扩展到更深层的网络架构
实现卷积网络结构
开发持续学习能力
优化硬件特定功能
该工作为神经形态学习系统确立了基准，为需要低功耗和实时处理的边缘计算应用提供新的解决方案。
该实现证明神经形态硬件可以支持完整的反向传播学习，同时保持在能效和速度上优于传统计算方法的优势。这一成就为能够在实际应用中学习和适应的人工智能系统发展作出重要贡献。
参考文献
[1] Renner, F. Sheldon, A. Zlotnik, L. Tao, and A. Sornborger, "The backpropagation algorithm implemented on spiking neuromorphic hardware," Nature Communications, vol. 15, no. 9691, pp. 1-14, Dec. 2024, doi: 10.1038/s41467-024-53827-9.
END
微信公众号 
bilibili 
微信视频号