人工智能克服了类脑硬件的绊脚石

Friedrich Miescher 生物医学研究所和海德堡大学的研究人员，于 2022 年 1 月发表在《PNAS》上的一篇题为「Surrogate gradients for analog neuromorphic computing」的论文揭示了绕过这个问题的方法。 该团队表明，一种称为尖峰神经网络的人工智能算法——它使用大脑的独特通信信号，称为尖峰——可以与芯片一起学习如何补偿设备不匹配。这篇论文是朝着使用 AI 进行模拟神经形态计算迈出的重要一步。

论文链接：https://www.pnas.org/doi/10.1073/pnas.2109194119

「令人惊奇的是，它运行得非常好！」荷兰国家数学和计算机科学研究所 CWI 的脉冲神经网络专家 Sander Bohte 说， 「这是一项相当大的成就，可能是更多模拟神经形态系统的蓝图。」

模拟计算对基于大脑的计算的重要性是微妙的。数字计算可以有效地表示大脑尖峰信号的一个二进制，即一种像闪电一样穿过神经元的电脉冲。与二进制数字信号一样，要么发出尖峰信号，要么不发出尖峰信号。但是随着时间的推移，尖峰是连续发送的——这是一个模拟信号——我们的神经元首先决定发出尖峰的方式也是连续的，这取决于细胞内随时间变化的电压。（与细胞外电压相比，当电压达到特定阈值时，神经元会发出尖峰信号。）

「在类比中，大脑核心计算的巧妙之处便在于此。模拟大脑的这一关键方面是神经形态计算的主要驱动力之一。」苏黎世大学和苏黎世联邦理工学院的神经形态工程研究员 Charlotte Frenkel 说。

2011 年，海德堡大学的一组研究人员开始开发一种兼具模拟和数字功能的神经形态芯片，以对大脑进行密切建模以进行神经科学实验。现在由 Schemmel 领导的团队推出了最新版本的芯片，称为 BrainScaleS-2。芯片上的每个模拟神经元都可以模仿脑细胞的输入和输出电流和电压变化。

「你真的拥有了一个不断交换信息的动态系统。」Schemmel 说，而且由于材料具有不同的电气特性，芯片传输信息的速度比我们的大脑快 1000 倍。

但是由于模拟神经元的特性变化如此之小——设备不匹配问题——电压和电流水平也因神经元而异。算法无法处理这个问题，因为它们是在具有完全相同数字神经元的计算机上训练的，突然它们在芯片上性能直线下降。

新研究展示了前进的方向。通过将芯片包含在训练过程中，作者表明脉冲神经网络可以学习如何校正 BrainScaleS-2 芯片上的不同电压。「这种训练设置是第一个令人信服的证据，证明可变性不仅可以[补偿]，而且可能被利用。」Frenkel 说。

为了解决设备不匹配问题，该团队将一种允许芯片与计算机对话的方法与一种称为代理梯度的新学习方法相结合，该方法由 Zenke 共同开发，专门用于脉冲神经网络。它通过改变神经元之间的连接，来最小化神经网络在任务中产生的错误数量。（这类似于非尖峰神经网络使用的方法，称为反向传播。）

实际上，替代梯度方法能够在计算机训练期间纠正芯片的缺陷。首先，脉冲神经网络使用芯片上模拟神经元的变化电压执行一项简单的任务，将电压记录发送回计算机。在那里，该算法自动学习如何最好地改变其神经元之间的连接，以仍然与模拟神经元很好地配合，并在学习的同时不断地在芯片上更新它们。然后，当训练完成时，脉冲神经网络在芯片上执行任务。

研究人员报告说，他们的网络在语音和视觉任务上达到了与在计算机上执行任务的顶级尖峰神经网络相同的准确度水平。换句话说，该算法准确地了解了克服设备不匹配问题需要做出哪些改变。

苏塞克斯大学的计算神经科学家 Thomas Nowotny 说：「他们用这个系统解决真正问题所取得的性能是一项巨大的成就。」 而且，正如预期的那样，它们的能源效率令人印象深刻；作者表示，在芯片上运行他们的算法所消耗的能量比标准处理器所需的能量少 1000 倍。

然而，Frenkel 指出，虽然到目前为止能耗是个好消息，但神经形态芯片仍需要通过针对类似语音和视觉识别任务进行优化的硬件来证明自己，而不是标准处理器。Nowotny 警告说，这种方法可能难以扩展到大型实际任务，因为它仍然需要在计算机和芯片之间来回穿梭数据。

长期目标是让神经网络从头到尾在神经形态芯片上训练和运行，根本不需要计算机。但这需要构建新一代芯片，这需要数年时间，Nowotny 说。

目前，Zenke 和 Schemmel 的团队已经证明，脉冲神经网络算法可以处理神经形态硬件上模拟神经元之间的微小变化。「您可以依靠 60 或 70 年的数字计算经验和软件历史。」Schemmel 说，「对于这种模拟计算，我们必须自己做所有事情。」