宾夕法尼亚大学研究人员设计低功耗学习电路

宾夕法尼亚大学的研究人员设计了一种类似于神经网络的电路，能够学习非线性回归等任务。该电路在低功耗下运行，并且无需计算机即可进行训练。

电路设计与工作原理

该电路由晶体管网络组成，晶体管作为虚拟可变电阻器。系统通过一种称为“耦合学习”的方法调整电阻值来实现学习。研究表明，该电路能够学习非线性函数，如XOR和非线性回归，表明更大的网络可以像深度学习网络一样近似任意函数。

优势与潜在应用

该学习电路方法的优势在于其可扩展性：由于它是一个物理系统，所有元件并行更新，训练步骤的持续时间不依赖于网络大小。系统在推理时速度快且功耗低。研究团队表示：

该电路具有抗损性，可在几秒内重新训练，并在微秒内执行学习任务，每个晶体管仅消耗皮焦耳能量。这表明其在边缘系统（如传感器、机器人控制器和医疗设备）中具有快速、低功耗计算的巨大潜力，同时也具备大规模制造的能力，用于执行和研究涌现学习。

系统架构

系统由一对相同的MOSFET晶体管网络组成，每个网络中的对应晶体管连接到一个电容器。在训练过程中，两个网络接收相同的输入电压，其中一个网络（称为“钳位”网络）的输出被设定为期望输出，另一个网络（称为“自由”网络）的输出则未被设定。

训练与推理

两个网络之间的电气状态差异将更新晶体管之间的电容器电压，这些电压对应于神经网络中的“权重”。一旦系统训练完成，电压可以被“冻结”，然后通过应用新的输入电压并测量输出电压来进行推理。

问题与挑战

尽管该系统在速度和功耗方面具有潜在优势，但研究人员指出了一些需要解决的“有趣问题”。目前尚不清楚给定任务的最佳网络拓扑结构是什么。原型使用方形晶格拓扑，研究团队认为这可能“过于简单和稀疏”。他们还希望研究系统规模增大时训练时间和功耗的增长情况。

讨论与建议

在Hacker News的讨论中，有用户提出疑问：

一旦训练完成，论文中未提及如何保持栅极电容器的电荷，这相当于传统神经网络中的权重。任何实际实现都需要一种实用的方法来持续刷新电荷，以防止权重漂移。

另一位用户建议使用MOS电容器，类似于闪存驱动器，但这将限制系统的训练量。

历史背景

硬件中的机器学习有着悠久的历史，可以追溯到1957年Frank Rosenblatt发明的原始感知器。最近，麻省理工学院的一个研究团队开发了一种类似于宾夕法尼亚大学研究的模拟深度学习系统，该系统使用可编程电阻器在硬件中实现快速、低功耗的神经网络。