Geoffrey Hinton与Forward-Forward算法

Geoffrey Hinton，多伦多大学教授和Google Brain工程研究员，最近发表了一篇关于Forward-Forward（FF）算法的论文。该算法是一种训练神经网络的新技术，通过两次前向传播来更新模型权重，而不是传统的反向传播（backpropagation）。

FF算法的动机与优势

Hinton提出FF算法的主要动机是解决标准反向传播训练的一些缺陷。反向传播需要完整了解前向传播的计算过程以计算导数，并在训练期间存储激活值。Hinton的洞察是使用两次前向传播——一次正向和一次负向——这两次传播具有相反的目标函数。FF算法在速度上与反向传播相当，但具有以下优势：

1. 可以在不了解前向计算细节的情况下使用。
2. 可以在流水线处理序列数据时学习，而无需存储神经活动或停止传播误差导数。
3. 可能在学习皮层模型和利用低功耗模拟硬件方面优于反向传播。

反向传播的局限性与生物不可行性

尽管人工神经网络（ANN）基于大脑的数学模型，但用于训练这些网络的标准反向传播算法并不基于任何已知的生物过程。除了生物不可行性，反向传播还存在一些计算上的缺陷。Hinton指出，虽然可以通过强化学习（RL）训练ANN而不使用反向传播，但这种方法在大型网络中“扩展效果很差”。2021年，InfoQ报道了一种生物可行的反向传播替代方案——零散度推理学习（Z-IL），它可以精确复制反向传播的结果。

FF算法的实现与效果

FF算法用两次前向传播取代了反向传播训练中的前向-后向传播。第一次前向传播处理训练集中的正向数据，调整网络权重以增加层的“良好度”值；第二次前向传播处理生成的负向数据，调整权重以减少良好度。Hinton使用FF算法在MNIST和CIFAR数据集上训练了几个小型神经网络，测试结果显示，FF算法训练的网络表现“仅略逊于”使用反向传播训练的网络。

社区响应与开源实现

Nebuly的CTO Diego Fiori实现了Hinton的FF算法，并在Twitter上讨论了结果。他指出，FF算法在深度网络中可以实现高达45%的内存节省。Fiori和蒙特利尔大学的博士生Mohammad Pezeshki分别在GitHub上开源了他们的FF算法实现。

总结

FF算法作为一种新的神经网络训练方法，具有显著的优势，尤其是在计算效率和生物可行性方面。尽管其性能目前略逊于反向传播，但其潜力在未来的研究和应用中值得进一步探索。