卡内基梅隆大学研究人员发现信息压缩可解决复杂推理任务

卡内基梅隆大学的研究人员Isaac Liao和Albert Gu最近发现，信息压缩过程可以在不依赖大量预训练数据的情况下解决复杂的推理任务。他们的系统CompressARC通过仅使用谜题本身来解决抽象的模式匹配任务，挑战了机器学习系统如何获得问题解决能力的传统观点。

CompressARC的工作原理

CompressARC采用了一种不同于当前大多数AI系统的方法。它不依赖预训练，而是仅在推理过程中使用目标谜题进行实时训练。系统通过梯度下降法逐步调整网络参数，以减少错误。核心原理是通过压缩信息来驱动智能行为，寻找能够准确再现谜题示例和解决方案的最短描述。

在ARC-AGI基准测试中的表现

CompressARC在ARC-AGI训练集上达到了34.75%的准确率，在评估集上达到了20%的准确率。尽管这一成绩低于人类和顶级AI系统的表现，但在没有预训练的情况下，这一结果仍然具有重要意义。每个谜题在消费级RTX 4070 GPU上大约需要20分钟的处理时间，远低于其他高性能方法所需的计算资源。

压缩与智能的潜在联系

压缩与智能之间的联系在计算机科学中有深厚的理论基础，如Kolmogorov复杂性和Solomonoff归纳法。高效的压缩需要系统识别模式、找到规律并“理解”数据的底层结构，这些能力与智能行为相似。一些计算机科学家认为，压缩可能等同于一般智能。

研究的意义与局限性

这项研究挑战了AI开发中依赖大规模预训练数据集和计算密集型模型的传统观念。CompressARC的智能行为并非来自预训练、大数据集或大规模计算，而是来自压缩过程。然而，该系统在处理需要计数、长距离模式识别、旋转、反射或模拟代理行为的任务时表现不佳，显示出压缩原则在这些领域的局限性。

未来展望

尽管CompressARC存在局限性，但如果能够经受进一步审查，它可能为开发无需当今主流方法资源需求的智能行为提供了一条替代路径。至少，它可能解锁了机器中一般智能的一个重要组成部分，这一领域目前仍然知之甚少。