总结

RWKV-7 论文《RWKV-7 "Goose" with Expressive Dynamic State Evolution》正式发布，通过引入广义 Delta Rule 等创新，RWKV-7 在计算效率、任务表现和模型表达力上全面超越 Transformer 和 RWKV-6，同时在开源模型中展示了卓越的语言建模能力和多模态表现。

关键点

• RWKV-7 通过广义 Delta Rule 实现了状态跟踪问题的高效解决，2 层即可完成复杂度状态跟踪问题，4 层即可识别任意正则语言，表达力显著超越 Transformer。
• 广义 Delta Rule 包括向量化门控、向量化学习率以及分离的删除和添加机制，显著增强了模型对状态信息的操控能力。
• RWKV-7 的时间混合模块优化了动态状态演化过程，提升了上下文学习能力和数值稳定性。
• RWKV-7 移除了 RWKV-6 的 Receptance Gating 和动态 Token-Shift，简化了架构并提升了训练和推理速度。
• RWKV-7 在英语和多语言能力上表现卓越，仅使用前沿模型三分之一的训练数据便达到或超越其能力。
• RWKV-7 在 Uncheatable Eval 测试中展现了强大的泛化能力和真实建模能力。
• RWKV-7 的 Associative Recall 测试中表现出极高的状态效率，回忆率显著提升。
• 长文本建模能力显著增强，特别是在微调后表现更为优异。
• 在状态追踪能力测试中，RWKV-7 仅需两层即可完成任务，显著优于 Transformer 和其他模型。
• VisualRWKV-7 强化了多模态能力，在视觉任务中超过了上一代 VisualRWKV-6。
• RWKV-7 的未来工作包括探索更大模型、链式推理、多专家模型等技术。
• RWKV-7 的训练数据集扩展到 3.1T Tokens，所有数据被赋予相等权重，进一步优化了模型性能。
• 消融实验验证了 RWKV-7 架构改进的有效性，显著提升了模型能力。
• 四层 RWKV-7 可识别任意正则语言，证明其表达力大幅领先于 Transformer。
• RWKV-7 的状态矩阵在训练和推理过程中保持数值稳定性，无异常值产生。
• 社区提供了丰富的资源和支持，包括文档、论坛和教程等。