微软与清华大学推出DIFF Transformer架构

微软AI与清华大学的研究人员合作，推出了一种名为DIFF Transformer的新架构，旨在提升大语言模型的性能。该模型通过改进注意力机制，优化了模型处理上下文的方式，并减少了对无关信息的干扰。

核心特性：差分注意力机制

DIFF Transformer的核心特性是差分注意力机制。该机制通过比较两个独立的注意力图来计算注意力，从而帮助模型更有效地聚焦于输入的相关部分。这种调整显著提升了模型在问答和文本摘要等任务中的准确性。

提升可扩展性与效率

该架构还提升了模型的可扩展性，能够在较少的训练资源下实现与更大模型相近的性能。这种效率使其在处理长序列数据时表现优异，特别适合需要一次性处理大量信息的任务。

实验表现优异

实验表明，DIFF Transformer在语言建模和信息检索等任务中，持续超越传统的Transformer模型，提供了更高的性能和效率。其设计增强了实际应用中的表现，如长上下文建模、关键信息检索、幻觉缓解和上下文学习，同时减少了激活异常值。这些改进使得模型在不同数据集上的准确性更高，并且对输入顺序的变化更具鲁棒性，使其更适合低资源环境。

零样本性能对比

下表展示了DIFF Transformer与多个经过良好训练的Transformer模型（如OpenLLaMA-v2-3B、StableLM-base-alpha-3B-v2和StableLM-3B-4E1T）的零样本性能对比。结果显示，DIFF Transformer表现更优或与之相当。

业界反应与讨论

业界对DIFF Transformer的实际应用表现出浓厚兴趣，尤其是在预测准确性可能证明增加计算资源的场景中。数据科学家Kuldeep Singh在X平台上表示：“虽然谷歌的Transformer提出了‘注意力就是一切’，但微软和清华大学的DIFF Transformer则提出‘稀疏注意力就是一切’。”AI研究员Manu Otel则指出：“DIFF Transformer有一个小缺点，它的键头数量增加了一倍。”

在Reddit等平台上，围绕DIFF Transformer的讨论主要集中在计算成本与预测准确性之间的权衡。尽管模型需要执行两次注意力操作，可能会减慢训练和推理速度，但有人推测这是否会带来更少训练迭代或更少数据下的更好结果。