摘要

扩散语言模型（Diffusion Language Models）近年来受到关注，其并行生成多个词元的潜力似乎预示着文本生成领域的效率革命。然而，北京大学和蚂蚁集团的研究表明，扩散模型并不总是优于自回归语言模型，其效率和性能高度依赖于具体任务及评估指标的选择。在流畅度优先的任务中，扩散模型展现了潜在优势；但在逻辑准确性要求高的任务中，自回归模型仍更具优势。

关键点

• 扩散语言模型具有并行生成多个词元的潜力，理论上可能提升生成效率，但实践中存在效率悖论。
• 在数学推理任务 GSM8K 基准测试中，扩散模型在效率和准确率上均落后于自回归模型。
• 研究团队设计了伪自回归式解码方式以公平比较扩散语言模型与自回归模型的性能，但扩散模型未展现出优势。
• 扩散语言模型在词元错误率（TER）为主要衡量标准时具有效率优势，但在序列错误率（SER）为标准时效率劣势显现。
• 在逻辑推理任务中，扩散模型因采样步数需随序列长度线性增长而失去效率优势。
• 扩散模型适用于流畅度优先的任务，而自回归模型更适合逻辑正确性要求高的任务。
• 研究指出扩散语言模型的优势不一定适用于语言领域，并强调需针对语言生成的独特挑战进行更细致评估。
• 当前研究局限于形式语言和掩码扩散模型，未来需扩展到更复杂的现代语言模型及其他类型的扩散模型。