快手基础大模型团队 7 篇论文入选人工智能领域顶会 ACL 2025

国际计算语言学年会（Annual Meeting of the Association for Computational Linguistics，简称 ACL）是由国际计算语言学协会（Association for Computational Linguistics）主办的学术盛会，每年举办一次。作为计算语言学和自然语言处理领域最具影响力的会议之一，第 63 届 ACL 即将于 7 月 27 日至 8 月 1 日在奥地利首都维也纳隆重举办。近日，ACL 正式公布了论文录用名单，快手基础大模型团队凭借其在人工智能领域的深厚积累，成功入选 7 篇论文。这些研究涵盖了模型训练阶段的对齐偏差、推理阶段的安全防护、解码策略和可靠性、视频-时序理解以及评测基准等大模型前沿领域的成果。

论文 01：TUNA: Comprehensive Fine-grained Temporal Understanding Evaluation on Dense Dynamic Videos
| 类型：ACL25 Main
| 论文链接：https://friedrichor.github.io/projects/TUNA/
| 论文简介：视频独特之处在于它整合了时序元素，包括镜头、场景、动作和属性，以及它们随时间推移的动态关系。然而，现有的视频理解基准测试往往将这些特性分开处理，或仅仅关注特定方面，忽视了视频内容的整体性。为了解决这个问题，我们提出了一个面向时序的基准测试 TUNA，用于对密集动态视频进行细粒度理解，包含两个互补的任务：视频描述和问答。我们的基准测试具有多样化的视频场景和动态特征，并配备了可解释且稳健的评估标准。我们在 TUNA 上评估了一些领先的模型，从不同维度提供了细粒度的性能评估。这项评估揭示了视频时序理解中的关键挑战，例如有限的动作描述能力、不充分的多主体理解，以及对镜头运动的不敏感性，为改进视频理解模型提供了宝贵的见解。

论文 02：Root Defense Strategies: Ensuring Safety of LLM at the Decoding Level
| 类型：ACL25 Main
| 论文链接：https://arxiv.org/pdf/2410.06809
| 论文简介：随着大语言模型(LLMs)的不断发展，由于错误或恶意提示导致有害输出的风险也在增加。虽然现有方法能有效应对越狱（jailbreak）风险，但它们普遍存在两个关键限制：1) 仅从预填充级别判断有害输出，未充分利用模型解码过程中的输出信息，导致效果和鲁棒性相对较低。2) 基于单一评估拒绝潜在有害输出会显著损害模型的有用性。为解决以上问题，我们深入研究了 LLMs 识别有害输出的能力，揭示并量化了它们评估先前令牌危险性的能力。受试验结果启发，我们设计了一种在解码层面的强健防御机制。我们的创新解码导向、逐步防御架构直接纠正有害查询的输出，而非简单拒绝它们。我们引入推测性解码技术来提高可用性并促进部署，以提升安全解码速度。广泛的实验表明，我们的方法在不影响推理速度的前提下提高了模型安全性。值得注意的是，与现有方法相比，我们的方法利用模型辨别有害信息的能力，同时保持了较高的有用性。

论文 03：Towards Reward Fairness in RLHF: From a Resource Allocation Perspective
| 类型：ACL25 Main
| 论文链接：https://arxiv.org/pdf/2505.23349
| 论文简介：奖励函数是人类偏好的代理，在“来自人类反馈的强化学习”（Reinforcement Learning from Human Feedback，简称 RLHF）中起着关键作用。然而，当这些奖励只是不完美的代理，并表现出如长度偏好等偏差时，可能会对大语言模型（LLM）的对齐效果产生不利影响。本文将奖励中的各种偏差统称为“奖励不公”（Reward Unfairness）问题。基于此，我们将偏好学习建模为一个资源分配问题，把奖励看作是需要分配的资源，同时在分配中权衡效用与公平性之间的取舍。我们提出了两种实现奖励公平的方法：公平性正则项（Fairness Regularization）和公平性系数（Fairness Coefficient）。我们将这两种方法分别应用于验证阶段和强化学习阶段，从而分别获得一个公平奖励模型和一个策略模型。在两个应用场景下的实验结果表明，我们的方法能够以更加公平的方式，使 LLM 更好地对齐于人类偏好。

论文 04：HAIC: Improving Human Action Understanding and Generation with Better Captions for Multi-modal Large Language Models
| 类型：ACL25 Main
| 论文链接：https://arxiv.org/abs/2502.20811
| 论文简介：多模态大型语言模型在视频理解方面取得了长足进步。然而，由于缺乏高质量的数据，它们在涉及人类动作的视频上的表现仍然受到限制。更进一步，我们发现训练数据的表述形式对模型的理解效果有很大的影响。为了解决这个问题，我们引入了一个两阶段的数据标注流程。首先，我们设计策略从互联网上积累具有清晰人类动作的视频。其次，我们将视频标注为标准化的描述格式，该格式使用人类属性来区分个体，并按时间顺序详细描述他们的动作和互动。通过该流程，我们整理了两个数据集，分别是 HAICTrain 和 HAICBench。HAICTrain 包含由我们数据链路生成并经过训练验证的 126,000 个视频-描述对。同时，HAICBench 包含 500 个手动标注的视频-描述对和 1,400 个问答对，用于全面评估人类动作理解能力。实验结果表明，使用 HAICTrain 进行训练不仅显著提升了多个公开基准测试中人类的理解能力，而且还能提升文生视频的视频重建质量。

论文 05：GODBench: A Benchmark for Multimodal Large Language Models in Video Comment Art
| 类型：ACL25 Main
| 论文链接：https://stan-lei.github.io/KwaiMM-Dialogue/paper3-godbench.html
| 论文简介：视频评论艺术通过提供蕴含幽默、讽刺或情感共鸣的创意内容，显著提升了用户参与度，这要求对文化及语境细微差异具备全面深入的理解。尽管多模态大语言模型（MLLMs）与思维链（CoT）在 STEM 任务（如数学与编程）中已展现出强大的推理能力，但在生成具有共鸣的笑话与深刻讽刺等创造性表达方面仍存在局限。此外，现有基准测试因模态单一与类别覆盖不足，制约了对视频评论艺术创作中综合创造力的探索。针对这些缺陷，我们推出 GODBench——一个融合视频与文本模态的全新基准测试，旨在系统评估 MLLMs 生成视频评论艺术的能力。受物理学中波传播模式的启发，我们进一步提出涟漪思维（Ripple of Thought, RoT）——一种多步推理框架，专门设计用于增强 MLLMs 的创造力。大量实验表明，现有 MLLMs 及 CoT 方法在理解与生成创意视频评论方面仍面临重大挑战。相比之下，RoT 为提升创意内容创作提供了有效路径，其推动 MLLM 创造力实现实质性突破的潜力值得关注。

论文 06：Mixture of Decoding: An Attention-Inspired Adaptive Decoding Strategy to Mitigate Hallucinations in Large Vision-Language Models
| 类型：ACL25 Findings
| 论文链接：https://arxiv.org/pdf/2505.17061v1
| 论文简介：大型视觉语言模型在各种视觉任务中展现出令人印象深刻的能力，但它们仍然受到幻觉这一持续挑战的阻碍。为了解决这一关键问题，我们提出了混合解码 (MoD)，这是一种用于缓解幻觉的新颖方法，它通过评估模型对图像标记的注意力的正确性来动态调整解码策略。具体而言，MoD 测量由原始图像标记生成的输出与由模型关注的图像标记生成的输出之间的一致性，以区分上述正确性。如果输出一致，则表明注意力正确，MoD 会采用互补策略来放大关键信息。相反，如果输出不一致，则表明注意力错误，MoD 会采用对比策略来抑制误导性信息。大量实验表明，MoD 在多个主流基准测试中的表现显著优于现有的解码方法，能够有效缓解 LVLM 中的幻觉。

论文 07：VidCapBench: A Comprehensive Benchmark of Video Captioning for Controllable Text-to-Video Generation
| 类型：ACL25 Findings
| 论文链接：https://arxiv.org/pdf/2502.12782
| 论文简介：可控文本转视频 (T2V) 模型的训练高度依赖于视频与文本描述的匹配，但现有研究鲜有将视频描述评估与 T2V 生成评估联系起来。本文提出了 VidCapBench，这是一种专为 T2V 生成设计的视频描述评估方案，与任何特定描述格式无关。VidCapBench 采用数据标注流程，结合专家模型标注和人工细化，将每个采集到的视频与涵盖视频美学、内容、运动和物理定律的关键信息关联起来。然后，VidCapBench 将这些关键信息属性划分为可自动评估和可手动评估的子集，以满足敏捷开发的快速评估需求和全面验证的准确性要求。通过评估众多最先进的描述模型，我们证明了 VidCapBench 与现有视频描述评估方法相比具有卓越的稳定性和全面性，确保评测的是视频描述的质量而不是裁判模型的评价能力。使用现成的 T2V 模型进行验证，发现 VidCapBench 上的得分与 T2V 质量评估指标之间存在显著的正相关性，这表明 VidCapBench 可以为训练 T2V 模型提供有价值的指导。

结语作为一家以人工智能为核心驱动和技木依托的科技公司，快手致力于不断深化研发投入，将技术作为强劲引擎，驱动业务的迅猛增长。同时，快手将在人工智能领域持续探索，将前沿科技在业务场景中落地应用。欲了解更多关于论文的详尽内容及深度解读，敬请密切关注快手技术公众号的后续推文。