人工标注员这是 人工评估 系列文章的第二篇《人工标注员》，全系列包括:基础概念人工标注员技巧与提示推荐阅读 这篇综述 的第三章，介绍了许多数据标注质量管理的实践经验。如果你追求的是生产级的质量，并且具备实施条件，那么请继续阅读吧！ 无论项目规模多大，一旦定义了具体的评估任务和打分细则，请注意：选择合适...

如果你手头 没有现成的数据集，但还是想测试一些模型的能力，可以采用人工评估：提供一个任务说明和打分指南 (例如：尝试与模型交互，迫使模型输出不当语言，即包含冒犯性、歧视性、暴力等。如果模型输出了不当语言，则得分为 0，反之为 1。)，以及可供交互的测试模型，然后就可以让标注员人工操作并评分，同时列出评分...

欧盟《人工智能法案》 (EU AI Act) 是全球首部全面的人工智能立法，现已正式生效，它将影响我们开发和使用人工智能的方式——包括在开源社区中的实践。如果您是一位开源开发者，正在适应这一新环境，可能会想知道这对您的项目意味着什么。本指南重点解读了该法规的关键要点，特别是针对开源开发者，提供了对这一法规的清晰...

本文将带你一步步探究 Transformer 模型中先进的位置编码技术。我们将通过迭代改进编码位置的方法，最终得出 旋转位置编码 (Rotary Postional Encoding, RoPE)，这也是最新发布的 LLama 3.2 和大多数现代 transformer 模型所采用的方法。本文旨在尽量减少所需的数学知识，但理解一些基本的线性代数、三角学和自注意力机...

什么是 LoRA？LoRA（Low-Rank Adaptation，低秩适配）是一种用于高效微调大型语言模型的机器学习技术。可以将 LoRA 想象成给一个大型通用模型添加一小组专门的指令。与重新训练整个模型（既昂贵又耗时）不同，LoRA 允许你高效地为模型添加新功能。例如，可以快速将一个标准聊天机器人适配用于客户服务、法律咨询或医疗保...

在飞速发展的可穿戴技术领域，我们正处于一个十字路口。市场上充斥着各式时尚、功能丰富的设备，声称能够彻底改变我们对健康和健身的方式。然而，在这些光鲜的外观和营销宣传背后，隐藏着一个令人担忧的现实：大多数这些设备是封闭系统，其内部运行被专有代码和封闭硬件所掩盖。作为消费者，我们对这些设备如何收集、处...

太长不看版: 许多 LLM (如 gemma-2-9b 、 Mixtral-8x22B-Instruct-v0.1 等) 苦于缺乏对应小模型，而无法适用 辅助生成 方案。本文，我们将介绍由英特尔研究院和 Hugging Face 合作开发的 通用辅助生成 技术。有了这项技术，LLM 可与 任意 SLM 搭配组成辅助生成方案。从而，我们可以用辅助生成技术加速 任意 解码器模型或...

作为 Stable Diffusion 3 的改进版本，Stable Diffusion 3.5 如今已在 Hugging Face Hub 中可用，并可以直接使用 🧨 Diffusers 中的代码运行。

今天，Google DeepMind 和 Hugging Face 很共同宣布，在 Transformers v4.46.0 版本中，我们正式推出了 SynthID Text 技术。这项技术能够通过使用 logits 处理器 为生成任务添加水印，并利用 分类器 检测这些水印。

随着数据集的使用量急剧增加，Hugging Face 社区已经变成了众多数据集默认存放的仓库。每月，海量数据集被上传到社区，这些数据集亟需有效的查询、过滤和发现。

我们非常高兴地宣布与 Truffle Security 建立合作伙伴关系并在我们的平台集成 TruffleHog 强大的风险信息扫描功能。这些特性是 我们持续致力于提升安全性 的重要举措之一。

顶点着色是一种将颜色信息直接应用于网格顶点的简便方法。这种方式常用于生成式 3D 模型的构建，例如 InstantMesh。然而，大多数应用程序更偏好使用 UV 映射的纹理化网格。

在端侧部署 Transformer 模型需要仔细考虑性能和兼容性。Python 虽然功能强大，但对于部署来说有时并不算理想，特别是在由 C++ 主导的环境中。这篇博客将指导您如何使用 Optimum-Intel 和 OpenVINO™ GenAI 来优化和部署 Hugging Face Transformers 模型，确保在最小依赖性的情况下进行高效的 AI 推理。

Wiz 研究人员 与 Hugging Face 就我们平台的安全性进行合作并分享了他们的发现。 Wiz 是一家云安全公司，帮助客户以安全的方式构建和维护软件。 随着这项研究的发布，我们将借此机会重点介绍一些相关的 Hugging Face 安全改进。

⭐ 在这篇博客文章中，我们将探讨 动态推测解码 ——这是由英特尔实验室和 Hugging Face 开发的一种新方法，可以加速文本生成高达 2.7 倍，具体取决于任务。从 Transformers🤗 发布的版本 4.45.0 开始，这种方法是辅助生成的默认模式⭐

Llama 3.2 来了！今天，我们欢迎 Llama 系列的下一个版本加入 Hugging Face。这次，我们很高兴与 Meta 合作发布多模态和小型模型。在 Hub 上提供了十个开源模型 (5 个多模态模型和 5 个仅文本模型)。

开放视频数据集稀缺，因此减缓了开源视频 AI 的发展。为此，我们构建了 FineVideo，这是一个包含 43,000 个视频的数据集，总时长为 3,400 小时，并带有丰富的描述、叙事细节、场景分割和问答对。

有了 Gradio 5，开发者可以构建 生产级的机器学习 Web 应用，这些应用不仅性能优越、可扩展、设计精美、易于访问，而且还遵循了最佳的 Web 安全实践。更重要的是，只需几行 Python 代码即可实现。

随着大语言模型 (LLMs) 规模和复杂性的增长，寻找减少它们的计算和能耗的方法已成为一个关键挑战。一种流行的解决方案是量化，其中参数的精度从标准的 16 位浮点 (FP16) 或 32 位浮点 (FP32) 降低到 8 位或 4 位等低位格式。虽然这种方法显著减少了内存使用量并加快了计算速度，但往往以准确性为代价。过度降低精度可能...

强大的模型支持: 用户可以一键访问多个顶尖的开源大语言模型，包括 Qwen 2.5 72B、Command R+、Phi 3.5、Mistral 12B 等等；

我们为 LLM 确立了一个跨模型的 统一工具调用 API。有了它，你就可以在不同的模型上使用相同的代码，在 Mistral、Cohere、NousResearch 或 Llama 等模型间自由切换，而无需或很少需要根据模型更改工具调用相关的代码。此外，我们还在 transformers 中新增了一些实用接口以使工具调用更丝滑，我们还为此配备了 完整的文档...

在三年半以前、项目发起之初时，Accelerate 的目标还只是制作一个简单框架，通过一个低层的抽象来简化多 GPU 或 TPU 训练，以此替代原生的 PyTorch 训练流程:

在快速发展的研究领域，保持对最新进展的关注至关重要。为了帮助开发者和研究人员跟踪 AI 领域的前沿动态，Hugging Face 推出了 Daily Papers 页面。自发布以来，Daily Papers 已展示了由 AK 和社区研究人员精心挑选的高质量研究。在过去一年里，已有超过 3700 篇论文被发布，页面订阅用户也增长至超过 1.2 万！

现在，在 Hugging Face 中，使用打包的指令调整示例 (无需填充) 进行训练已与 Flash Attention 2 兼容，这要归功于一个 最近的 PR 以及新的 DataCollatorWithFlattening。

Falcon Mamba 是由阿布扎比的 Technology Innovation Institute (TII) 开发并基于 TII Falcon Mamba 7B License 1.0 的开放获取模型。该模型是开放获取的，所以任何人都可以在 Hugging Face 生态系统中 这里 使用它进行研究或应用。

在开发 Docmatix 时，我们发现经其微调的 Florence-2 在 DocVQA 任务上表现出色，但在基准测试中得分仍比较低。为了提高基准测试得分，我们必须在 DocVQA 数据集上进一步对模型进行微调，以学习该基准测试的语法风格。有意思的是，人类评估者认为经额外微调后，模型的表现似乎反而不如仅在 Docmatix 上微调那么好，因此...

我们花了一笔巨款收购了 .com 域名，恭喜我们，也恭喜过去的这位域名持有者 🫴 接住了这泼天的富贵 🤗

总结: 随着我们增加内存压缩次数的次数，Infini-attention 的性能会变得越来越差。据我们所知，ring attention、YaRN 和 rope scaling 这三种方法仍是将预训练模型拓展更长上下文的最佳方式。

本文，我们将发布 Docmatix - 一个超大的文档视觉问答 (DocVQA) 数据集，比之前的数据集大 100 倍。当使用 Docmatix 微调 Florence-2 时，消融实验显示 DocVQA 任务的性能提高了 20%。

过去的几个月，我们目睹了使用基于 transformer 模型作为扩散模型的主干网络来进行高分辨率文生图 (text-to-image，T2I) 的趋势。和一开始的许多扩散模型普遍使用 UNet 架构不同，这些模型使用 transformer 架构作为扩散过程的主模型。由于 transformer 的性质，这些主干网络表现出了良好的可扩展性，模型参数量可从 0.6...