Florence-2 是微软于 2024 年 6 月发布的一个基础视觉语言模型。该模型极具吸引力，因为它尺寸很小 (0.2B 及 0.7B) 且在各种计算机视觉和视觉语言任务上表现出色。

经过一些实验，我们对 Transformers 智能体构建智能体系统的性能印象深刻，因此我们想看看它有多好！我们使用一个 用库构建的代码智能体 在 GAIA 基准上进行测试，这可以说是最困难、最全面的智能体基准测试……最终我们取得了第一名的成绩！

Hugging Face 全球政策负责人艾琳-索莱曼 （ Irene Solaiman ）将参加7月5日在上海举办的WAIC-前沿人工智能安全和治理论坛，并在现场进行主旨演讲和参加圆桌讨论。具体时间信息如下：

本文概述了我们在生成含数十亿词元的合成数据集以复现 Phi-1.5 过程中所遇到的挑战及其解决方案，由此最终创建了 Cosmopedia 合成数据集。合成数据已成为机器学习社区的 C 位话题，其题中之义是用人工 (如使用大语言模型 (LLM)) 生成的数据模拟真实数据。

这个夏天，THUNLP 携手 Hugging Face 和 OpenBMB，推出 大模型公开课第二季。在大模型公开课第二季中，将有全球知名开源社区 OpenBMB X Hugging Face 梦幻联动；MiniCPM、ChatDev、Ultra对齐 等明星开源项目作者亲自授课，带领同学从深度学习开始快速了解大模型的相关理论并进行实践。

HumanEval 是一个用于评估大型语言模型 (LLM) 在代码生成任务中的参考基准，因为它使得对紧凑的函数级代码片段的评估变得容易。然而，关于其在评估 LLM 编程能力方面的有效性越来越多的担忧，主要问题是HumanEval 中的任务太简单，可能不能代表真实世界的编程任务。相比于 HumanEval 中的算法导向任务，真实世界的软件开...

Google 发布了最新的开放大语言模型 Gemma 2，我们非常高兴与 Google 合作，确保其在 Hugging Face 生态系统中的最佳集成。你可以在 Hub 上找到 4 个开源模型（2 个基础模型和 2 个微调模型）。发布的功能和集成包括：

社区中有两个流行的 零冗余优化器（Zero Redundancy Optimizer，ZeRO） 算法实现，一个来自 DeepSpeed，另一个来自 PyTorch。Hugging Face Accelerate 对这两者都进行了集成并通过接口暴露出来，以供最终用户在训练/微调模型时自主选择其中之一。本文重点介绍了 Accelerate 对外暴露的这两个后端之间的差异。为了让用户...

评估和比较大语言模型 (LLMs) 是一项艰巨的任务。我们 RLHF 团队在一年前就意识到了这一点，当时他们试图复现和比较多个已发布模型的结果。这几乎是不可能完成的任务：论文或营销发布中的得分缺乏可复现的代码，有时令人怀疑，大多数情况下只是通过优化的提示或评估设置来尽量提升模型表现。因此，他们决定创建一个地方...

随着模型规模的增长，生成式人工智能的实现需要大量的推理资源。这不仅增加了每次生成的成本，而且还增加了用于满足此类请求的功耗。因此，文本生成的推理优化对于降低延迟、基础设施成本以及功耗都至关重要，其可以改善用户体验并提高文本生成任务的效率。

本文主要探讨 TGI 的小兄弟 - TGI 基准测试工具。它能帮助我们超越简单的吞吐量指标，对 TGI 进行更全面的性能剖析，以更好地了解如何根据实际需求对服务进行调优并按需作出最佳的权衡及决策。如果你曾觉得 LLM 服务部署成本太高，或者你想对部署进行调优，那么本文很适合你！

[链接]🤗 3D 机器学习课程上线🎉在本课程中，你将学习到：当前 3D 机器学习的总体情况近期发展的重要性如何自己动手制作生成式 3D 演示课程当前有 4 个短视频。由 Hugging Face 机器学习工程师 Dylan Ebert 制作和讲解。如果你有任何问题🙋或者想要参与其他关于 3D 的内容和工作，欢迎联系我们！

[链接]🤗 3D 机器学习课程上线🎉在本课程中，你将学习到：当前 3D 机器学习的总体情况近期发展的重要性如何自己动手制作生成式 3D 演示课程当前有4个短视频。由Hugging Face 机器学习工程师 Dylan Ebert 制作和讲解。如果你有任何问题🙋或者想要参与其他关于 3D 的内容和工作，欢迎联系我们！

[链接]🤗 3D 机器学习课程上线🎉在本课程中，你将学习到：当前 3D 机器学习的总体情况近期发展的重要性如何自己动手制作生成式 3D 演示课程当前有 4 个短视频。由 Hugging Face 机器学习工程师 Dylan Ebert 制作和讲解。如果你有任何问题🙋或者想要参与其他关于 3D 的内容和工作，欢迎联系我们！

[链接]🤗 3D 机器学习课程上线🎉在本课程中，你将学习到：当前 3D 机器学习的总体情况近期发展的重要性如何自己动手制作生成式 3D 演示课程当前有4个短视频。由Hugging Face 机器学习工程师 Dylan Ebert 制作和讲解。如果你有任何问题🙋或者想要参与其他关于 3D 的内容和工作，欢迎联系我们！

我们很高兴在 TRL 中介绍 RLOO (REINFORCE Leave One-Out) 训练器。作为一种替代 PPO 的方法，RLOO 是一种新的在线 RLHF 训练算法，旨在使其更易于访问和实施。特别是， RLOO 需要的 GPU 内存更少，并且达到收敛所需的挂钟时间也更短。如下面的图表所示:

作为 Stability AI 的 Stable Diffusion 家族最新的模型，Stable Diffusion 3 (SD3) 现已登陆 Hugging Face Hub，并且可用在 🧨 Diffusers 中使用了。

太长不看版: KV 缓存量化可在最小化对生成质量的影响的条件下，减少 LLM 在长文本生成场景下的内存使用量，从而在内存效率和生成速度之间提供可定制的权衡。

Sentence Transformers 是一个 Python 库，用于使用和训练各种应用的嵌入模型，例如检索增强生成 (RAG)、语义搜索、语义文本相似度、释义挖掘 (paraphrase mining) 等等。其 3.0 版本的更新是该工程自创建以来最大的一次，引入了一种新的训练方法。在这篇博客中，我将向你展示如何使用它来微调 Sentence Transformer 模...

Whisper 是当前最先进的开源语音识别模型之一，毫无疑问，也是应用最广泛的模型。如果你想部署 Whisper 模型，Hugging Face 推理终端 能够让你开箱即用地轻松部署任何 Whisper 模型。但是，如果你还想叠加其它功能，如用于分辨不同说话人的说话人分割，或用于投机解码的辅助生成，事情就有点麻烦了。因为此时你需要将 Wh...

我们很高兴官宣发布 langchain_huggingface ，这是一个由 Hugging Face 和 LangChain 共同维护的 LangChain 合作伙伴包。这个新的 Python 包旨在将 Hugging Face 最新功能引入 LangChain 并保持同步。

简要概述我们推出了 Transformers 智能体 2.0！⇒ 🎁 在现有智能体类型的基础上，我们新增了两种能够 根据历史观察解决复杂任务的智能体。⇒ 💡 我们致力于让代码 清晰、模块化，并确保最终提示和工具等通用属性透明化。⇒ 🤝 我们加入了 分享功能，以促进社区智能体的发展。⇒ 💪 全新的智能体框架性能卓越，使得 Llama-3-70B-I...

检索增强生成 (Retrieval Augmented Generation，RAG) 可将存储在外部数据库中的新鲜领域知识纳入大语言模型以增强其文本生成能力。其提供了一种将公司数据与训练期间语言模型学到的知识分开的方式，有助于我们在性能、准确性及安全隐私之间进行有效折衷。

在人工智能技术领域，GPU 资源一直是推动研究和应用的关键因素。然而，GPU 的成本和可用性对于许多研究人员和开发者来说却是一个显著的障碍。

PaliGemma（Github）是一系列具有视觉和语言处理能力的模型，由 SigLIP-So400m 作为图像编码器和 Gemma-2B 作为文本解码器构成。SigLIP 是一个顶尖的模型，可以同时解析图像和文本。它的工作方式类似于 CLIP，包括图像和文本编码器的联合训练。与 PaLI-3相似，PaliGemma 模型在图像-文本数据上进行预训练后，可轻松针对...

我们很高兴在此发布 Idefics2，这是一个通用的多模态模型，接受任意文本序列和图像序列作为输入，并据此生成文本。它可用于回答图像相关的问题、描述视觉内容、基于多幅图像创作故事、从文档中提取信息以及执行基本的算术运算。

Wiz 研究人员 与 Hugging Face 就我们平台的安全性进行合作并分享了他们的发现。 Wiz 是一家云安全公司，帮助客户以安全的方式构建和维护软件。 随着这项研究的发布，我们将借此机会重点介绍一些相关的 Hugging Face 安全改进。

我们很高兴分享“万事通”(Jack of All Trades，简称 JAT) 项目，该项目旨在朝着通用智能体的方向发展。该项目最初是作为对 Gato (Reed 等，2022 年) 工作的公开复现启动的，Gato 提出训练一种能够执行视觉与语言以及决策任务的 Transformer。于是我们首先构建了 Gato 数据集的开放版本。随后，我们在此基础上训练了多模态...

指令微调 是一种技术，它能让大语言模型 (LLMs) 更好地理解和遵循人类的指令。但是，在编程任务中，大多数模型的微调都是基于人类编写的指令 (这需要很高的成本) 或者是由大型专有 LLMs 生成的指令 (可能不允许使用)。 我们推出了一个叫做 StarCoder2-15B-Instruct-v0.1 的模型，这是第一个完全自我对齐的大型代码模型，...

当前，生命科学公司不断地从各种不同来源 (实验室数据、电子病历、基因组学、保险索赔、药学、临床等) 收集大量数据，并期望从中获取洞见。但他们分析这些数据的方法已经跟不上数据本身，目前典型的工作模式往往需要一个大型团队来完成从简单查询到开发有用的机器学习模型的所有工作。这一模式已无法满足药物开发、临床...