大型语言模型如今风靡一时，许多公司投入大量资源来扩展它们规模并解锁新功能。然而，作为注意力持续时间不断缩短的人类，我们并不喜欢大模型缓慢的响应时间。由于延迟对于良好的用户体验至关重要，人们通常使用较小的模型来完成任务，尽管它们的质量较低 (例如 代码补全任务)。

如果你是一个软件开发者，你可能已经使用过 ChatGPT 或 GitHub 的 Copilot 去解决一些写代码过程中遇到的问题，比如将代码从一种语言翻译到另一种语言，或者通过自然语言，诸如“_写一个计算斐波那契数列第 N 个元素的 Python 程序_”，来自动生成代码。尽管这些专有系统功能强大，但它们仍然有很多不足，比如对训练所使用...

大语言模型 (LLM) 正在席卷整个机器学习世界。得益于其 transformer 架构，LLM 拥有从大量非结构化数据 (如文本、图像、视频或音频) 中学习的不可思议的能力。它们在 多种任务类型 上表现非常出色，无论是文本分类之类的抽取任务 (extractive task) 还是文本摘要和文生图像之类的生成任务 (generative task)。

每一周，我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新，包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等，我们将其称之为「Hugging News」，本期 Hugging News 有哪些有趣的消息，快来看看吧！

其实，很多有关 transformer 语言模型的一些基本且重要的信息都可以用很简单的方法估算出来。不幸的是，这些公式在 NLP 社区中鲜为人知。本文的目的是总结这些公式，阐明它们是如何推导出来的及其作用

嗨嗨嗨，🤗 宝子们，今天咱们来一则招聘公告！这是 Hugging Face 的 Post-Sales Machine Learning Solutions Engineer - Asia Remote 职位，感兴趣的宝宝请继续往后看：

自然语言生成 (即文本生成) 是自然语言处理 (NLP) 的核心任务之一。本文将介绍神经网络文本生成领域当前最先进的解码方法 对比搜索 (Contrastive Search)。提出该方法的论文 “A Contrastive Framework for Neural Text Generation” 最初发表于 NeurIPS 2022 (论文、官方实现)。此后， “Contrastive Search Is What You N...

最近生成模型方向的进展如排山倒海，令人目不暇接，而文生视频将是这一连串进展的下一波。尽管大家很容易从字面上理解文生视频的意思，但它其实是一项相当新的计算机视觉任务，其要求是根据文本描述生成一系列时间和空间上都一致的图像。虽然看上去这项任务与文生图极其相似，但众所周知，它的难度要大得多。这些模型是...

每一周，我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新，包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等，我们将其称之为「Hugging News」，本期 Hugging News 有哪些有趣的消息，快来看看吧！

由于扩散模型在现实世界上的实际应用例子会对社会造成潜在的负面影响，该守则旨在引导对于社区做出贡献的 Diffusers 库维护者进行技术决策。我们希望对于我们的决策进行更加透明，尤其是，我们想确认一些价值观来指导决策。

本文主要面向两类目标读者: 一类是想使用机器学习的生物学家，一类是想进入生物学领域的机器学习研究者。如果你不熟悉生物学或机器学习，仍然欢迎你阅读本文，但有时你可能会觉得有点读不太懂！如果你已经熟悉这两者，那么你可能根本不需要本文 —— 你可以直接跳到我们的示例 notebook 以查看这些模型的实际应用:

Hugging Face Space 是一个能够以简单的方式来构建、托管和分享项目或应用样例的平台。虽然通常更多地是应用在机器学习样例中，不过实际上 Space 还可以用来托管 Unity 游戏，并且支持点击即玩。这里有一些游戏的 Space 示例:

BigCode 是由 Hugging Face 和 ServiceNow 共同领导的开放式科学合作项目，该项目致力于开发负责任的代码大模型。

每一周，我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新，包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等，我们将其称之为「Hugging News」，本期 Hugging News 有哪些有趣的消息，快来看看吧！

如 ChatGPT，GPT-4，Claude 语言模型 之强大，因为它们采用了 基于人类反馈的强化学习 (Reinforcement Learning from Human Feedback, RLHF) 来使之更符合我们的使用场景。

每一周，我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新，包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等，我们将其称之为「Hugging News」，本期 Hugging News 有哪些有趣的消息，快来看看吧！

在巨量文本数据下训练的大语言模型非常擅长生成现实文本。但是，这些模型通常会显现出一些不良行为像泄露个人信息 (比如社会保险号) 和生成错误信息，偏置，仇恨或有毒内容。举个例子，众所周知，GPT3 的早期版本就表现出性别歧视 (如下图) 与 仇恨穆斯林言论 的情况。

语言模型一直在变大。截至撰写本文时，PaLM 有 5400 亿参数，OPT、GPT-3 和 BLOOM 有大约 1760 亿参数，而且我们仍在继续朝着更大的模型发展。下图总结了最近的一些语言模型的尺寸。

近年来，随着以 OpenAI GPT2 模型 为代表的基于数百万网页数据训练的大型 Transformer 语言模型的兴起，开放域语言生成领域吸引了越来越多的关注。开放域中的条件语言生成效果令人印象深刻，典型的例子有: GPT2 在独角兽话题上的精彩续写，XLNet 以及 使用 CTRL 模型生成受控文本 等。促成这些进展的除了 transformer 架...

Hugging Face 的中国社区成立已经有五个月之久，我们也非常高兴的看到 Hugging Face 相关的中文内容在各个平台广受好评，我们也注意到，Hugging Face Hub 上有众多国内开发者们的创新和贡献。因此，我们非常高兴的宣布：

Datawhale 是一个专注于数据科学与 AI 领域的开源组织，汇集了众多领域院校和知名企业的优秀学习者，聚合了一群有开源精神和探索精神的团队成员。Datawhale 以「for the learner，和学习者一起成长」为愿景，鼓励真实地展现自我、开放包容、互信互助、敢于试错和勇于担当。同时 Datawhale 用开源的理念去探索开源内容、...

在我们的使命中，我们致力于推动机器学习 (ML) 的民主化，我们在研究如何支持 ML 社区工作并有助于检查危害和防止可能的危害发生。开放式的发展和科学可以分散力量，让许多人集体开展反映他们需求和价值的 AI 研究工作。虽然 开放性使得更广泛的观点能够为研究和整个 AI 贡献力量，但它也面对着较小风险控制的紧张。

在之前的 博文 中，我们探讨了图机器学习的一些理论知识。这一篇我们将探索如何使用 Transformers 库进行图分类。(你也可以从 此处 下载演示 notebook，跟着一起做！)

经过“九九八十一难”，大模型终于炼成。下一步就是架设服务，准备开门营业了。真这么简单？恐怕未必！行百里者半九十，推理优化又是新的雄关漫道。如何进行延迟优化？如何进行成本优化 (别忘了 OpenAI 8K 上下文的 GPT-4 模型，提示每 1000 词元只需 0.03 美金，补全每 1000 词元只需 0.06 美金)？如何在延迟和吞吐量之间...

每一周，我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新，包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等，我们将其称之为「Hugging News」，本期 Hugging News 有哪些有趣的消息，快来看看吧！

为了帮助参赛者更好的完成自己的项目，也为了与更多社区成员们分享扩散模型和生成式 AI 相关的经验和更新，我们会在本月的 13、14 和 17 日邀请来自业界的顶尖从业者做一系列的技术分享，下面是详细的活动安排预告（具体活动安排以当天为准），我们也同时计划于 4 月 20 日（周四）下午在北京中关村进行一次线下选手见面...

在本文中，我们将展示如何使用 大语言模型低秩适配 (Low-Rank Adaptation of Large Language Models，LoRA) 技术在单 GPU 上微调 110 亿参数的 FLAN-T5 XXL 模型。在此过程中，我们会使用到 Hugging Face 的 Transformers、Accelerate 和 PEFT 库。

前一段时间，我们向大家介绍了最新一代的 英特尔至强 CPU (代号 Sapphire Rapids)，包括其用于加速深度学习的新硬件特性，以及如何使用它们来加速自然语言 transformer 模型的 分布式微调 和 推理。

今天，我们为大家带来 ILLA Cloud 集成 Hugging Face 功能的更新，经过双方团队的沟通和推进，ILLA Cloud 现以发布 2.0 正式版 ——用户可以将 ILLA Cloud 的应用构建能力与 Hugging Face 上先进的 AI 模型相结合，借助两个平台的优势为团队带来更进一步的效率提升。

每一周，我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新，包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等，我们将其称之为「Hugging News」，本期 Hugging News 有哪些有趣的消息，快来看看吧！