开源模型 Zephyr-7B 发布——跨越三大洲的合作

2023-11-09
阅读 1 分钟
149
✨ 就在几个月前,巴黎的一个新团队发布了他们首个模型: Mistral 7B,这个模型体积小巧但性能强劲,在基准测试中的表现超过了所有同类模型。而且这是个开源模型,这意味着大家都可以在此基础上进行开发。
封面图

用 bitsandbytes、4 比特量化和 QLoRA 打造亲民的 LLM

2023-11-07
阅读 8 分钟
1k
众所周知,LLM 规模庞大,如果在也能消费类硬件中运行或训练它们将是其亲民化的巨大进步。我们之前撰写的 LLM.int8 博文 展示了我们是如何将 LLM.int8 论文 中的技术通过 bitsandbytes 库集成到 transformers 中的。在此基础上,我们不断努力以不断降低大模型的准入门槛。在此过程中,我们决定再次与 bitsandbytes 联手...
封面图

HF Hub 现已加入存储区域功能

2023-11-06
阅读 1 分钟
99
我们在 企业版 Hub 服务 方案中推出了 存储区域(Storage Regions) 功能。通过此功能,用户能够自主决定其组织的模型和数据集的存储地点,这带来两大显著优势,接下来的内容会进行简要介绍:法规和数据合规,此外还能增强数字主权性能提升(下载和上传速度更快,减少延迟)目前,我们支持以下几个存储区域:美国 🇺🇸欧盟...
封面图

发布会回放|Gradio 4.0 正式发布!

2023-11-02
阅读 1 分钟
301
Gradio 的目标是使机器学习模型的演示更容易定制和访问,以满足不同用户的需求。在 4.0 正式版的发布活动上,Hugging Face 的 Gradio 团队介绍了自己为了提高机器学习模型的可访问性所做的工作,以及如何创建自定义组件。
封面图

实战|如何低成本训练一个可以超越 70B Llama2 的模型 Zephyr-7B

2023-10-28
阅读 2 分钟
153
每一周,我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新,包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等,我们将其称之为「Hugging News」。快来看看有哪些近期更新吧! 🎉
封面图

长程 Transformer 模型

2023-10-26
阅读 8 分钟
178
本文由 Teven Le Scao、Patrick Von Platen、Suraj Patil、Yacine Jernite 和 Victor Sanh 共同撰写。

使用 DDPO 在 TRL 中微调 Stable Diffusion 模型

2023-10-23
阅读 5 分钟
229
扩散模型 (如 DALL-E 2、Stable Diffusion) 是一类文生图模型,在生成图像 (尤其是有照片级真实感的图像) 方面取得了广泛成功。然而,这些模型生成的图像可能并不总是符合人类偏好或人类意图。因此出现了对齐问题,即如何确保模型的输出与人类偏好 (如“质感”) 一致,或者与那种难以通过提示来表达的意图一致?这里就有强...
封面图

Hugging Face: 代码生成模型的预训练和微调

2023-10-23
阅读 1 分钟
435
和大家分享我们的机器学习工程师 Loubna Ben Allal 在 10 月上海 KubeCon 大会的主题演讲 📢题目是: 代码生成模型的预训练和微调
封面图

不写代码、构建一个开源的 ChatGPT,总共需要几步?|Hugging News #1020

2023-10-23
阅读 2 分钟
184
每一周,我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新,包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等,我们将其称之为「Hugging News」。本期 Hugging News 有哪些有趣的消息,快来看看吧! 🎉
封面图

面向生产的 LLM 优化

2023-10-19
阅读 20 分钟
407
以 GPT3/4、Falcon 以及 LLama 为代表的大语言模型 (Large Language Model,LLM) 在处理以人为中心的任务上能力突飞猛进,俨然已成为现代知识型行业的重要工具。
封面图

Hugging Face 分词器新增聊天模板属性

2023-10-17
阅读 5 分钟
212
现存的聊天模型使用的训练数据格式各各不同,我们需要用这些格式将对话转换为单个字符串并传给分词器。如果我们在微调或推理时使用的格式与模型训练时使用的格式不同,通常会导致严重的、无声的性能下降,因此匹配训练期间使用的格式极其重要! Hugging Face 分词器新增了 chat_template 属性,可用于保存模型训练时使用...
封面图

我们又组织了一次欧洲最大开源社区活动,Hugging Face 博客欢迎社区成员发帖、Hugging Chat 功能更新!

2023-10-14
阅读 1 分钟
198
每一周,我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新,包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等,我们将其称之为「Hugging News」。本期 Hugging News 有哪些有趣的消息,快来看看吧! 🎉
封面图

机器学习即代码的时代已经到来

2023-10-11
阅读 4 分钟
168
译者注: 到底是 AI 会吃掉软件还是软件会吃掉 AI?为了 job security 工程师应该把宝押在哪儿?这篇 2021 年的文章提供的一些视角似乎印证了它现在的流行,有点“运筹于帷幄之中,决胜于数年之后”的意思,颇值得软件架构师和产品经理们内省一番。
封面图

AudioLDM 2,加速!

2023-10-10
阅读 10 分钟
229
AudioLDM 2 由刘濠赫等人在 AudioLDM 2: Learning Holistic Audio Generation with Self-supervised Pretraining 一文中提出。 AudioLDM 2 接受文本提示作为输入并输出对应的音频,其可用于生成逼真的声效、人类语音以及音乐。

在 SDXL 上用 T2I-Adapter 实现高效可控的文生图

2023-09-29
阅读 5 分钟
397
T2I-Adapter 是一种高效的即插即用模型,其能对冻结的预训练大型文生图模型提供额外引导。T2I-Adapter 将 T2I 模型中的内部知识与外部控制信号结合起来。我们可以根据不同的情况训练各种适配器,实现丰富的控制和编辑效果。
封面图

Hugging News #0925: 一览近期的新功能发布

2023-09-27
阅读 2 分钟
368
每一周,我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新,包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等,我们将其称之为「Hugging News」。本期 Hugging News 有哪些有趣的消息,快来看看吧! 🎉
封面图

使用 FHE 实现加密大语言模型

2023-09-24
阅读 5 分钟
764
尽管 LLM 很有吸引力,但如何保护好 输入给这些模型的用户查询中的隐私 这一问题仍然存在。一方面,我们想充分利用 LLM 的力量,但另一方面,存在向 LLM 服务提供商泄露敏感信息的风险。在某些领域,例如医疗保健、金融或法律,这种隐私风险甚至有一票否决权。

Hugging News #0918: Hub 加入分类整理功能、科普文本生成中的流式传输

2023-09-24
阅读 2 分钟
599
每一周,我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新,包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等,我们将其称之为「Hugging News」。本期 Hugging News 有哪些有趣的消息,快来看看吧! 🎉😍
封面图

如何成功将 API 客户的 transformer 模型推理速度加快 100 倍

2023-09-16
阅读 2 分钟
300
🤗 Transformers 已成为世界各地数据科学家用以探索最先进 NLP 模型、构建新 NLP 模块的默认库。它拥有超过 5000 个预训练和微调的模型,支持 250 多种语言,任君取用。无论你使用哪种框架,都能用得上它。

Hugging News #0912: Hugging Face 2 人入选时代周刊全球百大 AI 人物

2023-09-13
阅读 3 分钟
282
每一周,我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新,包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等,我们将其称之为「Hugging News」。本期 Hugging News 有哪些有趣的消息,快来看看吧! 🎉😍
封面图

IDEFICS 简介: 最先进视觉语言模型的开源复现

2023-09-08
阅读 9 分钟
1.1k
Code Llama 是为代码类任务而生的一组最先进的、开放的 Llama 2 模型,我们很高兴能将其集成入 Hugging Face 生态系统!Code Llama 使用与 Llama 2 相同的社区许可证,且可商用。

Code Llama:Llama 2 学会写代码了!

2023-09-07
阅读 9 分钟
1.1k
Code Llama 是为代码类任务而生的一组最先进的、开放的 Llama 2 模型,我们很高兴能将其集成入 Hugging Face 生态系统!Code Llama 使用与 Llama 2 相同的社区许可证,且可商用。
封面图

重磅| Falcon 180B 正式在 Hugging Face Hub 上发布!

2023-09-06
阅读 5 分钟
3.8k
我们很高兴地宣布由 Technology Innovation Institute (TII) 训练的开源大模型 Falcon 180B 登陆 Hugging Face! Falcon 180B 为开源大模型树立了全新的标杆。作为当前最大的开源大模型,有180B 参数并且是在在 3.5 万亿 token 的 TII RefinedWeb 数据集上进行训练,这也是目前开源模型里最长的单波段预训练。
封面图

Hugging News #0904:登陆 AWS Marketplace

2023-09-05
阅读 2 分钟
904
每一周,我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新,包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等,我们将其称之为「Hugging News」。本期 Hugging News 有哪些有趣的消息,快来看看吧! 🎉😍
封面图

重要变更 | Hugging Face Hub 的 Git 操作不再支持使用密码验证

2023-08-31
阅读 2 分钟
960
在 Hugging Face,我们一直致力于提升服务安全性,因此,我们将对通过 Git 与 Hugging Face Hub 交互时的认证方式进行更改。从 2023 年 10 月 1 日 开始,我们将不再接受密码作为命令行 Git 操作的认证方式。我们推荐使用更安全的认证方法,例如用个人访问令牌替换密码或使用 SSH 密钥。

介绍 SafeCoder 解决方案服务

2023-08-30
阅读 4 分钟
788
SafeCoder 旨在成为你完全合规且自托管的结对编程工程师,从而释放企业的软件开发生产力。用营销话术来讲就是:“你自己的本地 GitHub Copilot”。
封面图

开源 SD-Small 和 SD-Tiny 知识蒸馏代码与权重

2023-08-29
阅读 4 分钟
697
最近,人工智能社区在开发更大、更高性能的语言模型方面取得了显著的进展,例如 Falcon 40B、LLaMa-2 70B、Falcon 40B、MPT 30B; 以及在图像领域的模型,如 SD2.1 和 SDXL 。这些进步无疑推动了人工智能的发展,使其具有高度多功能和最先进的图像生成和语言理解能力。然而,在我们惊叹于这些模型的强大和复杂性之余,必...

Hugging News #0821: Hugging Face 完成 2.35 亿美元 D 轮融资

2023-08-28
阅读 3 分钟
685
每一周,我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新,包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等,我们将其称之为「Hugging News」。本期 Hugging News 有哪些有趣的消息,快来看看吧! 🎉😍
封面图

使用 AutoGPTQ 和 transformers 让大语言模型更轻量化

2023-08-25
阅读 6 分钟
1.6k
大语言模型在理解和生成人类水平的文字方面所展现出的非凡能力,正在许多领域带来应用上的革新。然而,在消费级硬件上训练和部署大语言模型的需求也变得越来越难以满足。
封面图

使用 🤗 Transformers 优化文本转语音模型 Bark

2023-08-23
阅读 8 分钟
973
🤗 Transformers 提供了许多最新最先进 (state-of-the-art, SoTA) 的模型,这些模型横跨多个领域及任务。为了使这些模型能以最佳性能运行,我们需要优化其推理速度及内存使用。
封面图