大语言模型快速推理: 在 Habana Gaudi2 上推理 BLOOMZ

2023-04-06
阅读 7 分钟
895
本文将展示如何在 Habana® Gaudi®2 上使用 🤗 Optimum Habana。Optimum Habana 是 Gaudi2 和 🤗 Transformers 库之间的桥梁。本文设计并实现了一个大模型推理基准测试,证明了通过使用 Optimum Habana 你将能够在 Gaudi2 上获得 比目前市面上任何可用的 GPU 都快的推理速度。
封面图

使用 diffusers 训练你自己的 ControlNet 🧨

2023-04-04
阅读 6 分钟
2.4k
ControlNet 这个神经网络模型使得用户可以通过施加额外条件,细粒度地控制扩散模型的生成过程。这一技术最初由 Adding Conditional Control to Text-to-Image Diffusion Models 这篇论文提出,并很快地风靡了扩散模型的开源社区。作者开源了 8 个不同的模型,使得用户可以用 8 种条件去控制 Stable Diffusion 模型(包括...
封面图

提供免费 TPU 的 ControlNet 微调活动来啦

2023-04-04
阅读 4 分钟
897
相信大家已经感受到 AI 绘画的魅力,多多少少也可以自称半个「prompt 小专家」了,而在 AI 绘画的时候 Stable Diffusion 也会出现一些小瑕疵,比如 AI 不是灵魂画「手」,还有一些特别的肢体动作也不是普通人可以用语言描述清楚的。这个时候,就轮到 ControlNet 出场啦!
封面图

Hugging News #0331: Hugging Papers 来啦,快来认领你的论文!

2023-04-02
阅读 4 分钟
881
每一周,我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新,包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等,我们将其称之为「Hugging News」,本期 Hugging News 有哪些有趣的消息,快来看看吧!
封面图

使用机器学习协助灾后救援

2023-03-31
阅读 4 分钟
898
2023 年 2 月 6 日,土耳其东南部发生 7.7 级和 7.6 级地震,影响 10 个城市,截至 2 月 21 日已造成 42,000 多人死亡和 120,000 多人受伤。
封面图

案例: 利用 Hugging Face 进行复杂文本分类

2023-03-30
阅读 3 分钟
1.2k
随着 IT 技术不断地在发展并重塑我们的世界,在行业内创造一个更加多样化和包容性的环境势在必行。旨在应对这一挑战,Witty Works 于 2018 年成立了。 Witty Works 起初是一家为组织提供多元化建议的咨询公司,主要帮助这些组织使用包容性语言撰写招聘广告。为了进一步拓展这项工作,Witty Works 在 2019 年构建了一个网...
封面图

如何评估大语言模型

2023-03-29
阅读 3 分钟
868
零样本评估是研究人员衡量大语言模型性能的一种流行方法。因为大语言模型已经在训练过程中 显示 出了对无标注数据的学习能力。反向缩放奖 是近期社区的一项工作,通过在各种尺寸和结构的模型上进行大规模零样本评估,以发现哪些大模型的表现比小模型还差。
封面图

Hugging Face 中计算机视觉的现状

2023-03-28
阅读 7 分钟
970
在 Hugging Face 上,我们为与社区一起推动人工智能领域的民主化而感到自豪。作为这个使命的一部分,我们从去年开始专注于计算机视觉。开始只是 🤗 Transformers 中 Vision Transformers (ViT) 的一个 PR,现在已经发展壮大: 8 个核心视觉任务,超过 3000 个模型,在 Hugging Face Hub 上有超过 1000 个数据集。
封面图

Hugging News #0324: 🤖️ 黑客松结果揭晓、一键部署谷歌最新大语言模型、Gradio 新版发布,更新超多!

2023-03-25
阅读 2 分钟
1.2k
每一周,我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新,包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等,我们将其称之为「Hugging News」,本期 Hugging News 有哪些有趣的消息,快来看看吧!
封面图

ChatGPT 设计游戏剧情 | 基于 AI 5 天创建一个农场游戏,完结篇!

2023-03-24
阅读 5 分钟
785
欢迎使用 AI 进行游戏开发! 在本系列中,我们将使用 AI 工具在 5 天内创建一个功能完备的农场游戏。到本系列结束时,您将了解到如何将多种 AI 工具整合到游戏开发流程中。本文将向您展示如何将 AI 工具用于:
封面图

在一张 24 GB 的消费级显卡上用 RLHF 微调 20B LLMs

2023-03-23
阅读 6 分钟
826
我们很高兴正式发布 trl 与 peft 的集成,使任何人都可以更轻松地使用强化学习进行大型语言模型 (LLM) 微调!在这篇文章中,我们解释了为什么这是现有微调方法的有竞争力的替代方案。
封面图

千亿参数开源大模型 BLOOM 背后的技术

2023-03-22
阅读 13 分钟
797
假设你现在有了数据,也搞到了预算,一切就绪,准备开始训练一个大模型,一显身手了,“一朝看尽长安花”似乎近在眼前 …… 且慢!训练可不仅仅像这两个字的发音那么简单,看看 BLOOM 的训练或许对你有帮助。
封面图

使用 DeepSpeed 和 Hugging Face 🤗 Transformer 微调 FLAN-T5 XL/XXL

2023-03-21
阅读 9 分钟
943
Scaling Instruction-Finetuned Language Models 论文发布了 FLAN-T5 模型,它是 T5 模型的增强版。FLAN-T5 由很多各种各样的任务微调而得,因此,简单来讲,它就是个方方面面都更优的 T5 模型。相同参数量的条件下,FLAN-T5 的性能相比 T5 而言有两位数的提高。Google 在 Hugging Face 上开源了 5 个 FLAN-T5 的 checkp...
封面图

Hugging News #0317: ChatGLM 会成为 HF 趋势榜的第一名吗?

2023-03-19
阅读 3 分钟
771
每一周,我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新,包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等,我们将其称之为「Hugging News」,本期 Hugging News 有哪些有趣的消息,快来看看吧!
封面图

AI 影评家: 用 Hugging Face 模型打造一个电影评分机器人

2023-03-17
阅读 12 分钟
563
本文为社区成员 Jun Chen 为 百姓 AI 和 Hugging Face 联合举办的黑客松所撰写的教程文档,欢迎你阅读今天的第二条推送了解和参加本次黑客松活动。文内含有较多链接,我们不再一一贴出,请 点击这里 查看渲染后的 Notebook 文件。
封面图

Kakao Brain 的开源 ViT、ALIGN 和 COYO 文字-图片数据集

2023-03-16
阅读 9 分钟
680
最近 Kakao Brain 在 Hugging Face 发布了一个全新的开源图像文本数据集 COYO,包含 7 亿对图像和文本,并训练了两个新的视觉语言模型 ViT 和 ALIGN ViT 和 ALIGN。
封面图

我的语言模型应该有多大?

2023-03-15
阅读 5 分钟
599
在自然语言处理领域,有时候我们恍惚觉得大家是为了搏头条而在模型尺寸上不断进行军备竞赛。 1750 亿参数 无疑是一个很抓眼球数字!为什么不考虑高效地去训一个小一点的模型?其实,这是因为深度学习领域有一个挺惊人的缩放效应,那就是: 大神经网络计算效率更高。这是以 OpenAI 为代表的团队在像 神经语言模型的缩放定...
封面图

使用 SpeechT5 进行语音合成、识别和更多功能

2023-03-14
阅读 7 分钟
1.1k
我们很高兴地宣布,SpeechT5 现在可用于 🤗 Transformers (一个开源库,提供最前沿的机器学习模型实现的开源库)。SpeechT5 最初见于微软亚洲研究院的这篇论文 SpeechT5: Unified-Modal Encoder-Decoder Pre-Training for Spoken Language Processing。论文作者发布的 官方仓库 可在 Hugging Face Hub 上找到。如果您想直...
封面图

Hugging Face 每周速递: Chatbot Hackathon;FLAN-T5 XL 微调;构建更安全的 LLM

2023-03-13
阅读 2 分钟
806
每一周,我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新,包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等,我们将其称之为「Hugging News」,本期 Hugging News 有哪些有趣的消息,快来看看吧!
封面图

通用图像分割任务- 使用 Mask2Former 和 OneFormer

2023-03-10
阅读 6 分钟
1k
本文介绍两个领先的图像分割神经网络模型: Mask2Former 和 OneFormer。相关模型已经在 🤗 Transformers 提供。🤗 Transformers 是一个开源库,提供了很多便捷的先进模型。在本文中,你也会学到各种图像分割任务的不同之处。
封面图

AI 大战 AI,一个深度强化学习多智能体竞赛系统

2023-03-08
阅读 4 分钟
786
小伙伴们快看过来!这是一款全新打造的 ⚔️ AI vs. AI ⚔️——深度强化学习多智能体竞赛系统。这个工具托管在 Space 上,允许我们创建多智能体竞赛。它包含三个元素:一个带匹配算法的 Space,使用后台任务运行模型战斗。一个包含结果的 Dataset。一个获取匹配历史结果和显示模型 LEO 的 Leaderboard。然后,当用户将一个训练...
封面图

Hugging Face 每周速递: ChatGPT API 怎么用?我们帮你搭好页面了

2023-03-05
阅读 3 分钟
966
每一周,我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新,包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等,我们将其称之为「Hugging News」,本期 Hugging News 有哪些有趣的消息,快来看看吧!
封面图

Optimum + ONNX Runtime: 更容易、更快地训练你的 Hugging Face 模型

2023-03-03
阅读 4 分钟
932
基于语言、视觉和语音的 Transformer 模型越来越大,以支持终端用户复杂的多模态用例。增加模型大小直接影响训练这些模型所需的资源,并随着模型大小的增加而扩展它们。Hugging Face 和微软的 ONNX Runtime 团队正在一起努力,在微调大型语言、语音和视觉模型方面取得进步。Hugging Face 的 🤗 Optimum 库,通过和 ONNX R...
封面图

🤗 PEFT: 在低资源硬件上对十亿规模模型进行参数高效微调

2023-03-02
阅读 4 分钟
1k
基于 Transformers 架构的大型语言模型 (LLM),如 GPT、T5 和 BERT,已经在各种自然语言处理 (NLP) 任务中取得了最先进的结果。此外,还开始涉足其他领域,例如计算机视觉 (CV) (VIT、Stable Diffusion、LayoutLM) 和音频 (Whisper、XLS-R)。传统的范式是对通用网络规模数据进行大规模预训练,然后对下游任务进行微调。...
封面图

使用 BLIP-2 零样本“图生文”

2023-03-01
阅读 6 分钟
1.1k
本文将介绍来自 Salesforce 研究院的 BLIP-2 模型,它支持一整套最先进的视觉语言模型,且已集成入 🤗 Transformers。我们将向你展示如何将其用于图像字幕生成、有提示图像字幕生成、视觉问答及基于聊天的提示这些应用场景。
封面图

使用英特尔 Sapphire Rapids 加速 PyTorch Transformers,第 2 部分

2023-02-23
阅读 6 分钟
1.2k
在 最近的一篇文章 中,我们介绍了代号为 Sapphire Rapids 的第四代英特尔至强 CPU 及其新的先进矩阵扩展 (AMX) 指令集。通过使用 Amazon EC2 上的 Sapphire Rapids 服务器集群并结合相应的英特尔优化库,如 英特尔 PyTorch 扩展 (IPEX),我们展示了如何使用 CPU 进行高效的分布式大规模训练,与上一代至强 (Ice Lake) ...
封面图

下篇 | 使用 🤗 Transformers 进行概率时间序列预测

2023-02-22
阅读 10 分钟
5k
在《使用 🤗 Transformers 进行概率时间序列预测》的第一部分里,我们为大家介绍了传统时间序列预测和基于 Transformers 的方法,也一步步准备好了训练所需的数据集并定义了环境、模型、转换和 InstanceSplitter。本篇内容将包含从数据加载器,到前向传播、训练、推理和展望未来发展等精彩内容。
封面图

上篇 | 使用 🤗 Transformers 进行概率时间序列预测

2023-02-22
阅读 12 分钟
835
时间序列预测是一个重要的科学和商业问题,因此最近通过使用基于深度学习 而不是经典方法的模型也涌现出诸多创新。ARIMA 等经典方法与新颖的深度学习方法之间的一个重要区别如下。

大语言模型: 新的摩尔定律?

2023-02-20
阅读 4 分钟
1.4k
译者按: 最近一段时间,ChatGPT 作为一个现象级应用迅速蹿红,也带动了对其背后的大语言模型 (LLM) 的讨论,这些讨论甚至出了 AI 技术圈,颇有些到了街谈巷议的程度。在 AI 技术圈,关于 LLM 和小模型的讨论在此之前已经持续了不短的时间,处于不同生态位置和产业环节的人都有表达自己的观点,其中不少是有冲突的。
封面图

Hugging Face 每周速递: 扩散模型课程完成中文翻译,有个据说可以教 ChatGPT 看图的模型开源了

2023-02-20
阅读 5 分钟
1.2k
每一周,我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新,包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等,我们将其称之为「Hugging News」。