AI加速引擎PAI-TorchAcc:OLMo训练加速最佳实践

3 月 18 日
阅读 3 分钟
PAI-TorchAcc借助社区PyTorch/XLA,通过 GraphCapture 技术将 Pytorch 动态图转换为静态计算图,基于计算图进行分布式优化、计算优化、显存优化等,为包括大语言模型在内的Pytorch上的模型提供高效训练支持。相比于社区Pytorch/XLA,PAI-TorchAcc具有更好的易用性、更高的性能和更丰富的功能。更详细的介绍可以见文章:A...

通义千问1.5(Qwen1.5)大语言模型在 PAI-QuickStart 的微调与部署实践

3 月 18 日
阅读 4 分钟
Qwen1.5(通义千问1.5)是阿里云最近推出的开源大型语言模型系列。作为“通义千问”1.0系列的进阶版,该模型推出了多个规模,从0.5B到72B,满足不同的计算需求。此外,该系列模型还包括了Base和Chat等多个版本的开源模型,为全球的开发者社区提供了空前的便捷性。阿里云的人工智能平台PAI,作为一站式的机器学习和深度学习...

AI加速引擎 PAI-TorchAcc:整体介绍与性能概述

3 月 15 日
阅读 5 分钟
PAI-TorchAcc提供了一套基于Pytorch的简洁、易用的接口,无需进行模型转换就可以无缝地接入HuggingFace上的模型,并用多种分布式策略进行训练加速。

AI 绘画平台难开发,难变现?试试 Stable Diffusion API Serverless 版解决方案

3 月 7 日
阅读 21 分钟
Stable Diffusion 模型,已经成为 AI 行业从传统深度学习时代走向 AIGC 时代的标志性里程碑。越来越多的开发者借助 stable-diffusion-webui(以下简称 SDWebUI)能力进行 AI 绘画领域创业或者业务上新,获得高流量及商业价值,但是面对多客户、高并发的复杂场景,使用原生 Stable Diffusion API 会面临以下挑战:

基于 Megatron-Core 的稀疏大模型训练工具:阿里云MoE 大模型最佳实践

2 月 26 日
阅读 10 分钟
随着大模型技术的不断发展,模型结构和参数量级快速演化。大模型技术的应用层出不穷。大模型展现惊人效果,但训练和推理成本高,一直是巨大挑战。模型稀疏化能降低计算和存储消耗。近期以Mixtral为代表的MoE(多专家混合)大模型证明了稀疏MoE技术能大幅降低计算量、提升推理速度,模型效果甚至超过同规模稠密模型。阿里...

基于 Megatron-Core 的稀疏大模型训练工具:阿里云MoE 大模型最佳实践

1 月 31 日
阅读 9 分钟
随着大模型技术的不断发展,模型结构和参数量级快速演化。大模型技术的应用层出不穷。大模型展现惊人效果,但训练和推理成本高,一直是巨大挑战。模型稀疏化能降低计算和存储消耗。近期以Mixtral为代表的MoE(多专家混合)大模型证明了稀疏MoE技术能大幅降低计算量、提升推理速度,模型效果甚至超过同规模稠密模型。阿里...

可观测实践丨如何利用 AI 算法解决告警配置三大难题?

1 月 25 日
阅读 4 分钟
这个系统非常复杂,既有像 CPU 使用率、内存使用率等基础指标,又有像响应时间、调用量等业务指标,又因为包含着很多 Java 应用,还需要关注一下 JVM 指标,林林总总几百个指标。小 A 不知道哪些指标是最重要的,也不知道应该对哪些指标配告警。

Mixtral 8X7B MoE 模型基于阿里云人工智能平台PAI实践合集

1 月 22 日
阅读 9 分钟
Mixtral 8x7B大模型是Mixtral AI推出的基于decoder-only架构的稀疏专家混合网络(Mixture-Of-Experts,MOE)开源大语言模型。这一模型具有46.7B的总参数量,对于每个token,路由器网络选择八组专家网络中的两组进行处理,并且将其输出累加组合,在增加模型参数总量的同时,优化了模型推理的成本。在大多数基准测试中,Mi...

Mixtral 8X7B MoE 模型在阿里云PAI平台的微调部署实践

1 月 22 日
阅读 9 分钟
Mixtral 8x7B 是Mixtral AI最新发布的大语言模型,在许多基准测试上表现优于 GPT-3.5,是当前最为先进的开源大语言模型之一。阿里云人工智能平台PAI是面向开发者和企业的机器学习/深度学习平台,提供了对于 Mixtral 8x7B 模型的全面支持,开发者和企业用户可以基于 PAI-快速开始(PAI-QuickStart)轻松完成Mixtral 8x7B ...

阿里云 ACK 云原生 AI 套件中的分布式弹性训练实践

1 月 18 日
阅读 6 分钟
众所周知,随着时间的推移,算力成为了 AI 行业演进一个不可或缺的因素。在数据量日益庞大、模型体量不断增加的今天,企业对分布式算力和模型训练效率的需求成为了首要的任务。如何更好的、更高效率的以及更具性价比的利用算力,使用更低的成本来训练不断的迭代 AI 模型,变成了迫切需要解决的问题。而分布式训练的演进...

基于 PAI-DSW 使用 SD WebUI 实现AI扩图功能

1 月 15 日
阅读 5 分钟
随着AIGC技术的落地发展,越来越多的创新玩法闯进了我们视野,AI扩图便是其中之一。只需给AI一张图片,AI就会根据图像的上下文语义信息,预测和补充图像边界,生成一张尺寸更大的图像。AI扩图有时是拯救废片的神器,能够将半身照扩展为惊艳的全身照,有时也会翻车,生成的图像让人哭笑不得。

基于 PAI-EAS 一键部署 Stable Diffusion AIGC 绘画

1 月 9 日
阅读 3 分钟
人工智能平台PAI完成云上Stable Diffusion以文生图应用搭建,支持两种方式:1.使用交互式建模 PAI-DSW2.使用模型在线服务 PAI-EAS两种部署适用人群:1.使用交互式建模 PAI-DSW 部署Stable Diffusion亮点:Notebook经典界面,对习惯代码操作的开发者更加友好;支持微调训练等操作,灵活度更高;有丰富的最佳实践教程可参...

快速玩转 Mixtral 8x7B MOE大模型!阿里云机器学习 PAI 推出最佳实践

1 月 4 日
阅读 9 分钟
Mixtral 8x7B大模型是Mixtral AI推出的基于decoder-only架构的稀疏专家混合网络(Mixture-Of-Experts,MOE)开源大语言模型。这一模型具有46.7B的总参数量,对于每个token,路由器网络选择八组专家网络中的两组进行处理,并且将其输出累加组合,在增加模型参数总量的同时,优化了模型推理的成本。在大多数基准测试中,Mi...

英特尔AMX助力阿里云提升推荐模型性能

1 月 2 日
阅读 5 分钟
推荐系统在电商、短视频、新闻、广告等行业都有着广泛的应用。推荐系统能够比较准确理解终端用户的兴趣,提升终端用户的浏览体验。典型的工业界推荐系统一般采用多阶段漏斗的方式,通常包括召回、粗排、精排、重排等阶段,每个阶段要处理的商品数量是依次递减的,而对应的模型的参数量和计算复杂度通常是依次递增的。随...

阿里云容器服务助力万兴科技 AIGC 应用加速

2023-12-27
阅读 3 分钟
2023 年堪称是 AIGC 元年,文生图领域诞生了 Stable Diffusion 项目,文生文领域诞生了 GPT 家族。一时间风起云涌,国内外许多企业投身 AIGC 创新浪潮,各大云厂商紧随其后纷纷推出自己的大语言模型。在文生图领域落地的企业更多,国外的如 Midjourney,国内的如 AIGC 软件公司万兴科技等。

保姆级教程 | PAI x EasyPhoto,节日氛围AI写真生成

2023-12-26
阅读 7 分钟
生成式AI技术批量产出真/像/美的个人写真应用非常受欢迎。近期上线的EasyPhoto 作为一款开源的 SD WebUI 插件,提供更灵活、易用的开发方式,受到大量开发者们的关注和好评,用户可通过上传若干张同一人的照片,即可快速训练 LoRA 模型,并结合用户自定义的模板图片,最终生成真、像、美的写真照片。

日志服务 SLS 深度解析:拥抱云原生和 AI,基于 SLS 的可观测分析创新

2023-12-14
阅读 8 分钟
10 月 31 日,杭州云栖大会上,日志服务 SLS 研发负责人简志和产品经理孟威等发表了《日志服务 SLS 深度解析:拥抱云原生和 AI,基于 SLS 的可观测分析创新》的主题演讲,对阿里云日志服务 SLS 产品服务创新以及背后的技术积累进行了深度解读。

阿里云人工智能平台PAI多篇论文入选EMNLP 2023

2023-12-13
阅读 4 分钟
近期,阿里云人工智能平台PAI主导的多篇论文在EMNLP2023上入选。EMNLP是人工智能自然语言处理领域的顶级国际会议,聚焦于自然语言处理技术在各个应用场景的学术研究,尤其重视自然语言处理的实证研究。该会议曾推动了预训练语言模型、文本挖掘、对话系统、机器翻译等自然语言处理领域的核心创新,在学术和工业界都有巨大...

阿里云大模型数据存储解决方案,为 AI 创新提供推动力

2023-12-11
阅读 3 分钟
随着国内首批大模型产品获批名单问世,百“模”大战悄然开启。在这场百“模”大战中,每一款大模型产品的诞生,都离不开数据的支撑。如何有效存储、管理和处理海量多模态数据集,并提升模型训练、推理的效率,保障 AI 业务平台运行的稳定,仍是亟待解决的难题。在云栖大会上,阿里云推出一系列针对大模型场景的存储产品创新...

面向 Stable Diffusion 的自动 Prompt 工程算法 BeautifulPrompt

2023-12-06
阅读 3 分钟
近日,阿里云人工智能平台PAI与华南理工大学朱金辉教授团队合作在自然语言处理顶级会议EMNLP2023上发表了BeautifulPrompt的深度生成模型,可以从简单的图片描述中生成高质量的提示词,从而使文生图模型能够生成更美观的图像。BeautifulPrompt通过对低质量和高质量的提示进行微调,并进一步提出了一种基于强化学习和视觉...

轻松搭建基于服务网格的 AI 应用,然后开始玩

2023-12-01
阅读 20 分钟
在 2023 年的云栖大会中,阿里云服务网格 ASM 推出了《两全其美:Sidecarless 与 Sidecar 模式融合的服务网格新形态》主题演讲,并在演讲中展示了一个基于服务网格 ASM 各项能力构建的 DEMO AI 应用。该应用集中展示了 ASM 在模型服务、请求处理、请求路由和安全中心集成单点登录等各项能力,且这些能力还完全是以 Sidec...

黄博远:阿里云人工智能平台PAI年度发布

2023-11-22
阅读 4 分钟
今年云栖大会,阿里云机器学习平台PAI正式发布升级为人工智能平台PAI。在过去的12个月,AI生态发生了巨大的变化,AIGC已经成为继互联网时代的下一个产业时代风口,带来了很多新的机遇和挑战。

数禾使用 Knative 加速 AI 模型服务部署

2023-11-15
阅读 10 分钟
AI 服务的数据、训练、推理等都需要消耗大量的计算资源以及运维成本,在数禾科技的金融业务场景下,模型存频繁迭代,线上也会同时部署多个版本的模型用于评估模型线上的真实效果,资源成本高。如何在保证服务质量基础之上提升 AI 服务运维效率并降低资源成本具有挑战性。

林伟:大数据AI一体化的解读

2023-11-09
阅读 6 分钟
今年是AI大爆发的一年,大语言模型的诞生推动了席卷整个行业的大模型热潮,许多人认为“AI的iPhone时代”到来了。训练大模型其实不简单,因为模型参数量的增加意味着需要更好的算力、更多的数据去锤炼,并且需要合适的工具让开发者快速迭代模型,只有这样才能更快地提高模型精度。这几年来阿里云一直在宣传AI工程化和规模...

快速使用 Elasticsearch+PAI 部署 AI 大模型知识库对话

2023-10-11
阅读 9 分钟
阿里云检索分析服务 Elasticsearch 版是100%兼容开源的分布式检索、分析套件。提供 Elasticsearch、Kibana、Logstash、Beats 等开源全托管的产品服务能力。为结构化/非结构化数据提供低成本、高性能及可靠性的检索、分析平台级产品服务。具备读写分离、存算分离、弹性伸缩、智能化运维、免费的X-Pack高级商业特性等产品...

三张搞定AI形象照,开启GPU即刻体验

2023-09-28
阅读 3 分钟
本文将为您演示如何使用GPU加计算巢来生成个人的数字写真。整个过程分为三步:第一步是开通FaceChain服务并创建实例;第二步是使用已开通的FaceChain服务进行训练;第三步是选择风格并生成个人的数字写真。在每一步中,都给出了具体的操作指引和注意事项。

ACK 云原生 AI 套件:云原生 AI 工程化落地最优路径

2023-09-14
阅读 6 分钟
在过去几年中,人工智能技术取得了突飞猛进的发展,涵盖了机器学习、深度学习和神经网络等关键技术的重大突破,这使得人工智能在各个领域都得到广泛应用,对各行各业产生了深远的影响。

EasyPhoto:基于 SD WebUI 的艺术照生成插件来啦!

2023-09-13
阅读 6 分钟
EasyPhoto 是一个基于 SD WebUI 的艺术照生成插件。支持低代码操作、自定义风格,让更多开发者灵活地开发自己的风格化艺术照生成应用。

便捷、快速、稳定、高性能!以 GPU 实例演示 Alibaba Cloud Linux 3 对 AI 生态的支持

2023-09-08
阅读 4 分钟
日前,Alibaba Cloud Linux 3 为使 AI 开发体验更高效,提供了一些优化升级,本文为“Alibaba Cloud Linux 3 AI 能力介绍”系列文章预告篇,以 GPU 实例为例,为大家演示 Alibaba Cloud Linux 3 对 AI 生态的支持。接下来还将陆续发布 2 篇系列文章,主要介绍基于 Alinux 的云市场镜像为用户提供开箱即用的 AI 基础软件环...

探索AI时代的应用工程化架构演进,一人公司时代还有多远?

2023-09-06
阅读 9 分钟
所有产品都值得用AI去重新做一遍。其根本原因在于当下AI的形态即生成式模型是通过AI辅助来改变和创造新的产品形态,而不是像以往的技术一样只是对现有产品形态的补充。