SF
阿里云栖号
阿里云栖号
注册登录
关注博客
注册登录
主页
关于
RSS
AI加速引擎 PAI-TorchAcc:整体介绍与性能概述
阿里云云栖号
3 月 15 日
阅读 5 分钟
PAI-TorchAcc提供了一套基于Pytorch的简洁、易用的接口,无需进行模型转换就可以无缝地接入HuggingFace上的模型,并用多种分布式策略进行训练加速。
基于 Megatron-Core 的稀疏大模型训练工具:阿里云MoE 大模型最佳实践
阿里云云栖号
1 月 31 日
阅读 9 分钟
随着大模型技术的不断发展,模型结构和参数量级快速演化。大模型技术的应用层出不穷。大模型展现惊人效果,但训练和推理成本高,一直是巨大挑战。模型稀疏化能降低计算和存储消耗。近期以Mixtral为代表的MoE(多专家混合)大模型证明了稀疏MoE技术能大幅降低计算量、提升推理速度,模型效果甚至超过同规模稠密模型。阿里...
魔搭×函数计算:一键部署,缩短大模型选型到生产的距离
阿里云云栖号
1 月 25 日
阅读 5 分钟
面对魔搭 ModelScope[1]社区提供的海量模型,用户希望快速进行选型并生产使用起来,但在此之前,却一定会面临算力管理难、模型部署难等一系列问题,那么能否实现快速把选定的模型部署在云端功能强大的 GPU 上,由云端负责服务,扩展,保护和监控模型服务,同时免于运维和管理云上算力等基础设施呢?魔搭 ModelScope × 函...
快速玩转 Mixtral 8x7B MOE大模型!阿里云机器学习 PAI 推出最佳实践
阿里云云栖号
1 月 4 日
阅读 9 分钟
Mixtral 8x7B大模型是Mixtral AI推出的基于decoder-only架构的稀疏专家混合网络(Mixture-Of-Experts,MOE)开源大语言模型。这一模型具有46.7B的总参数量,对于每个token,路由器网络选择八组专家网络中的两组进行处理,并且将其输出累加组合,在增加模型参数总量的同时,优化了模型推理的成本。在大多数基准测试中,Mi...
基于大语言模型的复杂任务认知推理算法 CogTree
阿里云云栖号
2023-12-07
阅读 3 分钟
近日,阿里云人工智能平台PAI与华东师范大学张伟教授团队合作在自然语言处理顶级会议EMNLP2023上发表了基于认知理论所衍生的CogTree认知树生成式语言模型。通过两个系统:直觉系统和反思系统来模仿人类产生认知的过程。直觉系统负责产生原始问题的多个分解假设,反思系统对直觉系统产生的假设进行验证,并选择更有可能的...
面向垂直领域的知识预训练语言模型
阿里云云栖号
2023-12-07
阅读 5 分钟
近日,阿里云人工智能平台PAI与华东师范大学数据科学与工程学院合作在自然语言处理顶级会议EMNLP2023上发表基于双曲空间和对比学习的垂直领域预训练语言模型。通过比较垂直领域和开放领域知识图谱数据结构的不同特性,发现在垂直领域的图谱结构具有全局稀疏,局部稠密的特点。为了补足全局稀疏特点,将垂直领域中分层语...
扩散模型加速采样算法 OLSS,大幅提升模型推理速度
阿里云云栖号
2023-10-25
阅读 4 分钟
论文:Zhongjie Duan, Chengyu Wang, Cen Chen, Jun Huang, Weining Qian. Optimal Linear Subspace Search: Learning to Construct Fast and High-Quality Schedulers for Diffusion Models. CIKM 2023
谈谈 LLM 在推荐域的渗透,探索推荐新范式
阿里云云栖号
2023-07-14
阅读 9 分钟
最近大模型真的很火,从个人到公司,各行各业都在学习大模型、总结大模型和尝试应用大模型。大模型其实不是一个新的产物,已经在NLP发展了很多年。ChatGPT的诞生,经验的效果震惊了所有人,虽然也有一些瑕疵,但是瑕不掩瑜。微软投资OpenAI看到了它的未来。微软快速围绕ChatGPT对相关的产品进行了产品升级,从搜索到微软...
模型精度再被提升,统一跨任务小样本学习算法 UPT 给出解法!
阿里云云栖号
2022-12-13
阅读 4 分钟
近日,阿里云机器学习平台PAI与华东师范大学高明教授团队、达摩院机器智能技术NLP团队合作在自然语言处理顶级会议EMNLP2022上发表统一多NLP任务的预训练增强小样本学习算法UPT(Unified Prompt Tuning)。这是一种面向多种NLP任务的小样本学习算法,致力于利用多任务学习和预训练增强技术,在仅需要标注极少训练数据的情...
闲鱼推荐,让智能计算从云走向端
阿里云云栖号
2019-11-14
阅读 3 分钟
闲鱼推荐,知道你的喜欢。 作者: 储睿(刘思佳)、锦逸(陈祎平)、明栋(欧明栋)、资旭(杨子旭)。 关键词: 智能推荐、特征工程、特征处理。 术语解释: 机器学习(Machine Learning):是关于在计算机上从数据中产生“模型”(model)的算法; 数据集(Data Set):一组记录的集合; 模型(Model):泛指从数据中学得...
它是真实的“盗梦空间”?在这里,一切都可能是数据
阿里云云栖号
2019-10-12
阅读 5 分钟
阿里妹导读:位于杭州阿里巴巴西溪园区旁边的大型商场“亲橙里”2018年正式开业。和传统的线下综合型商场不同的是,亲橙里从规划之初就定位为数字化商场,通过植入自研的IBOS平台完成建筑内的所有子系统的接入,而让建筑和建筑内的设备、空间、人的“在线”是我们数字化的第一个目标。为了实现这个目标,阿里工程师做了哪些...
如何避免新代码变包袱?阿里通用方法来了!
阿里云云栖号
2019-09-30
阅读 3 分钟
阿里妹导读:什么是设计?什么是架构?从零开始建立一个新的系统,新写的每行代码都可能成为明天的历史包袱?如何能有效的在遗留代码上工作?今天,阿里资深技术专家辉子为我们带来NBF框架下软件工程架构设计通用方法论,值得细细品读。
KDD 2019论文解读:多分类下的模型可解释性
阿里云云栖号
2019-08-28
阅读 3 分钟
日前,由阿里巴巴研究型实习生张雪舟、蚂蚁金服高级算法专家娄寅撰写的论文《Axiomatic Interpretability for Multiclass Additive Models》入选全球数据挖掘顶级会议KDD 2019,本文为该论文的详细解读。论文地址:[链接]
技术人具备“结构化思维”意味着什么?
阿里云云栖号
2019-07-17
阅读 4 分钟
阿里妹导读:在日常工作中,我们时常会碰到这样的情况,有的人讲事情逻辑非常混乱,罗列了很多事项,却把握不到重点,无法把一件事情说清楚。这种思维混乱是典型的缺少结构化思维的表现。结构化思维非常重要,不仅仅体现在表达上,也体现在在我们分析问题的过程中。具备结构化思维,才能将问题分析地更全面、更深刻。
手把手教你使用TF服务将TensorFlow模型部署到生产环境
阿里云云栖号
2019-03-27
阅读 8 分钟
将机器学习(ML)模型应用于生产环境已成为一个火热的的话题,许多框架提供了旨在解决此问题的不同解决方案。为解决这一问题,谷歌发布了TensorFlow(TF)服务,以期待解决将ML模型部署到生产中的问题。