vLLM 实战教程汇总,从环境配置到大模型部署,中文文档追踪重磅更新

5 月 9 日
阅读 4 分钟
352
随着大语言模型(LLM)逐步走向工程化与规模化部署,其推理效率、资源利用率以及硬件适配能力正成为影响应用落地的核心问题。2023 年,加州大学伯克利分校的研究团队开源 vLLM,通过引入 PagedAttention 机制对 KV 缓存进行高效管理,显著提升模型吞吐量与响应速度,在开源社区迅速走红。截至目前,vLLM 在 GitHub 上已...
封面图

30分钟内输出结果,新加坡国立大学/MIT等基于SVM构建微生物污染检测模型

4 月 23 日
阅读 5 分钟
1.2k
细胞治疗产品 (CTP) 作为先进治疗药物 (ATMPs) 的重要组成部分,正为罕见病和疑难杂症患者带来希望。然而,其生产过程极易受到微生物的侵扰,微生物污染始终如阴霾般笼罩着这束希望之光。传统的无菌检测方法,如沿用半个世纪的 USP <71>(美国药典第 71 章记录的无菌检测法),在面对精准医疗的新需求时显得力不从...
封面图

入选ICLR 2025,MIT/UC伯克利/哈佛/斯坦福等提出DRAKES算法,突破生物序列设计瓶颈

4 月 18 日
阅读 5 分钟
1.4k
长期以来,蛋白质设计领域的核心瓶颈始终未能突破:氨基酸序列的组合空间呈指数级增长,而传统计算方法在优化序列自然性与稳定性时往往顾此失彼。在基因治疗领域,科学家同样面临设计高效调控基因表达的 DNA 元件的难题;在 mRNA 疫苗研发中,序列优化与翻译效率提升的矛盾始终存在;甚至在自然语言生成任务中,工程师们...
封面图

在线教程丨媲美 o3-mini,开源代码推理模型 DeepCoder-14B-Preview 狂揽 3k stars

4 月 15 日
阅读 2 分钟
1k
4 月 9 日凌晨,Agentica 团队携手 Together AI 联合开源了名为 DeepCoder-14B-Preview 的代码推理模型,这个仅需 14B 即可媲美 OpenAI o3-Mini 的新模型迅速引起业界广泛关注,在 GitHub 狂揽 3k stars。
封面图

活动回顾 | 计算-网络-软件-算法-生态的协同发展,2024 Meet AI Compiler 圆满收官!

1 月 8 日
阅读 4 分钟
865
12 月 28 日,上海已经进入初冬,寒冷的天气也抵挡不住大家的热情,现场座无虚席,交流氛围浓烈,从行业挑战到技术创新,从应用场景到落地成果,讲师与观众围绕 AI 编译器展开了一场深刻的「华山论剑」。
封面图

【Triton 教程】融合 Softmax (Fused Softmax)

2024-10-24
阅读 8 分钟
893
Triton 是一种用于并行编程的语言和编译器。它旨在提供一个基于 Python 的编程环境,以高效编写自定义 DNN 计算内核,并能够在现代 GPU 硬件上以最大吞吐量运行。
封面图

Meta 首个多模态大模型一键启动!首个多针刺绣数据集上线,含超 30k 张图片

2024-10-06
阅读 4 分钟
686
小扎在 Meta Connect 2024 主题演讲中宣布推出首个多模态大模型 Llama 3.2 vision!该模型有 11B 和 90B 两个版本,成为首批支持多模态任务的 Llama 系列模型,根据官方数据,这两个开原模型的性能已超越闭源模型。
封面图

全球首个!清华/上海交大等联合构建面向糖尿病诊疗的视觉-大语言模型,登 Nature 子刊

2024-08-07
阅读 7 分钟
932
糖尿病是全球上升最快的主要慢性病,可造成失明、肾功能衰竭、截肢、脑卒中、心肌梗死等,亦与肿瘤感染等密切相关。其中,糖尿病视网膜病变 (diabetic retinopathy, DR) 是糖尿病患者最常见的进行性眼部微血管并发症,能够影响 30-40% 的糖尿病患者。
封面图

学术分享丨清华大学博士后李雨哲详解 Cell/Nature 子刊论文,探索基因组学的 AI 应用

2024-08-06
阅读 3 分钟
753
随着空间转录组技术的不断发展与迭代,研究者能够在单细胞分辨率下获得细胞的基因表达谱,同时保留细胞在组织内的空间位置信息。如何有效地利用这些空间信息来识别空间细胞亚型并发现组织模块,成为空间转录组数据分析的核心任务。
封面图

刚刚!苹果发布Apple Intelligence,官宣免费接入ChatGPT,Siri迎来重磅更新

2024-06-11
阅读 6 分钟
3.4k
大模型竞速赛鸣枪开跑后,苹果似乎已经脱离了第一梯队,曾经的行业风向标并没有像其他大厂那样频繁地宣讲 AI,加之缺乏能够参与竞争的「明星产品」,其一度被贴上了「落后」的标签。但其实熟悉苹果的网友都知道,这是一家「重落地」的公司,更加擅长的是把创新技术工程化,实现「工程创新」。也正因如此,在生成式 AI 发...
封面图

5.31·上海丨华东师大上海人工智能金融学院正式成立!Max Tegmark与5位国内外院、12位人工智能金融专家齐聚上海

2024-05-23
阅读 2 分钟
669
近年来,AI、特别是机器学习,已经在金融数据分析、风险预估、投资管理等任务中实现了效率、准确率的提升,为银行、保险、基金、券商等机构的业务转型提供了强劲动能。随着大模型概念的持续走热,「金融大模型」也成为行业热议话题。然而,不同于工业、建筑等传统行业大刀阔斧地进行智能化升级,金融与 AI 的结合在数据...
封面图

血常规、尿检等指标就能识别卵巢癌!中山大学刘继红团队牵头,四大医学院联合构建 AI 融合模型

2024-04-10
阅读 4 分钟
507
根据国家卫生健康委员会发布的《卵巢癌诊疗指南(2022 版)》,我国卵巢癌年发病率居女性生殖系统肿瘤第 3 位,仅次于子宫颈癌和子宫体恶性肿瘤,病死率位于女性生殖道恶性肿瘤之首,其 5 年生存率与诊断时的病程阶段密切相关。根据美国国家癌症研究所发布的数据,在早期的局部感染阶段,卵巢癌 5 年生存率为 92.4% ,而...
封面图

警惕城市「慢性病」:中南大学柳建新教授团队,用 AI 预测未来 40 年的地面沉降风险

2024-03-18
阅读 6 分钟
518
2023 年 5 月,天津市津南区八里台镇凤锦庭院的业主「胆战心惊」,从远处看,自己家 25 层高的楼房「好像歪了」。更让业主们恐慌的是,不仅楼房周边的草地、路面开始沉降开裂,甚至楼地基也出现了数十厘米的沉降和裂缝,部分地下停车场也出现了墙体裂痕和渗水情况,导致上千名业主无法归家。
封面图

AlphaGeometry:DeepMind 大算力再造奇迹,但「算力代替智力」或许并非最优解

2024-01-20
阅读 4 分钟
772
作者:李宝珠编辑:三羊封面图来源:Google DeepMindDeepMind 用算力堆出奇迹?被夸上天的 AlphaGeometry 含金量有多高近日,谷歌 DeepMind 的 Alpha 系列再添新成员——AlphaGeometry,依旧声势浩大,「里程碑」、「史诗级」、「逼近人类」等赞美之词溢出屏幕。那么,这个号称奥数能力金牌级的 AI 系统到底有多少含金量呢...
封面图

活动回顾 (下) | 机器学习系统趋势研判,大咖金句汇总

2023-12-28
阅读 7 分钟
711
作者:三羊、李宝珠、李玮栋、Yudi、xixi 编辑:李宝珠 在大模型时代的浪潮中,机器学习系统正经历着前所未有的变革。模型规模的急剧膨胀,让我们见证了 AI 能力的巨大提升,然而这种提升不仅为各个领域带来了新的机遇,也引出了一系列新的技术挑战和实践上的难题。
封面图

千年密码新解读,DeepMind 开发 Ithaca 破译希腊铭文

2023-11-13
阅读 5 分钟
645
铭文、碑刻是过去文明的思想、文化和语言的体现。金石学家破译千年前的密码,需要完成文本修复、时间归因和地域归因三大任务。主流的研究方式是「字符串匹配」,即凭借记忆或查询语料库匹配字型相似的铭文,这导致了结果的混淆和误判。为此,DeepMind 和威尼斯福斯卡里大学联合开发了 Ithaca,利用 AI 帮助人类学者破译...
封面图

山东大学开发可解释深度学习算法 RetroExplainer,4 步识别有机物的逆合成路线

2023-10-26
阅读 5 分钟
753
逆合成旨在找到一系列合适的反应物,以高效合成目标产物。这是解决有机合成路线的重要方法,也是有机合成路线设计的最简单、最基本的方法。 早期的逆合成研究多依赖编程,随后这一工作被 AI 接替。然而,现有的逆合成方法多关注单步逆合成,可解释性差,且无法兼顾分子的短程信息和长程信息,性能受限。 为此,山东大学...
封面图

浙江大学利用 SVM 优化触觉传感器,盲文识别率达 96.12%

2023-10-23
阅读 5 分钟
1.1k
生物传感是人类与机器、人类与环境、机器与环境交互的重要媒介。其中,触觉能够实现精准的环境感知,帮助使用者与复杂环境交互。 为模仿人类的触觉,科研人员开发了各种传感器,以模拟皮肤对环境的感知。然而,触觉传感的要求高、参数变化多样,需要大量的研发经验、充分的文献调研和大量的试错实验,研发周期很长。 为...
封面图

西湖大学利用 Transformer 分析百亿多肽的自组装特性,破解自组装法则

2023-10-19
阅读 5 分钟
663
多肽是两个以上氨基酸通过肽键组成的生物活性物质,可以通过折叠、螺旋形成更高级的蛋白质结构。多肽不仅与多个生理活动相关联,还可以自组装成纳米粒子,参与到生物检测、药物递送、组织工程中。然而,多肽的序列组成过于多样,仅 10 个氨基酸就可以组成超过百亿种多肽。因此,人们很难对其自组装特性进行全面系统的研...
封面图

AI「鸟口普查」,康奈尔大学利用深度学习分析北美林莺分布

2023-10-11
阅读 4 分钟
693
据世界自然基金会统计,1970-2016 年,全球代表物种种群数量减少了 68%,生物多样性不断下降。 保护生物多样性,需要对当地生态情况进行准确分析,制定合理的生态保护政策。然而,生态数据太过庞杂,统计标准又难以统一,大规模的生态分析很难开展。 近期,康奈尔大学的研究者们利用深度学习,分析了 900 万组鸟类数据,...
封面图

从「思想实验」中学习,自监督 AI 模型向科学家看齐

2023-09-21
阅读 5 分钟
1k
年初 ChatGPT 爆火,美国《时代周刊》发文揭露其背后的「血汗工厂」,给「AIGC 领头羊」耀眼的光环蒙上了一层巨大阴影。 据报道,为训练 ChatGPT 识别有害内容,一群来自肯尼亚、乌干达和印度的外包员工负责给数据库手动标注,他们每天花费 9 小时鉴别各种攻击性词汇,每小时至多标注 2 万个单词,收获是 1.32-2 美元的...
封面图

AI「反腐」,德国马普所结合 NLP 和 DNN 开发抗蚀合金

2023-09-04
阅读 5 分钟
1.2k
内容一览:在被不锈钢包围的世界中,我们可能都快忘记了腐蚀的存在。然而,腐蚀存在于生活中的方方面面。无论是锈迹斑斑的钢钉,老化漏液的电线,还是失去光泽的汽车,这一切的发生都与腐蚀有关。据统计,全世界每年由金属腐蚀带来的经济损失超过2.5 万亿美元,远超过其他自然灾害。其中,腐蚀在中国造成的经济损失约 3,...
封面图

活动预告 | 2023 Meet TVM · 北京站定档,5 场 Talk 你最期待哪一场?

2023-06-01
阅读 5 分钟
67.9k
内容一览:2023 Meet TVM 线下聚会第二站定档 6 月 17 日!这次我们设定了 5 个 Talk,期待和大家在北京中关村相聚!关键词:编译器 线下活动 2023MeetTVM
封面图

00 后清华学霸用 AI 打败大气层「魔法攻击」,还原宇宙真面貌

2023-04-17
阅读 4 分钟
87.3k
内容一览:从诞生的那一刻起,人类对宇宙的探索就从未停止。如今,这门古老的科学再次借助 AI 获得加速度。本文将展示 AI 与天文学的结合擦出了怎样的火花。关键词:AI 天文图像 弱引力透镜
封面图

【TVM 学习资料】快速入门:编译深度学习模型

2023-03-20
阅读 20 分钟
35.1k
这个例子展示了如何用 Relay Python 前端构建神经网络,并为装有 TVM 的 NVIDIA GPU 生成 runtime 库。注意,构建 TVM 需要启用 CUDA 和 LLVM。

活动回顾 | 2023 Meet TVM 首聚上海,百余位工程师共话机器学习编译的现在和未来

2023-03-08
阅读 3 分钟
1.2k
本文首发自微信公众号:HyperAI超神经内容一览:「2023 Meet TVM·开年首聚」成功线下相聚上海,来自企业和高校的 100 多位参与者齐聚一堂,共话机器学习编译的现在和未来。关键词:2023 Meet TVM 线下活动

交叉编译和 RPC

2023-03-06
阅读 4 分钟
1.4k
利用交叉编译和 RPC,可以实现程序在本地机器编译,在远程设备运行。这个特性在远程设备资源有限时(如在树莓派和移动平台上)尤其有用。本教程将把树莓派作为 CPU 示例,把 Firefly-RK3399 作为 OpenCL 示例进行演示。

用 Real-ESRGAN 拯救座机画质,自制高清版动漫资源

2023-03-02
阅读 3 分钟
1.5k
内容一览:Real-ESRGAN 是 ESRGAN 升级之作,主要有三点创新:提出高阶退化过程模拟实际图像退化,使用光谱归一化 U-Net鉴别器增加鉴别器的能力,以及使用纯合成数据进行训练。 关键词:Real-ESRGAN 超分辨率 视频修复本文首发自微信公众号:HyperAI超神经

【TVM 学习资料】TensorIR 快速入门

2023-02-27
阅读 6 分钟
1.4k
本篇文章译自英文文档 Blitz Course to TensorIR 作者是 Siyuan Feng。更多 TVM 中文文档可访问→TVM 中文站 TensorIR 是深度学习领域的特定语言,主要有两个作用:在各种硬件后端转换和优化程序。自动 tensorized 程序优化的抽象。 {代码...} IRModuleIRModule 是 TVM 的核心数据结构,它包含深度学习程序,并且是 IR 转...

活动预告 | 2023 Meet TVM 开年首聚,上海我们来啦!

2023-02-23
阅读 3 分钟
1.8k
内容一览:从去年 12 月延期至今的 TVM 线下聚会终于来了!首站地点我们选在了上海,并邀请到了 4 位讲师结合自己的工作实践,分享 TVM 相关的开发经验,期待与大家线下相聚~关键词:2023 Meet TVM 线下活动
封面图