vLLM 实战教程汇总,从环境配置到大模型部署,中文文档追踪重磅更新

5 月 9 日
阅读 4 分钟
360
随着大语言模型(LLM)逐步走向工程化与规模化部署,其推理效率、资源利用率以及硬件适配能力正成为影响应用落地的核心问题。2023 年,加州大学伯克利分校的研究团队开源 vLLM,通过引入 PagedAttention 机制对 KV 缓存进行高效管理,显著提升模型吞吐量与响应速度,在开源社区迅速走红。截至目前,vLLM 在 GitHub 上已...
封面图

【 Triton 教程】triton.heuristics

5 月 9 日
阅读 1 分钟
336
Triton 是一种用于并行编程的语言和编译器。它旨在提供一个基于 Python 的编程环境,以高效编写自定义 DNN 计算内核,并能够在现代 GPU 硬件上以最大吞吐量运行。
封面图

性能远超SAM系模型,苏黎世大学等开发通用3D血管分割基础模型

5 月 8 日
阅读 6 分钟
398
如果把人的身体比作一座庞大的城市,那么血管无疑就是这座城市的「道路」,动脉、静脉以及毛细血管对应着高速公路、城市道路以及乡间小道,它们相互协作,通过血液将营养物质、氧气等输送到身体各处,从而维持着这座「城市」的高效、稳定运行。而当这些道路出现问题时,人们的身体自然也会随之发生病变。
封面图

【 TVM 教程】使用 TVMC Micro 执行微模型

5 月 8 日
阅读 4 分钟
268
本教程介绍了如何为微型设备编译一个微模型,并在 Zephyr 平台上构建一个程序,来执行这个模型,烧录程序,并用 tvmc micro 命令来执行所有模型。在进行本教程之前你需要安装 python 和 Zephyr 依赖
封面图

30分钟内输出结果,新加坡国立大学/MIT等基于SVM构建微生物污染检测模型

4 月 23 日
阅读 5 分钟
1.2k
细胞治疗产品 (CTP) 作为先进治疗药物 (ATMPs) 的重要组成部分,正为罕见病和疑难杂症患者带来希望。然而,其生产过程极易受到微生物的侵扰,微生物污染始终如阴霾般笼罩着这束希望之光。传统的无菌检测方法,如沿用半个世纪的 USP <71>(美国药典第 71 章记录的无菌检测法),在面对精准医疗的新需求时显得力不从...
封面图

多主体驱动生成能力达SOTA,字节UNO模型可处理多种图像生成任务

4 月 22 日
阅读 3 分钟
1.2k
如今,主体驱动生成 (subject-driven generation) 已经广泛应用于图像生成领域,但其在数据可扩展性和主体扩展性方面仍面临诸多挑战,例如从单主体数据集转向多主体并对其进行扩展尤为困难;目前的热门研究方向是单主体,在面对多主体生成任务时表现欠佳。
封面图

入选AAAI 2025,浙江大学提出多对一回归模型M2OST,利用数字病理图像精准预测基因表达

4 月 21 日
阅读 6 分钟
1.1k
数字病理图像作为一种全切片病理图像 (WSIs),能够对组织切片的高分辨率数字化呈现,全面展示细胞形态、结构和空间分布特征。与传统玻璃切片相比,WSIs 不仅便于存储和分析,还能在多个尺度上提供更直观的组织视图,因而在病理诊断与生物医学研究中应用日益广泛。通过对这些图像的分析,科研人员可以探索细胞空间组织与...
封面图

入选ICLR 2025,MIT/UC伯克利/哈佛/斯坦福等提出DRAKES算法,突破生物序列设计瓶颈

4 月 18 日
阅读 5 分钟
1.4k
长期以来,蛋白质设计领域的核心瓶颈始终未能突破:氨基酸序列的组合空间呈指数级增长,而传统计算方法在优化序列自然性与稳定性时往往顾此失彼。在基因治疗领域,科学家同样面临设计高效调控基因表达的 DNA 元件的难题;在 mRNA 疫苗研发中,序列优化与翻译效率提升的矛盾始终存在;甚至在自然语言生成任务中,工程师们...
封面图

在线教程丨媲美 o3-mini,开源代码推理模型 DeepCoder-14B-Preview 狂揽 3k stars

4 月 15 日
阅读 2 分钟
1k
4 月 9 日凌晨,Agentica 团队携手 Together AI 联合开源了名为 DeepCoder-14B-Preview 的代码推理模型,这个仅需 14B 即可媲美 OpenAI o3-Mini 的新模型迅速引起业界广泛关注,在 GitHub 狂揽 3k stars。
封面图

入选 AAAI 2025!清华/伦敦大学学院等首创蛋白质-RNA 语言模型融合方案,结合亲和力预测刷新 SOTA

3 月 13 日
阅读 5 分钟
957
阿尔茨海默病、帕金森病、癫痫….. 这些令人「闻名胆颤」的神经退行性疾病是老年健康的隐形杀手,而这类疾病的发生多与蛋白质-RNA 之间的异常结合相关。
封面图

【TVM教程】为 Mobile GPU 自动调优卷积网络

3 月 11 日
阅读 10 分钟
1.1k
TVM 中 Mobile GPU 的算子实现是以 template 形式编写的。该 template 有许多可调参数(tile 因子,vectorization,unrolling 等)。对神经网络中的所有卷积、深度卷积和密集算子调优后,会生成一个日志文件,它存储所有必需算子的最佳参数值。当 TVM 编译器编译这些算子时,将查询此日志文件以获取最佳参数值。
封面图

【TVM教程】为 ARM CPU 自动调度神经网络

3 月 4 日
阅读 21 分钟
1.3k
针对特定设备和工作负载的自动调优对于获得最佳性能至关重要。本文介绍如何通过 RPC 使用 auto-scheduler 为 ARM CPU 调优整个神经网络。
封面图

入选 ICLR 2025!浙大沈春华等人提出玻尔兹曼对齐技术,蛋白质结合自由能预测达 SOTA

3 月 3 日
阅读 6 分钟
898
蛋白质-蛋白质相互作用 (protein–protein interactions, PPIs) 是所有生物执行各种生物功能的基础,主要通过不同蛋白质分子之间的相互作用和影响实现。准确地识别和理解蛋白质间的相互作用对于解密蛋白质功能、揭示生命活动、探究疾病机理、研发靶向药物以及创新生物应用等具有极其重要的意义。
封面图

超 11w 下载,OpenThoughts-114k 推理数据集上线;首个 AI 短剧创作神器 SkyReels-V1 来了!告别高成本长周期

2 月 28 日
阅读 7 分钟
1.1k
而昆仑万维推出的 SkyReels-V1-Hunyuan-I2V 模型或将为短剧创作带来新思路。它基于超 130 亿参数的 HunyuanVideo 微调而来,经过海量好莱坞级影视数据深度训练,能精准识别 33 种面部表情与 400 种自然运动组合,生成的视频帧帧都是电影质感。
封面图

以 1.7K 深圳小区房价为例,浙大 GIS 实验室使用注意力机制挖掘地理情景特征,提升空间非平稳回归精度

2 月 27 日
阅读 4 分钟
832
地理加权回归 (Geographically Weighted Regression, GWR) 是一种广泛应用于地理空间分析的统计方法,用于捕捉地理现象的空间非平稳性(即空间异质性)。传统 GWR 通过为每个观测点分配权重来反映其对回归参数的影响,这些权重通常基于空间距离(如欧几里得距离)来计算,遵循「距离越近,影响越大」的原则。然而,这种...
封面图

准确率达 97%,澳大利亚团队新成果基于深度学习凭颅骨 CT 鉴定性别,赶超人类法医

2 月 26 日
阅读 6 分钟
798
近年来,随着几部悬疑、犯罪类题材的影视剧叫好卖座,一个充满神秘色彩的学科也被带到了观众面前——法医学。简单来说,法医学就如同隐藏于黑暗中寻求真相的「福尔摩斯」,它凭借专业的知识和先进的技术,通过解读遗骸、物证中的无声证言,能够做到识骨寻踪,为无数棘手案件提供侦破方向,可谓是保障司法公正的坚固基石,...
封面图

在线教程丨石矶娘娘秒变「川渝妹子」?Step-Audio-TTS实现语音克隆/音乐合成/语音合成三合一

2 月 25 日
阅读 3 分钟
917
DeepSeek 开源引发的全球热潮余温尚在,近日,阶跃星辰携手吉利汽车集团再度出手,强势开源了 Step-Audio-TTS-3B 模型,再次引发了业内的广泛讨论。
封面图

清华团队构建大型社会模拟器 AgentSociety,推动智能社会治理与研究范式变革

2 月 25 日
阅读 11 分钟
942
智能时代呼啸而来,正深刻改变着人们生产、生活和学习的方式。过去几十年里,社会科学家和相关领域的研究者,一直致力于通过实证数据与模型揭示人类行为和智能社会运行的基本规律,试图找出隐藏在各种社会现象和治理痛点背后的因果机制,从而回答「是什么?为什么?如何治」等一系列问题。然而,在社会科学研究从「解释...
封面图

在线教程丨石矶娘娘秒变「川渝妹子」?Step-Audio-TTS 实现语音克隆/音乐合成/语音合成三合一

2 月 25 日
阅读 3 分钟
805
DeepSeek 开源引发的全球热潮余温尚在,近日,阶跃星辰携手吉利汽车集团再度出手,强势开源了 Step-Audio-TTS-3B 模型,再次引发了业内的广泛讨论。
封面图

无机材料逆合成效率飙升,韩国团队推出 Retrieval-Retro,成果入选 NeurIPS 2024

2 月 24 日
阅读 4 分钟
966
2023 年 11 月,美国劳伦斯伯克利国家实验室的科学家们围着一台机械臂屏息凝神——这个名为 A-Lab 的 AI 材料合成平台刚刚在连续成功制备 41 种新型无机材料后,首次出现了合成失败。当红色警示灯亮起时,实验室却爆发出欢呼。项目负责人 Gerbrand Ceder 教授解释道:「这个错误比成功更有价值,它暴露出 AI 对溶剂动力学...
封面图

牛津/亚马逊/西湖大学/腾讯等提出多模态多领域多语言医学模型 M³FM,可用于零样本临床诊断

2 月 20 日
阅读 7 分钟
968
相信很多喜爱漫威电影的朋友都曾被这一幕所惊艳,在电影「钢铁侠 2」中,人工智能管家贾维斯通过采集斯塔克的血液样本,利用深度学习算法迅速将样本数据进行模块化,精准而快速地分析出斯塔克体内的钯金属含量,出具报告的同时甚至还能给出跨领域建议,如「现有元素无法替代钯金属,需要合成新元素」。尽管这只是短短几...
封面图

有望开发癌症新疗法!杜克大学用 PepPrCLIP 破解「不可成药」难题

2 月 19 日
阅读 5 分钟
1.1k
2021 年,OpenAI 发布了革命性的 CLIP (Contrastive Language-ImagePre-training) 模型——通过无监督学习的方式,CLIP 在不需要额外标注信息的情况下,能够有效地理解和关联图像与文本之间的关系。
封面图

立志实现生物学领域首个AGI!医疗AI公司Owkin构建世界上最大癌症空间组学数据集

2 月 14 日
阅读 5 分钟
1.2k
医疗 AI 并非新鲜话题,但近日方舟投资首席执行官兼投资总裁凯西·伍德 (Cathie Wood) 的表态再次点燃市场热情。在她看来,医疗保健是当前最被低估的 AI 应用领域,其在精准诊疗和药物研发方面的潜力尚未被充分挖掘,这一观点不仅引发了资本市场的关注,还直接导致了医疗 AI 相关板块的股价波动,凸显了 AI 技术在医疗领...
封面图

入选AAAI 2025!解决医学图像分割软边界与共现难题,中国地质大学等提出图像分割模型ConDSeg

2 月 13 日
阅读 6 分钟
1.5k
医学图像分割是医学影像处理领域中关键而复杂的一步,主要是通过将医学图像中具有特殊含义的部分分割提取出来,从而可为临床诊断、康复治疗、疾病跟踪提供支持。近年来,在计算机和人工智能的加持下,基于深度学习的分割方式已经逐渐成为医学图像分割的主流方法,其相关成果也百花齐放。
封面图

在线教程丨DeepSeek已成小学生赶作业神器?手把手教你告别「服务器繁忙」

2 月 12 日
阅读 2 分钟
910
发布后 72 小时内注册用户超 50 万;日活跃用户数 18 天内突破 1,500 万,增速为 ChatGPT 的 13 倍;每日下载量近 500 万,登顶中美等 140 个国家应用商店下载量榜首;流量超越谷歌 Gemini,成为第二受欢迎的 AI 应用;GitHub Stars 近 73k;超 16 家国产芯片厂商宣布适配;国内的三大运营商及多家汽车与手机厂商、网络...
封面图

高熵合金新发现!多团队联手实现抗氧化性高精度预测,增加铝/铬/硅含量可有效改善

2 月 11 日
阅读 5 分钟
932
涡轮叶片作为飞机发动机中最重要的部件之一,需要在超过 1000℃ 的高温下持续工作,同时承受巨大的机械应力。2018 年,美国西南航空的一架商用客机在飞行途中突然发生发动机故障,导致紧急迫降。事后调查发现,故障的根源是发动机涡轮叶片在高温环境下发生了氧化和腐蚀,最终导致结构失效。
封面图

AlphaFolding填补蛋白质动态结构预测空白!复旦大学等提出4D扩散模型,成果入选AAAI 2025

2 月 10 日
阅读 5 分钟
1.6k
蛋白质的功能很大程度上取决于其 3D 结构。19 世纪中期,科学界普遍认为蛋白质结构是固定的、刚性的,类似「锁与钥匙」模型 (lock-and-key model),即蛋白质与配体的结合是由固定的三维结构决定的。然而,当 Daniel Koshland 提出酶与底物结合时会发生构象变化的观点后,传统思维开始受到挑战。
封面图

【TVM教程】为 GPU 自动调度卷积层

2 月 10 日
阅读 108 分钟
893
与 AutoTVM 不同,AutoTVM 依赖手动模板来定义搜索空间,而 auto-scheduler 不需要任何模板。用户只需编写计算声明,无需任何调度命令或模板。auto-scheduler 可以自动生成一个大的搜索空间,并在空间中找到合适的调度。
封面图

房价预测/矿藏勘探/自然灾害预测……AI助力地球科学革新,浙大/清华/Google Research等已发表重要成果

2 月 8 日
阅读 5 分钟
1k
地球科学作为一个高度跨学科的领域,正在经历一场由 AI 引领的重大变革。回顾 2024 年,研究人员在智慧城市建设、房价预测、海洋生态建模、地面沉降预测、洪水预测、山体滑坡预测、矿物预测等方面取得了一系列突破性成果。这些研究不仅展现了 AI 在处理复杂地球系统问题中的强大潜力,也为全球可持续发展提供了创新性解...
封面图

【vLLM 学习】使用 CPU 安装

2 月 7 日
阅读 5 分钟
1.4k
vLLM 是一款专为大语言模型推理加速而设计的框架,实现了 KV 缓存内存几乎零浪费,解决了内存管理瓶颈问题。更多 vLLM 中文文档及教程可访问 →[链接]vLLM 最初支持在 x86 CPU 平台上的基本模型推理和服务,数据类型为 FP32 和 BF16。依赖环境操作系统:Linux编译器:gcc/g++>=12.3.0(可选,推荐)指令集架构 (ISA) ...
封面图