随着大语言模型（LLM）逐步走向工程化与规模化部署，其推理效率、资源利用率以及硬件适配能力正成为影响应用落地的核心问题。2023 年，加州大学伯克利分校的研究团队开源 vLLM，通过引入 PagedAttention 机制对 KV 缓存进行高效管理，显著提升模型吞吐量与响应速度，在开源社区迅速走红。截至目前，vLLM 在 GitHub 上已...

Triton 是一种用于并行编程的语言和编译器。它旨在提供一个基于 Python 的编程环境，以高效编写自定义 DNN 计算内核，并能够在现代 GPU 硬件上以最大吞吐量运行。

如果把人的身体比作一座庞大的城市，那么血管无疑就是这座城市的「道路」，动脉、静脉以及毛细血管对应着高速公路、城市道路以及乡间小道，它们相互协作，通过血液将营养物质、氧气等输送到身体各处，从而维持着这座「城市」的高效、稳定运行。而当这些道路出现问题时，人们的身体自然也会随之发生病变。

4 月 9 日凌晨，Agentica 团队携手 Together AI 联合开源了名为 DeepCoder-14B-Preview 的代码推理模型，这个仅需 14B 即可媲美 OpenAI o3-Mini 的新模型迅速引起业界广泛关注，在 GitHub 狂揽 3k stars。

TVM 中 Mobile GPU 的算子实现是以 template 形式编写的。该 template 有许多可调参数（tile 因子，vectorization，unrolling 等）。对神经网络中的所有卷积、深度卷积和密集算子调优后，会生成一个日志文件，它存储所有必需算子的最佳参数值。当 TVM 编译器编译这些算子时，将查询此日志文件以获取最佳参数值。

针对特定设备和工作负载的自动调优对于获得最佳性能至关重要。本文介绍如何通过 RPC 使用 auto-scheduler 为 ARM CPU 调优整个神经网络。

DeepSeek 开源引发的全球热潮余温尚在，近日，阶跃星辰携手吉利汽车集团再度出手，强势开源了 Step-Audio-TTS-3B 模型，再次引发了业内的广泛讨论。

医疗 AI 并非新鲜话题，但近日方舟投资首席执行官兼投资总裁凯西·伍德 (Cathie Wood) 的表态再次点燃市场热情。在她看来，医疗保健是当前最被低估的 AI 应用领域，其在精准诊疗和药物研发方面的潜力尚未被充分挖掘，这一观点不仅引发了资本市场的关注，还直接导致了医疗 AI 相关板块的股价波动，凸显了 AI 技术在医疗领...

医学图像分割是医学影像处理领域中关键而复杂的一步，主要是通过将医学图像中具有特殊含义的部分分割提取出来，从而可为临床诊断、康复治疗、疾病跟踪提供支持。近年来，在计算机和人工智能的加持下，基于深度学习的分割方式已经逐渐成为医学图像分割的主流方法，其相关成果也百花齐放。

发布后 72 小时内注册用户超 50 万；日活跃用户数 18 天内突破 1,500 万，增速为 ChatGPT 的 13 倍；每日下载量近 500 万，登顶中美等 140 个国家应用商店下载量榜首；流量超越谷歌 Gemini，成为第二受欢迎的 AI 应用；GitHub Stars 近 73k；超 16 家国产芯片厂商宣布适配；国内的三大运营商及多家汽车与手机厂商、网络...

涡轮叶片作为飞机发动机中最重要的部件之一，需要在超过 1000℃ 的高温下持续工作，同时承受巨大的机械应力。2018 年，美国西南航空的一架商用客机在飞行途中突然发生发动机故障，导致紧急迫降。事后调查发现，故障的根源是发动机涡轮叶片在高温环境下发生了氧化和腐蚀，最终导致结构失效。

蛋白质的功能很大程度上取决于其 3D 结构。19 世纪中期，科学界普遍认为蛋白质结构是固定的、刚性的，类似「锁与钥匙」模型 (lock-and-key model)，即蛋白质与配体的结合是由固定的三维结构决定的。然而，当 Daniel Koshland 提出酶与底物结合时会发生构象变化的观点后，传统思维开始受到挑战。

与 AutoTVM 不同，AutoTVM 依赖手动模板来定义搜索空间，而 auto-scheduler 不需要任何模板。用户只需编写计算声明，无需任何调度命令或模板。auto-scheduler 可以自动生成一个大的搜索空间，并在空间中找到合适的调度。

地球科学作为一个高度跨学科的领域，正在经历一场由 AI 引领的重大变革。回顾 2024 年，研究人员在智慧城市建设、房价预测、海洋生态建模、地面沉降预测、洪水预测、山体滑坡预测、矿物预测等方面取得了一系列突破性成果。这些研究不仅展现了 AI 在处理复杂地球系统问题中的强大潜力，也为全球可持续发展提供了创新性解...

vLLM 是一款专为大语言模型推理加速而设计的框架，实现了 KV 缓存内存几乎零浪费，解决了内存管理瓶颈问题。更多 vLLM 中文文档及教程可访问 →[链接]vLLM 最初支持在 x86 CPU 平台上的基本模型推理和服务，数据类型为 FP32 和 BF16。依赖环境操作系统：Linux编译器：gcc/g++>=12.3.0（可选，推荐）指令集架构 (ISA) ...

在科幻电影「阿凡达」中的潘多拉星球，那座被绿色藤蔓缠绕、悬浮于云端的哈利路亚山，无疑给观众留下了深刻的印象。其悬浮的奥秘，就在于山间蕴藏的室温超导矿石「Unobtanium」。电影中，人类为了抢夺这种地球上不存在的至宝，不惜摧毁纳美人的家园。虽然这只是一个虚构的故事，但现实中，物理学家们对超导材料的渴望与...

古话说，「人非圣贤，孰能无过」，但在医学领域，像误诊这样的「过」，造成的后果却可能是惨痛的。一方面对于患者而言，轻则虚惊一场，重则贻误病情，无论何种情况都会造成患者的精神、财产甚至生命遭受损失；另一方面对于医者而言，错误的判断轻则会损害医者悬壶济世的形象，重则可能进而影响到整个医疗体系的公信力。...

Triton 是一种用于并行编程的语言和编译器。它旨在提供一个基于 Python 的编程环境，以高效编写自定义 DNN 计算内核，并能够在现代 GPU 硬件上以最大吞吐量运行。

YOLO (You Only Look Once) 是计算机视觉领域中最具影响力的实时目标检测算法之一，以其高精度与高效性深受业界青睐，广泛应用于自动驾驶、安防监控、医疗影像等领域。

这一年，无论是英伟达 (NVIDIA)、博通 (Broadcom) 等基础设施供应商，还是微软 (Microsoft) 等云服务提供商，其 AI 业务的收入均实现了强劲增长。这一年，英伟达多次超越苹果和微软，成为全球最有价值的公司。市场研究机构 IoT Analytics 面向 GenAI 市场的研究数据显示，英伟达的数据中心 GPU 收入在 2024 年增长了 142...

新年新目标，阅读伴成长2025 年的第一本书你选好了吗？HyperAI超神经精选了 10 本 AI 领域必读书籍用知识武装自己，在新的一年跑得更远吧！

正月初三，年味正浓。新春的喜庆氛围不仅弥漫在大街小巷，也在人工智能领域引发了诸多创新应用。从 AI 生成春联，到春运交通标志的智能识别，再到生肖文化的深度挖掘，AI 工具正赋能传统民俗，让年味更浓！

TVM 中 Mobile GPU 的算子实现是以 template 形式编写的。该 template 有许多可调参数（tile 因子，vectorization，unrolling 等）。对神经网络中的所有卷积、深度卷积和密集算子调优后，会生成一个日志文件，它存储所有必需算子的最佳参数值。当 TVM 编译器编译这些算子时，将查询此日志文件以获取最佳参数值。

除夕是农历年的最后一天，在这个旧岁新年更替之际，人们往往会通过贴春联、挂灯笼等活动来祈福并正式开启「春节模式」。春联也称为「对联」、「门对」、「楹联」，早在宋代便已经广泛流传于民间，寓意也逐渐从驱邪避灾转变为祈福纳祥。

以 AlphaFold 为代表的 AI 系统，能够以前所未有的精度预测蛋白质三维结构，为理解蛋白质功能和开发靶向药物提供了革命性工具。在药物研发领域，AI 不仅可以基于海量药物数据，预测药物特性，还可设计新药，缩短药物从实验室到临床的研发周期。同时，AI 还可从海量基因测序数据中精准挖掘信息，快速识别基因突变，助力科...

过去几年，以英伟达、谷歌为首的科技巨头纷纷表达对 AI 医疗的重视，近千亿元资金被砸进该赛道，医疗领域也成为 AI 应用最广、成效最明显的领域之一。

告别传统的「凭经验+反复试错」模式，在智能驱动的材料研发中，AI 在科学仿真、模型预测、高通量实验、自动化表征等方面提供重要手段，可有效降低新材料研发成本，提高研发效率。

近年来，人工智能的快速发展正以前所未有的深度和广度影响着科学研究的各个领域。作为推动科技进步的重要引擎之一，「AI for Science」已然成为创新的核心领域，并在生物医药、材料化学、医疗健康、气象研究、能源环境、自然灾害等多个领域取得了丰硕成果。2024 年 11 月份，在 DeepMind 发布的一份研究报告中，更是直言...

在 1 月初的 CES 2025 大会上，黄仁勋身着新款皮衣为大家带来了多重惊喜，除了「世界最快GPU RTX 5090」之外，世界基础模型 Cosmos 也引发了广泛关注。

由 OpenVINO 驱动的 vLLM 支持来自 vLLM 支持的模型列表 <../models/supported_models> 中的所有 LLM 模型，并且可以在所有 x86-64 CPU 上（至少需要 AVX2 支持）进行最佳的模型服务。OpenVINO 的 vLLM 后端支持以下高级 vLLM 特性：