性能远超SAM系模型，苏黎世大学等开发通用3D血管分割基础模型

如果把人的身体比作一座庞大的城市，那么血管无疑就是这座城市的「道路」，动脉、静脉以及毛细血管对应着高速公路、城市道路以及乡间小道，它们相互协作，通过血液将营养物质、氧气等输送到身体各处，从而维持着这座「城市」的高效、稳定运行。而当这些道路出现问题时，人们的身体自然也会随之发生病变。

血管分割是检查这些「道路」是否存在问题的重要手段，如同城市建设中通过交通影像发现问题一般，它是医学图像处理中的一项关键任务。血管分割可以从医学图像中精准识别和提取血管的结构，从而应用于各种血管疾病的分析、诊断和治疗，例如在心血管疾病方面，对冠状动脉血管的分割有助于医生评估血管的狭窄程度，从而为患者制定合适的治疗方案。

近些年，血管分割在计算机和医学影像技术的加持下已经取得了显著进步。然而，当面对特定任务的成像时，准确和稳健的分割全连接的血管仍是一个具有挑战性的问题，尤其是在 3D 血管分割中。一方面是血管自身原因所限，复杂微小的血管几何形状带来的分割难度的陡然增长；另一方面是由成像方式和协议所限，特定的信噪比、血管模式、成像伪影以及背景组织的变化引起的显著域间隙。

虽然目前出现了多种基于基础模型的医学影像分割方法，如 SAM（Segment Anything Model）以及针对 3D 医学图像的 SAM-Med3D、VISTA3D 等，但这些模型在血管分割任务中仍存有局限性。因此，3D 血管分割对于医护人员和研究人员而言仍然是一项劳动密集型的工作，需要进行大量手动的体素级注释才能进一步实现准确的血管图像分析。

针对于此，来自苏黎世大学、苏黎世联邦理工学院和慕尼黑工业大学的团队提出了一个专为 3D 血管分割而设计的基础模型 vesselFM。该模型在一个大规模数据集（Dreal）及通过域随机化（Ddrand）和基于流匹配的生成模型（Dflow）生成的合成数据上进行训练，能够在零样本、单样本和少样本场景中实现优于现有先进模型的分割能力和泛化能力。

相关研究以「vesselFM: A Foundation Model for Universal 3D Blood Vessel Segmentation」为题发表，并入选了 CVPR 2025。研究亮点： 研究提出了一种具有零样本、泛化能力的 3D 血管分割通用基础模型，可供研究人员和医护人员「开箱即用」 团队策划了最大的 3D 血管分割数据集，包括经过精心处理的真实 3D 血管图像和匹配的体素级注释* 研究提出了一种针对 3D 血管分割的精细领域随机化策略，同时将流匹配引入 3D 医学图像生成当中。

论文地址：https://go.hyper.ai/lVad9

数据集：3 个异构数据源

研究人员使用了 3 个异构数据源对其进行训练，首先是一个内含不同真实数据的数据集 Dreal（Diverse Real Data）；其次为 2 个合成数据源，分别是领域随机数据集 Ddrand（Domain Randomization）以及从基于流匹配的生成模型中采集的数据 Dflow（Flow Matching-Based）。

其中，Dreal 是迄今为止应用于 3D 血管分割任务中最大的真实数据集，涵盖来自不同生物体的各种解剖区域的广泛成像模式，包含了 17 个注释来源的超 115,000 个形状为 128³ 的 3D patches。具体来说，其广泛的临床成像包括 MRA、CTA、X 光片、双光子显微镜以及 vEM 等，生物样本来自人类、实验鼠的大脑、肾脏和肝脏等，这为研究提供了不同结构和功能特性的血管模式。如下图所示。

Dreal 数据集总览（23 个数据集统计信息，包括 4 个验证数据集）

随后，研究人员又根据组织类型、成像方式以及协议，进一步将 Dreal 划分为了 23 个数据集，并且对每个数据集进行了预处理，最后从图像及其相应的标签中提取目标形状为 128³ 的 patches。

数据示例图

研究人员引入了域随机化策略创建了 Ddrand，如下图所示。该方法通过在真实血管数据上施加一系列的空间变换和人工伪影，生成大量具有多样性的合成图像-掩码对，以此提升模型对真实数据的鲁棒性。具体来说可分为 3 步，即前景生成、背景生成和背景融合。

图 a 为用于生成 Ddrand 的领域随机生成管道的示意图；图 b 为示例图

在前景生成阶段，研究人员利用 Wittmann 等提供的 1,137 个形状为 250³ 的血管板块 v 作为合成掩码的基础，这些血管斑块来自于腐蚀铸型的图形表示，具有高保真性。

研究人员采用的主要方法是通过空间变换，如随机裁剪、翻转、扩张和缩放、随机弹性变形以及二元平滑来实现生成广泛的真实血管模式。接下来，研究人员又通过选择伪影变换，如偏置场、高斯噪声、高斯平滑、dropout、偏移、模糊等来模拟真实血管图像中存在的各种前景伪影。

在背景生成阶段，研究人员对包含不同纹理的各种背景几何形状的背景图像进行了建模，主要包括 3 种变体：球体（非重叠球体）、多面体（使用 Voronoi 将图像分割成多个多面体区域）以及不包含任何背景的几何图像。

在背景融合阶段，研究人员通过体素加减法或用掩模强度值替换背景强度值，将前景合并到背景中。为了扩大图像域，研究人员连续通过随机偏置场增强、添加高斯噪声、在 k 空间中应用随机局部峰值、随机调整图像对比度，对所有空间维度的个体或共享 σ 值执行高斯平滑、添加 Rician 噪声和 Gibbs 噪声、执行随机高斯锐化，并随机变换强度直方图，最终得到合成图像 Xdrand（如上图 b 中所示）。为了进一步丰富真实数据 Dreal 的分布，研究人员进一步训练并采样了一个基于 Flow Matching 的条件生成模型 F，生成了第三个数据源 Dflow。如下图所示。

3 个数据源 Dreal（蓝色阴影）、Dflow （红色阴影）以及 Ddrand （灰色阴影）分布示意图

模型架构：引入深度生成模型和域随机化策略

总体而言，vesselFM 是一个专门为 3D 血管分割而设计的通用基础模型，能够在各种模式和组织类型中精准分割 3D 血管系统。在模型的设计过程中，研究人员通过 3 个异构数据源对其进行训练，实现了其强大的分割能力和泛化能力。

vesselFM 的训练及应用概览

在这一过程，研究人员引入了 2 个关键步骤，分别是深度生成模型和域随机化策略。上文数据集介绍部分详细阐述了域随机化策略，本部分着重介绍生成 Dflow 数据集所使用的深度生成模型。

深度生成模型是合成医学图像生成的重要手段，以扩散模型（Diffusion Model）为主，用于生成大量高保真合成数据。为了将这些数据进行分割任务，需要精确匹配图像-掩码对，比如 Med-DDPM、SegGuidedDiff 等方法，就是为了应对这一挑战而设计。它们通过通道级联分割掩码到模型输入来整合语义条件，从而产生符合一致解剖约束的图像掩码对。前者为 3D 脑成像合成量身定制，后者为 2D 乳腺 MRI 和腹部 CT 生成而设计。

在本研究中，研究人员采用了不同于扩散模型的方法，使用 Flow Matching 的生成模型方法。它通过学习数据从一个已知分布到目标分布的连续变换过程，从而生成新的样本，相比于扩散模型，后者在自然图像上显示出了更卓越的性能。具体在研究中，生成模型 F 利用一个 θ 参数化的网络，表示一个学习与时间相关的速度场 v，然后通过常微分方程（Ordinary Differential Equation, ODE）将样本 x₀~N（0,I）映射到数据分布的样本 x₁。同时，为了训练模型 F，研究人员还优化了流匹配目标，使预测速度与采样真值速度在时间刻度上的损失最小化。

此外，训练模型 F 还采用了掩码和类别条件，通过将掩码通道与输入图像连接 xₜ 来实现掩码调理。研究人员将类嵌入加入到时间嵌入中来合并类信息，然后通过加法注入到中间特征层中。为了生成 Dflow，研究人员最终通过欧拉积分（Euler integration）对 x₁ 进行离散化，从而对大量图像 Xflow 进行采样，如下图所示。

图 a 为基于 Flow Matching 的采样过程；图 b 为示例图

实验结果：性能优于当前最先进模型

为了验证 vesselFM 的有效性和可靠性，研究人员通过对比的方式进行了评估，并展示了其在零样本、单一样本以及少样本场景下的分割能力。

具体来说，验证阶段采用了 4 个临床数据集：SMILE-UHURA、MSD8、OCTA 和 BvEM。研究人员从这些评估数据集中提取形状为 128³ 的 3 个 patches，并利用其将单一样本和少样本分割任务定义为在其中一个或全部三个数据块上，以便对模型进行微调。其余数据用于测试和验证。对于零样本评估，模型将直接应用测试数据而无需预先微调。

同时将 4 款专门为 3D 血管分割而设计的基础模型作为比较对象，分别为：tUbeNet、VISTA3D、SAM-Med3D 和 MedSAM-2。

研究人员使用单卡 NVIDIA RTX A6000 GPU，从模型 F 中采样了 1 万个图像掩码，在 3 天时间内生成 Dflow。同时为了管理 Ddrand，研究人员从域随机化生成管道中抽取了 50 万个图像掩码对，每个图像掩码对的形状均为 128³。所使用的 3 个数据源权重大致根据其大小来设置，分别为 Ddrand（70%）、Dreal（20%）和 Dflow（10%）。

具体结果如下图所示。vesselFM 在所有 4 个数据集和任务上都展示了卓越的泛化能力和优秀性能。其中零样本任务中，在 MSD8 数据集上，vesselFM 的 Dice 得分比 VISTA3D 高出 5.86 分（VISTA3D 在 11,454 个 CT 数据上进行训练，本身包括来自 MSD8 的数据），这更加凸显了 vesselFM 强大的归纳偏置。

在 4 个验证集上的对比结果

相比之下，通用 3D 血管分割模型 tUbeNet 在更复杂的成像模态中表现并不佳，另外 2 个通用分割模型 SAM-Med3D 和 MedSAM-2 在零样本设置下均无法分割血管。值得一提的是，在 SMILE-UHURA 数据集上，vesselFM 在零样本场景下的 Dice 和 clDice 得分甚至超过了基线模型在少样本场景下的得分。定性结果表明了 vesselFM 在零样本下卓越的泛化能力，且不存在注释者特定的偏差。如下图所示。

部分验证集上的可视化结果

深度学习开启血管分割研究的新道路

综上而言，vesselFM 的相关研究无疑推动了 3D 血管分割研究的进步，为血管类疾病的治疗和研究提供了全新的道路，有望促进新的先进工具诞生和应用，并最终实现造福患者的目标。

而值得庆幸的是，vesselFM 并非一次孤单尝试。随着深度学习技术的发展和医疗数据的日益丰富，通过人工智能的方式处理医学图像已经是现代医疗变革的一个重要方向。越来越多的实验室和研究机构都将注意力放到了这一领域，并希望通过自己的研究来解决人类所面临的血管类疾病挑战。

比如中国科学院的团队曾发表过一篇题为「VesselSAM: Leveraging SAM for Aortic Vessel Segmentation with LoRA and Atrous Attention」的研究。研究提出了一种增强版本的 SAM，命名为 VesselSAM，专门用于主动脉血管分割。该模型集成空洞注意力模块和低秩适应（LoRA），解决了 SAM 的关键局限性，增强了其捕捉医学图像中复杂的层次特征的能力。

论文地址：https://arxiv.org/abs/2502.18185

来自中国上海交通大学的团队联手上海第一人民医院、贝尔法斯特女王大学和路易斯安娜州立大学等团队，发表题为「Self-Supervised Vessel Segmentation via Adversarial Learning」的研究。该研究提出通过对抗学习来训练 2 个生成器，一个是注意力引导生成器，一个是分割生成器，让它们分别合成假血管、从冠状动脉血管造影图像中分割血管，从而学习血管的特征表示。该论文还入选了 CVPR 2021。

论文地址：https://openaccess.thecvf.com/content/ICCV2021/papers/Ma_Self...

来自葡萄牙里斯本大学的团队联合葡萄牙天主教大学的团队同样也在血管分割方面发表了相关研究，他们提出了一种基于深度学习开发的 3D 视网膜血管网络自动分割和定量软件 3DVascNet。该软件不仅实现了对血管的精准分割，同时还可以量化血管形态测量参数，如血管密度、分支长度、血管半径和分支点密度等。更重要的是，该软件为一款免费软件，同时其强大泛化能力又进一步促进了医护人员研究三维血管网络的能力。相关研究以「3DVascNet: An Automated Software for Segmentation and Quantification of Mouse Vascular Networks in 3D」为题发表。

论文地址：https://www.ahajournals.org/doi/10.1161/ATVBAHA.124.320672

总而言之，血管分割作为医学图像处理中一项关键而又兼具挑战性的任务，仍然有诸多难题亟待解决，但科研人员们的一次又一次尝试无疑让我们看到了这些难题正在土崩瓦解。更令人相信的是，在不久的将来，或许血管类疾病将也将会随着人工智能应用的加深，而被逐渐攻克。