DeepBranchTracer：一种使用多特征学习进行曲线结构重建的通用方法

2024-02-02，由刘超、赵婷、郑能干一起提出了一种名为DeepBranchTracer的新型方法，是一种高效、通用的曲线结构重建方法，适用于多种 2D 和 3D 图像数据集。通过结合图像特征和几何特征，显著提高了重建的准确性和连续性。

一、研究背景

曲线结构（curvilinear structures）是图像中常见的几何元素，广泛应用于医学图像中的神经分支和血管，以及遥感图像中的道路等。从图像中重建这些结构是计算机视觉中的一个关键研究领域。然而，由于曲线结构的复杂拓扑和图像证据的模糊性，这一任务仍然面临诸多挑战。

目前遇到的困难和挑战：

1、复杂拓扑结构的处理：在存在遮挡和拓扑结构模糊的图像中，传统的分割方法往往难以有效提取曲线结构。例如，当两条相邻或缠绕的分支出现在图像中时，基于分割的方法容易将它们误判为一个整体，从而导致严重的拓扑错误。

2、连续性和连通性的保持：与普通分割任务不同，曲线结构提取更注重目标的连续性和连通性，而不仅仅是轮廓的准确性。现有的基于分割的方法在处理断裂或被遮挡的分支时，难以有效学习结构特征，需要后处理步骤来修复断裂的分割结果。

3、几何特征与图像特征的融合：现有的重建方法大多依赖于手工设计的几何模型，这些模型难以直接集成到深度学习网络中进行训练。此外，这些方法对全局预分割掩码的准确性依赖度较高，否则可能会遗漏弱分支。

二、让我们一起看一下DeepBranchTracer

DeepBranchTracer 的核心在于 结合外部图像特征和内部几何特征来重建曲线结构。

1、几何属性估计：将曲线结构提取表述为几何属性估计问题。

2、特征学习网络：设计了一个曲线结构特征学习网络（Curvilinear Structure Feature Learning Network, CSFL），用于提取必要的分支属性，包括中心线和边界的图像特征，以及方向和半径的几何特征。

3、多特征融合追踪策略：利用多特征融合追踪策略（Multi-Feature Fusion Tracing Strategy, MFT），通过整合提取的图像和几何特征，迭代地追踪整个分支。

                        CSFL 网络的架构

DeepBranchTracer 模型中使用的曲线结构特征学习网络（CSFL）的架构。

DeepBranchTracer 模型中使用的曲线结构特征学习网络（CSFL）的架构。

CSFL 网络是一个 U 形网络（U-Net），它整合了四个子任务模块，用于提取几何特征（包括半径和方向块）和图像特征（包括中心线和边界块）。

输入（Input):
输入可以是 3D 神经元数据集、2D 血管数据集或 2D 道路数据集。

U 形网络主干（U-Shape Network Backbone):
编码器块（Encoder Block）：从 Encoder Block 1 到 Encoder Block 4，这些块用于提取图像特征。

桥接块（Bridge block）：连接编码器和解码器，用于传递特征信息。

解码器块（Decoder Block）：从 Decoder Block 1 到 Decoder Block 4，这些块用于上采样和重建特征图。

图像特征（Image Feature）:
中心线模块：用于精确定位分支位置。

边界模块：用于决定是否停止追踪过程。

几何特征（Geometric Feature）
方向块（Direction Block）：通过序列学习模块预测分支的方向。

半径块（Radius Block）：预测分支的半径。

损失函数（Loss Functions）
中心线损失（L_cl）：用于优化中心线的预测。

边界损失（L_bdy）：用于优化边界的预测。

方向损失（L_direction）：结合分类损失（L_class）和相似性损失（L_sim）来优化方向的预测。

半径损失（L_radius）：用于优化半径的预测。

多特征融合追踪策略（Multi-Feature Fusion Tracing Strategy）
结合图像特征和几何特征，通过迭代过程来追踪和重建曲线结构。

三、让我们一起看一下DeepBranchTracer的应用场景

比如，我是一名生物学家。我的工作是研究小鼠大脑里的神经纤维。这些神经纤维超级细小，而且错综复杂，就像一团乱麻一样。

之前，我要用显微镜观察这些神经纤维，然后手动地在电脑上一点点地描绘出它们的走向。这工作量可大了，而且很容易出错，因为你得盯着显微镜看好久，眼睛都看花了，有时候还会不小心把两条神经纤维画成一条，或者把一条神经纤维断成两截。头都大了，这咖啡一杯接着一杯。

现在好了，有了DeepBranchTracer这个超级助手，我的工作就顺利了很多

DeepBranchTracer就像是一个超级智能的画师，它能够自动地从3D显微镜图像中识别出那些细小的神经纤维，然后把它们完整地描绘出来。它是怎么做到的呢？原来，DeepBranchTracer会学习图像中的各种特征，比如神经纤维的颜色、亮度和形状，然后它还会理解这些纤维的几何特性，比如它们怎么弯曲、怎么连接。

当我把3D显微镜图像输入到DeepBranchTracer中，它会开始工作，自动地追踪每一条神经纤维的路径。如果遇到两条靠得很近的纤维，DeepBranchTracer能够聪明地分辨出这是两条不同的纤维，而不是把它们混为一谈。如果纤维在图像中被遮挡了，或者信号很弱，DeepBranchTracer也能够坚持追踪，不会半途而废。

用DeepBranchTracer工作，我只需要设置好参数，然后按下开始键，剩下的就交给它了。我可以喝杯咖啡，休息一下，等它处理完一大堆图像。完成后，我会得到一个超级详细、超级准确的神经纤维重建图。这不仅节省了我大量的时间，而且还大大提高了研究的准确性。 科技改变生活。

论文中数据集的整理:

2D数据集：

数据集：Massachusetts Roads Dataset

数据集地址：Massachusetts Roads Dataset|地理信息系统数据集|图像处理数据集

数据集介绍：广泛用于评估道路提取算法的性能，具有较高的挑战性，因为道路在图像中可能存在遮挡和复杂的拓扑结构。包含高分辨率的航拍图像，用于道路提取任务。

数据集：DRIVE Dataset

数据集地址：DRIVE 医疗图像处理数据集|心血管疾病诊断数据集

数据集介绍：该数据集是视网膜血管分割领域的标准数据集之一，用于评估算法在提取弱血管和保持血管连通性方面的性能。包含视网膜血管图像，用于医学图像分析。

数据集：CHASE_DB1 Dataset

数据集地址：CHASE DB1|医学图像处理数据集|图像分割数据集

数据集介绍：该数据集用于进一步验证算法在不同视网膜血管图像上的鲁棒性和泛化能力。包含视网膜血管图像，与DRIVE数据集类似，但图像分辨率和血管密度有所不同。

3D数据集

数据集：3D DIADEM-CCF Dataset
数据集地址：敬请期待

数据集：fMOST-VTA Dataset
数据集地址：敬请期待