LossVal：一种集成于损失函数的高效数据价值评估方法

在机器学习领域，训练数据的价值并非均等：部分训练数据点对模型训练的影响显著高于其他数据点。评估单个数据点的影响程度通常需要反复重训练模型，计算效率低下。LossVal提出了一种创新方法，通过将数据价值评估过程直接集成到神经网络的损失函数中，实现了高效的数据价值评估。

现代机器学习模型通常依赖大规模数据集进行训练。在实际应用中，数据集中的训练样本对模型的信息贡献度存在显著差异。例如含噪声数据点或标注错误的样本往往对机器学习模型的学习过程贡献有限。在这篇研究的一个实验中，利用车辆碰撞测试数据集训练模型，目标是基于车辆参数预测碰撞对乘员的伤害程度。数据集中包含80年代和90年代的车辆数据，这些历史数据对现代车辆的碰撞预测可能具有较低的参考价值。

LossVal技术原理

LossVal的核心思想是在模型训练过程中同步学习样本重要性得分，这一过程与模型权重的学习机制类似。这种方法避免了传统方法中需要多次重训练模型的计算开销，同时也无需记录训练过程中的模型权重更新序列。

实现上述目标的关键在于对标准损失函数（如均方误差MSE和交叉熵损失）进行改进。通过在损失函数中引入实例级权重，并将其与加权分布距离函数相乘。LossVal损失函数的一般形式可表示为：

其中ℒ表示加权目标损失（可以是加权MSE或交叉熵），OT代表最优传输的加权分布距离。这种改进后的损失函数可直接用于神经网络训练，其中权重w通过梯度下降方法在每个训练步骤中更新。

以下分别介绍回归任务和分类任务中LossVal的具体实现方法，随后详细探讨分布距离OT的计算原理。

回归任务中的LossVal实现

从最基础的MSE开始分析。标准MSE定义为模型预测值ŷ与真实值y之间的平方差（n为训练样本索引）：

LossVal对MSE进行了两步改进：首先引入样本权重wₙ，为每个训练实例分配权重；其次将加权MSE与分布距离函数相乘。

分类任务中的LossVal实现

标准交叉熵损失的表达式为：

对交叉熵损失的改进方式与MSE类似：

最优传输距离度量

最优传输距离反映了将一个分布转换为另一个分布所需的最小代价，也称为推土机距离（这一形象化的名称源自于描述将一堆土填入坑洞的最优路径问题）。其数学定义为：

其中c表示将点xₙ移动到xⱼ的代价，γ代表可能的传输方案集合，定义了点的移动路径。最优传输方案γ是指具有最小分布距离的传输方案。值得注意的是，论文通过联合分布Π(w, 1)将权重w整合到代价函数中。因此OTᵥᵥ*实际上度量了训练集与验证集之间的加权距离。

从实际应用角度来看，通过优化权重以最小化OTᵥᵥ，算法会自动为与验证数据相似的训练数据点分配较高权重，而噪声样本则会获得较低权重。这种机制确保了模型能够更多地从高质量数据中学习。

算法实现

完整的实现代码和相关数据集已在GitHub平台开源。以下代码展示了LossVal在均方误差场景下的核心实现：

 defLossVal_mse(train_X: torch.Tensor,   
                 train_y_true: torch.Tensor, train_y_pred: torch.Tensor,  
                 val_X: torch.Tensor, sample_ids: torch.Tensor  
                 weights: torch.Tensor, device: torch.device) ->torch.Tensor:  
     weights=weights.index_select(0, sample_ids)  # 根据sample_ids选择对应的权重
   
     # 步骤1：计算加权均方误差损失
     loss=torch.sum((train_y_true-train_y_pred) **2, dim=1)  
     weighted_loss=torch.sum(weights@loss)  # loss为向量，weights为矩阵
   
     # 步骤2：计算训练集与验证集之间的Sinkhorn距离
     sinkhorn_distance=SamplesLoss(loss="sinkhorn")  
     dist_loss=sinkhorn_distance(weights, train_X, torch.ones(val_X.shape[0], requires_grad=True).to(device), val_X)  
   
     # 步骤3：组合MSE损失与Sinkhorn距离
     returnweighted_loss*dist_loss**2

该损失函数在PyTorch框架中的使用方式与标准损失函数类似，但需要注意以下特殊之处：函数参数中包含验证集、样本权重以及批次样本索引，这些参数对于计算批处理样本的加权损失至关重要。实现依赖PyTorch的自动微分机制，因此样本权重向量需要作为模型参数的一部分。这样设计使得权重优化可以直接利用Adam等优化器的优势。另外也可以通过手动计算损失对各权重i的梯度来更新权重。对于交叉熵损失的实现，架构相似，主要区别在于需要修改第8行的损失计算方式。

实验验证

噪声样本检测任务中各数据价值评估方法的性能对比。指标越高表示性能越好。

上图展示了各种数据价值评估方法在噪声样本检测任务中的性能对比。该任务基于OpenDataVal基准测试框架：首先在训练数据的p%样本中注入噪声，然后利用数据价值评估方法识别这些噪声样本。评估方法的性能通过其识别噪声样本的准确度（F1分数）来衡量。图中结果是在6个分类数据集和6个回归数据集上的平均表现。实验中考虑了三种噪声类型：标签噪声、特征噪声和混合噪声（其中混合噪声条件下，一半样本包含特征噪声，另一半包含标签噪声）。结果表明，在标签噪声和混合噪声场景下，LossVal的性能优于其他方法。但在特征噪声场景中，LAVA展现出更好的性能。

数据点移除实验（如下图所示）采用了类似的实验设计。该实验的目标是评估移除高价值数据点对模型性能的影响。理论上，更准确的数据价值评估方法会优先识别出更重要的数据点，因此移除这些点会导致模型性能更快下降。实验结果显示，LossVal在此任务上与当前最先进的方法达到相当的性能水平。

高价值数据点移除实验中各方法的性能对比。指标越低表示性能越好。

总结

LossVal方法的技术创新在于：通过梯度下降方法优化每个数据点的权重，从而量化数据点的重要性。

实验结果表明，LossVal在OpenDataVal基准测试中达到了领先性能水平。相比其他基于模型的方法，LossVal具有更低的时间复杂度，并在不同类型的噪声和任务场景下展现出更稳定的性能。

综上所述，LossVal为神经网络的数据价值评估提供了一种高效且有效的新方法。

论文地址：

https://avoid.overfit.cn/post/2998b89f8457448e8b26febcd706edc0