检测和处理异常值的极简指南

本文是关于检测和处理数据集中的异常值，主要包含以下四部分内容：

• 什么是异常值？
• 为什么检测异常值很重要？
• 如何检测异常值？
• 如何处理异常值？

什么是异常值？

异常值是与其他观察结果显着不同的数据点。如下图所示，橙色数据点与一般分布相去甚远。我们将此点称为异常值。

为什么检测异常值很重要？

在数据科学项目、统计分析、机器学习应用中检测异常值非常重要：

• 异常值会导致分布偏斜。
• 异常值会严重影响数据集的均值和标准差。这些可能会在统计上给出错误的结果。
• 可能导致偏差或影响估计。
• 大多数机器学习算法在存在异常值的情况下都不能很好地工作。
• 异常值在欺诈检测等异常检测中非常有用，其中欺诈交易与正常交易非常不同。

特别是在线性问题中，异常值更能显示出它们的影响。例如下面的例子；左边的图片中当 x 变量的值增加时，y 变量的值减小。但是由于异常值，观察到随着变量 x 的值增加，变量 y 的值也增加。异常值扭曲了我们的分析结果。

在上面的示例中，如果从数据集中移除异常值，可以获得更准确、不会被误导的测试结果。

如何检测异常值？

可以通过许多不同的方式检测异常值。下面总结了一些常用的方法：

• 领域的知识
• 标准差法
• Z-Score法
• 箱线图（四分位距 - IQR）法

领域的知识

借助行业知识，可以了解数据集中的哪个观察结果可能是异常值。例如; 假设一名房地产经纪人，平均房屋租金为 700 美元。如果房屋租金为 5000 美元，就可以说这是一个异常值。

标准差法

在统计学中，标准偏差是衡量一组值的变化量或离散度的量度。低标准差表示这些值趋向于接近集合的平均值，而高标准差表示这些值分布在更宽的范围内。

正态分布如下图所示。在正态分布中，数据应该在一个小范围的值内，高值和低值的异常值较少。

如图上图所示，

• 68.27% 的值在平均值的 +1、-1 标准差范围内，
• 95.45% 的值在平均值的 +2、-2 标准差范围内，
• 99.73 % 的值在平均值的 +3、-3 标准差范围内。

在正态分布中，预计我们的数据应该远离平均值 -3、+3 个标准差。因此，有了这些信息，可以指定下限和上限；

Lower Limit = Mean - 3 * Standart Deviation
Upper Limit = Mean + 3 * Standart Deviation

Z-Score法

Z-Score也称为标准分数。该分数有助于了解数据点与平均值之间的标准差。Z-Score是测量单位，它告诉我们数据点与平均值的距离。例如：数据点 A 与平均值相差 2 个标准差。这个 2 就是Z-Score。

Z score = (x -mean) / std. deviation

那么如何确定异常值的阈值呢？

下面再次检查正态分布以确定阈值。让我们看一下标准偏差方法部分中的正态分布图。正如上面前提到的，99.7% 的数据在正态分布的 -3、+3 标准差范围内，因此我们可以将超出此范围的数据点视为异常值。

如果上面语言比较难懂，用下面代码进行演示可能会更加直观：

# Suppose we have a dataset that represents number of siblings.
data = [1, 2, 2, 3, 4, 1, 1, 15, 2, 4, 3, 2, 1, 1, 2]

# In this data set we want to find outliers. Firstly we calculate Z-Score for them.

import numpy as np
mean = np.mean(data) # Find mean
std = np.std(data)   # Find standart deviation

upper_limit = 3
lower_limit = -3
outlier = []

for i in data:
    # Find Z-Score
    z = (i-mean)/std 
    print(f'Z-Score of {i} = {z}')
    # Check z value is within or not in our range
    if (lower_limit > z) or (z > upper_limit):
        outlier.append(i)
        
print('Outlier in dataset is', outlier)s

结果如下：

箱线图（四分位距 - IQR）法

在统计学中，四分位距 (IQR) 描述了从最低到最高排序的中间 50% 的数据。要找到 IQR，需要先将数据从最低到最高排序。然后将数据分成 4 个相等的部分，并指定 Q1、Q2、Q3 称为第一、第二和第三四分位数。IQR 是 Q3 和 Q1 之间的差。我们 50% 的数据介于这些四分位数之间。

上图中：

• Q1 代表数据的第 25 个百分位。
• Q2 代表数据的第 50 个百分位。
• Q3 代表数据的第 75 个百分位。

例如我们有这样的数据：[1, 2, 2, 4, 5, 15, 6, 7, 8, 9, 10, 11, 17, 24, 33]，我们想要找到 IQR。首先对这个数组进行排序；[1、2、2、4、5、6、7、8、9、10、11、15、17、24、33]，然后我们找到四分位数；

Q1 25th , 4.5
Q2 50th , 8.0
Q3 75th , 13.0

计算IQR

IQR = Q3 - Q1

现在使用箱线图法用IQR 值计算上限和下限

Lower Limit = Q1 - 1.5 * IQR
Upper Limit = Q3 + 1.5 * IQR

之后，如果数据低于下限或高于上限，就可以将此数据点称为异常值。

如何处理异常值？

异常值可能是由于数据的内在可变性产生的，所以应该使用一些分析仔细检查这种类型的异常值， 另外的一些异常值可能是实验错误或数据输入错误等产生的，这些异常值是可以直接删除的。

删除值

如果异常值是由于输入或测量数据不正确，无法获得异常值的真实值，我们可以去除异常值。

例如在一个记录人们身高的数据集中，遇到了一个 1.8 厘米的数据。我们知道这在物理上是不可能的。可能真实身高 180 厘米、1.8 米或 185 厘米，但由于我们不知道是哪一个，所以可以将异常值删除。

修改值

如果包含异常值的行中的其他列包含重要信息，可能删除该行不是一个很好的选择，所以可以将异常值替换为阈值或中值（异常值对中值影响不大）。

异常值的对数转换

对数转换，就是将每个变量 x 都替换为 log(x)，其中对数的基数被认为是常见的使用基数 10、基数 2 和自然对数 ln。

而对数转换与异常值有什么关系呢？

当异常值是由于数据的内在可变性引起的，我们可能不想删除或替换它们。因为这些是我们可能需要的数据。但是由于这些异常值，我们无法获得正态分布，得到的是偏态分布。例如，一个包含人们收入数据的数据集。虽然大多数人的收入在 30k 到 100k 之间，但有些人赚了数十亿美元。当可视化这样一个数据集时，观察到的分布向右倾斜。

在这种情况下，对数转换可以帮助我们。对数变换不再强调异常值并允许我们潜在地获得正态分布。在上图中的 X 轴上应用对数函数，则偏态分布接近正态分布。

在应用对数转换之前，应该需要再次考虑下是否需要， 因为如果每个变量之间的距离很重要，那么取变量的对数会使距离倾斜，可能产生更大的问题。

使用其他模型

我们可以使用基于树的方法，如随机森林、决策树，因为树型方法只考虑值得分割点，而不考虑两个值之间得距离，所以相比于线性模型受异常值影响较小。

总结

本文介绍了异常值的相关知识，还有如果检测、处理异常值，在阅读完本文以后，希望你对异常值有一个大概的了解，并且能够检测和处理一般情况下遇到的异常值。

https://www.overfit.cn/post/151694f1b1194e6197e8da22c981be7c

作者：Mert Yüksek