AI 黑话大全

- Ground truth

In machine learning, the term "ground truth" refers to the accuracy of the training set's classification for supervised learning techniques. This is used in statistical models to prove or disprove research hypotheses. The term "ground truthing" refers to the process of gathering the proper objective (provable) data for this test. Compare with gold standard.

Ground： 地基、地板。意思就是地板上的真相，基础事实。注意这个词用在监督学习上的，只有监督学习有 Ground Truth。意思是给机器训练用的标定数据的准确率。在朴素贝叶斯方法训练垃圾邮件分类的任务中，人工标注的结果就是一个 ground truth。对比的名词是 Gold standard，统计学上意思是在合理条件（人类可实现）下能够达到的最好结果。（等于废话，什么都没说。这个最好结果跟正无穷一样，是一个理论值）。

- 残差 Residual

统计学中的概念，拟合值和观测值的差距。如果回归模型正确的话，可以将残差看作误差的观测值。在回归问题中，残差就是回归结果跟 ground truth 的差距？粗暴一点理解就是模型还没有学到的那部分东西，M$ 的 ResNet 2015 年提出这个东西。

- Batch Normalization

简称 BN。由于神经网络过于复杂，在炼丹过程中特征的值区间会影响训练效率。BN 就是将特征值进行变换处理成均值为 0 ，方差为 1 的值。

- 激活函数

神经网络的神经元标记激活时使用的函数，常见的有 sigmod , ReLU 等。

- 泛化能力 Generalization ability

网络在不同的输入条件下的准确率。泛化能力越好的网络，在各种输入条件下都能得出较高的准确率。泛化能力不足的网络，在输入条件变化时会表现不好，泛化能力不足通常是过拟合引起的。