机器学习 | 术语与符号

基本术语和符号

• 特征向量/输入 (Feature Vector/Input, X 或 x): 机器学习模型的输入，通常是多维空间中的点，可以是各种类型的数据，如数值、分类数据、文本等。
• 标签/输出 (Label/Output, Y 或 y): 在监督学习中，标签是我们想要预测的真实结果。在分类任务中，标签是离散的类别；在回归任务中，标签是连续的数值。
• 参数 (Parameters, θ 或 w): 这些是模型在训练过程中学习的内部变量，用于捕捉数据中的潜在模式和趋势。在神经网络中，参数包括权重和偏差。
• 预测 (Prediction, ŷ): 模型根据输入特征对未知标签的估计。这是模型尝试对给定输入作出正确输出的结果。

数据集

• 数据集 (Dataset, D): 用于训练和测试机器学习模型的一组数据点。数据集通常分为训练集、验证集和测试集。
• 实例/样本 (Instance/Sample, (x_i, y_i)): 数据集中的单个数据点。每个实例包含特征（描述数据点的属性）和可能的标签（我们想要预测的结果）。
• 样本数 (Number of Samples, N 或 n): 数据集中的实例总数。大样本量通常可以帮助模型更好地学习和泛化。

损失函数

• 损失函数 (Loss Function, L(y, ŷ)): 用于评估模型预测与实际标签之间差异的函数。损失函数的选择直接影响模型的学习效果。
• 均方误差 (Mean Squared Error, MSE): 常用于回归任务的损失函数，计算预测值与实际值之间差异的平方和的平均值。

优化和学习率

• 学习率 (Learning Rate, α 或 η): 决定参数更新幅度的超参数。较高的学习率可能导致收敛更快，但也可能超调或不稳定；较低的学习率可能更稳定，但需要更长的训练时间。
• 梯度下降 (Gradient Descent): 通过计算损失函数的梯度并更新模型参数以最小化损失的优化算法。
• 梯度 (Gradient, ∇): 一个向量，表示某一函数在特定点的方向导数，指向函数增长最快的方向。

神经网络

• 权重 (Weights, W): 神经网络中的参数，代表输入到输出的映射强度。权重是在训练过程中学习和调整的。
• 偏置 (Bias, b): 在神经网络中，偏置是一个加法因子，用于调整神经元的激活。
• 激活函数 (Activation Function, σ): 决定神经元是否应该被“激活”或“触发”的函数。它为神经网络提供了非线性特性。
• 层 (Layer): 神经网络的一个单独的处理层，可以执行特定类型的数据变换。

正则化

• 正则化参数 (Regularization Parameter, λ): 用于控制正则化项对损失函数影响程度的超参数，帮助防止模型过拟合。

模型评估指标

• 准确率 (Accuracy, ACC): 分类任务中正确预测的数量与总预测数量之比。
• 精确度、召回率和 F1 得分 (Precision, Recall, and F1 Score): 精确度是预测为正的样本中实际为正的比例，召回率是实际为正的样本中预测为正的比例，F1得分是精确度和召回率的调和平均。
• ROC 曲线下面积 (Area Under the Receiver Operating Characteristic Curve, AUC-ROC): 描述模型在所有分类阈值下的性能的度量。

其他术语

• 周期 (Epoch): 当所有训练数据都已通过模型一次，即完成了一个周期。
• 批次大小 (Batch Size): 每进行一次模型参数更新时使用的训练样本数量。
• 小批量 (Mini-batch): 一种训练方法，其中每次只选择一部分样本进行训练。

阅读原文

更多精彩文章请关注微信公众号