机器学习-泛化能力

青空栀浅

机器学习-泛化能力

1.泛化能力

在机器学习方法中,泛化能力通俗来讲就是指学习到的模型对未知数据的预测能力。在实际情况中,我们通常通过测试误差来评价学习方法的泛化能力。如果在不考虑数据量不足的情况下出现模型的泛化能力差,那么其原因基本为对损失函数的优化没有达到全局最优。

2.泛化误差

根据PAC理论,泛化误差可以直观理解为以e指数的形式正比于假设空间的复杂度,反比于数据量的个数。
就是数据量越多,模型效果越好,模型假设空间复杂度越简单,模型效果越好。

3.提高泛化能力

提高泛化能力的方式大致有三种:1.增加数据量。2.正则化。3.凸优化。

4.L1正则化,L2正则化

L1正则化的几何解释如图:

clipboard.png

L1正则化给出的最优解w∗是使解更加靠近某些轴,而其它的轴则为0,所以L1正则化能使得到的参数稀疏化。
L1正则化的参数先验是服从拉布拉斯分布的,拉布拉斯的概率密度分布函数为:

clipboard.png

L2正则化的解释如图:

clipboard.png

L2 正则化给出的最优解w∗是使解更加靠近原点,也就是说L2正则化能降低参数范数的总和。
L2正则化的参数先验服从高斯分布,高斯分布的概率密度分布函数为:

clipboard.png

阅读 24.5k

NLP算法工程师,目前着手知识图谱相关技术。

13 声望
5 粉丝
0 条评论

NLP算法工程师,目前着手知识图谱相关技术。

13 声望
5 粉丝
文章目录
宣传栏