对于线性模型,特征值差别很大时,比如说LR,我有两个特征,一个是(0,1)的,一个是(0,10000)的,运用梯度下降的时候,损失等高线是椭圆形,需要进行多次迭代才能到达最优点。
但是如果进行了归一化,那么等高线就是圆形的,促使SGD往原点迭代,从而导致需要的迭代次数较少。
所以说是因为梯度下降的算法需要进行归一化,归一化后加快了梯度下降求解最优解的速度
树模型(回归树)寻找最优点时是通过寻找最优分裂点完成的,可以看下决策树ID3算法python实现理解。因为求导没意义,也就不需要归一化
对于线性模型,特征值差别很大时,比如说LR,我有两个特征,一个是(0,1)的,一个是(0,10000)的,运用梯度下降的时候,损失等高线是椭圆形,需要进行多次迭代才能到达最优点。
但是如果进行了归一化,那么等高线就是圆形的,促使SGD往原点迭代,从而导致需要的迭代次数较少。
所以说是因为梯度下降的算法需要进行归一化,归一化后加快了梯度下降求解最优解的速度
树模型(回归树)寻找最优点时是通过寻找最优分裂点完成的,可以看下决策树ID3算法python实现理解。因为求导没意义,也就不需要归一化
HelloData阅读 3k
超神经HyperAI赞 2阅读 541
吴季分赞 2阅读 163
deephub阅读 1.2k
超神经HyperAI阅读 1.2k
SaaS知识库阅读 1.2k
超神经HyperAI阅读 1.1k
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。