【深度学习】深度学习常用优化方法

 阅读约 4 分钟

作者:LogM

本文原载于 https://segmentfault.com/u/logm/articles ,不允许转载~

文章中的数学公式若无法正确显示,请参见:正确显示数学公式的小技巧

1. SGD(随机梯度下降)

$$ g_t = \bigtriangledown_{\theta_{t-1}} f(\theta_{t-1}) $$

$$ \Delta\theta_t = -\eta*g_t $$

  • 需要手动选取合适的learning_rate
  • 稀疏特征更新问题(不常出现的特征更新慢,如word2vec的embedding矩阵)
  • 易被困局部最优

2. momentum

$$ m_t = \mu*m_{t-1}+g_t $$

$$ \Delta\theta_t = -\eta*m_t $$

  • 引入惯量缓解局部最优问题
  • 未解决稀疏特征更新问题

3. AdaGrad

$$\nu_t = \nu_{t-1} + g_t*g_t$$

$$\Delta\theta_t = \frac{g_t}{\sqrt{\nu_t+\epsilon}} * \eta$$

  • 解决稀疏特征更新问题,不常出现的特征更新快
  • 局部最优问题没有解决
  • 随着 $\nu_t$ 的累加,学习率不断衰减

4. RMSprop

$$\nu_t = \mu * \nu_{t-1} + (1-\mu) * g_t*g_t$$

$$\Delta\theta_t = \frac{g_t}{\sqrt{\nu_t+\epsilon}} * \eta$$

  • 解决稀疏特征更新问题,不常出现的特征更新快
  • 局部最优问题没有解决
RMSprop 是 AdaGrad 的升级版,区别是 $\nu_t$ 的计算方式:RMSprop 是移动平均,而 AdaGrad 是累加,越加越大。

5. Adadelta

$$\nu_t = \mu * \nu_{t-1} + (1-\mu) * g_t*g_t$$

$$\Delta\theta_t = \frac{g_t}{\sqrt{\nu_t+\epsilon}} * \sqrt{\Delta \hat\theta_{t-1}^2}$$

$$\hat\theta_{t}^2 = \mu * \hat\theta_{t-1}^2 + (1-\mu) * \Delta\theta_t * \Delta\theta_t$$

  • 解决稀疏特征更新问题,不常出现的特征更新快
  • 无需手动设置学习率
  • 局部最优问题没有解决
  • AdaDelta 相比 RMSprop,使用了 $\sqrt{\Delta \hat\theta_{t-1}^2}$ 来替换 $\eta$。

4. Adam

$$ m_t = \beta_{1}m_{t-1} + (1-\beta_1)g_t $$

$$ \nu_t = \beta_{2}\nu_{t-1} + (1-\beta_2)g_t^2 $$

$$ \Delta\theta_t = \frac{\hat m_t}{\sqrt{\hat\nu_t+\epsilon}} * \eta $$

$$ \hat m_t = \frac{m_t}{1-\beta_1^t},\space\space \hat\nu_t = \frac{\nu_t}{1-\beta_2^t} $$

  • $m_t$:移动平均求一阶矩的期望$E(g_t)$
  • $\nu_t$:移动平均求二阶矩的期望$E(g_t^2)$
  • $\hat m_t$、$\hat\nu_t$:考虑迭代刚开始的初始时刻做的修正
  • 解决稀疏特征更新问题
  • 缓解局部最优问题
Adam 可以看做是将 momentum 和 RMSprop 的思想融合了起来。
阅读 354发布于 7月6日
推荐阅读
目录