有一个基本假设：数据有时序的到来，满足一定的分布(强假设：前面的数据和后面的数据是独立同分布)。所以对于前面的数据没有来得及catch的信息，在丢失了前面的数据，后面仍有机会修正。

内点法，在大数据里不适用。小数据下收敛速度较快。 了解内点法原理可以参看[链接]

所谓的(B)CD，是指每一步迭代的时候，不是对所有的参数进行优化，而是每次只选一个参数进行迭代优化。通过这种方式，可能每一步都会有一个容易计算的解析解，可能大大降低每一步迭代的计算量和复杂度，可能让算法变得可并行。

在大数据推荐算法中，经常使用大规模逻辑回归算法进行模型训练。在用owlqn方法解稀疏逻辑回归问题时，每一步迭代需要计算损失函数f(w)的“虚梯度”作为下降方向。请问下面哪一个是虚梯度的计算公式？

这类general方法对1范数问题本身的结构没有挖掘，所以收敛速度较慢。 LP、SDP等方法过于追求优化精度，在机器学习领域其实不重要。重要的求一个合理的解，满足实际问题即可。

这一章干货比较多，看起来比较累，收获也比较大。 坚持看，坚持写。 写公式真累，希望segmentfault能尽快支持输入latex公式 一直拿不下最优化这块东西，理论和实践都有欠缺，争取这回能拿下。

不深究理论部分，比如收敛理论。一个观点：机器学习的结果看重结果的可用性，而不是优化问题的精确性。模糊建模+粗糙学习 可以得到一个可用的结果，对机器学习这已经够用。