本书cdsn下载地址：http://download.csdn.net/detail/cuijianzhu/4544796
这本书总结了机器学习中常用的最优化方法。
- 针对机器学习中出现的问题
- 不深究理论部分，比如收敛理论。一个观点：机器学习的结果看重结果的可用性，而不是优化问题的精确性。模糊建模+粗糙学习 可以得到一个可用的结果，对机器学习这已经够用。
第一章：最优化和机器学习介绍
这章干货不多，都是总结性的内容。不过大师与普通人的区别就是可以随手拈来，即使对细节不甚了解也能说出一二。往往这样的人反而容易让别人印象深刻，在人际交往中顺风顺水。
SVM as a Optimization Problem
dual问题
对偶问题，只用到X^T X, 只要有kernal函数k(x,y), 可以转化成kernal形式
对求得的alpha，用
经典求解方法
求对偶问题，使用不同的alpha选择策略，在一个较小的alpha参数集合上迭代更新。
直接方法
sgd + subgradient次梯度
正则约束优化问题
minimize φγ(w) := f(w) + γr(w)
w∈Rn
一般r会选择一个让w趋向一个比较简单结构的约束。比如
- norm1 ==> 稀疏性
- total variation(TV) ==》 图像中有大片同色区域
- 矩阵的谱范数==》 矩阵低秩
- group regularize ==》 部分变量同时存在或同时不存在，group内部不care稀疏性，group间有稀疏性
优化算法
把f(w)局部拟合一个w的二次函数，再用一些特殊的技巧解决正则项的二次优化问题
- priximity
最后：谁能告诉我blog中怎么输入公式？
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用。你还可以使用@来通知其他用户。