3.SVM支持向量机

思想：找一条曲线，使得所有样本点到这条曲线的距离的最小值最大

点x到直线的距离：

$$ l = \frac{1}{{\left\| w \right\|}}({w^T}x + b) $$

对于二分类，y取值只有-1和1，那么同号表示分类正确，异号表示分类错误。在感知算法中，这样的超平面会有多个要找到最好的一个。

几何间隔：$\widehat {{y_i}} = {y_i}({w^T}{x_i} + b)$
函数间隔：$\widehat {{y_i}} = {y_i}\frac{1}{{\left\| w \right\|}}({w^T}{x_i} + b)$
可以看到说w，b同时扩大超平面是不变的，有：

$$ \mathop {\max }\limits_{w,b} \widehat y\& \& {y_i}({w^T}{x_i} + b) \ge \widehat y,i = 1,2,...,m $$

由于$\widehat y$取值不会影响w,b，因此取$\widehat y=1$，引入松弛变量：

$$ \begin{array}{l} \mathop {\min }\limits_{w,b,\xi } \left\| w \right\| + c\sum\limits_{i = 1}^m {{\xi _i}} \\ s.t.{y_i}({w^T}{x_i} + b) \ge 1 - {\xi _i},i = 1,2,...,m \end{array} $$

然后用拉格朗日乘数法，转换成无约束问题，用SMO进行求解。