logistic regression

以下是台大林轩田老师讲的机器学习基石第10课的学习笔记 。

软性二值分类(soft binary classification)

目标函数

这里我们的二值分类和硬性二值分类的数据是一样的，但是目标函数是不一样的。而软性二值分类所真正需要的数据是跟目标函数一样的概率，但是我们收集的数据却是分类的结果。

logistic hypothesis

对于提取的特征向量：

计算各个分量的加权分数，但我们需要把这个分数转化为0-1之间的概率值。（因为我们的目标函数是这个）
用到的转换函数叫logistic函数

这样我们的logistic hypothesis就是:

而其中的的logistic function(sigmoid函数就一种)可以为：

sigmoid型函数表示是一个s型的函数。

logistic 回归

作法

用 来近似目标函数 f(x)=P(y|x)

error measure错误衡量

我们这里也要找一个Ein来minimise一下 ，当我们的目标是一个概率p的时候，我们可以用一个特殊的方式。
这个方式就是最大似然估计的方法，我们假设目标函数为：

则对于一个数据，它取各个值的概率分别为：

那么我们可以从数据中取出N个样本(in sample),观测它们的分布，我们想要达到的目标是我们的目标函数能够让取出这N个观测的概率尽可能的大，这个就是最大似然估计得到最优化的方法。

用f(x)替换成

用我们的hypothesis替换f:

让这个可能性最大的g就是我们要找的g

现在我们发现这个s型的logistic函数有对称性

所以我们可以用这个性质来简化优化函数，因为p(xi)对于所有的h是一样的，所以没什么关系

然后我们用我们的hypothesis的定义式子来替换这个h，要找likelihood的最大值，我们把连乘通过取对数换成连加，通过带入logistic函数最终得到Ein最小化的形式。这个error 衡量我们叫交叉熵错误（信息熵的概念）。

最优化

对这个Ein 求梯度为0 的w的值

要想让这个Ein的梯度小到接近0，就不断的尝试 启发式搜索 、迭代优化（iterative optimization）

v 是方向 η是步频

每一步都要用贪心的策略，找一个下降最快的方向

这个优化对象不是线性的，我们应该使用泰勒展开的形式，把公式近似替代为线性的形式

梯度下降法 gradient descent

v的方向取梯度的反方向

η 应该和梯度的大小成比例，这样才能最终收敛。这样和v的分母抵消，最后形成定值学习率(fixed learning rate )

下面是logistic 回归算法用梯度下降法做优化

其它资料

logistic回归