(deep-learning)逻辑回归和线性回归的区别

前言：本文分析了线性回归和逻辑回归区别，简介激活函数sigmoid，最后举例说明了通过似然估计（似然最大）->推导出loss（loss最小）。进而梯度下降得到参数。

一.逻辑回归和线性回归。

线性回归：回归问题。

逻辑回归：解决基于线性回归的分类问题。

比较：逻辑回归在线性回归上+一个sigmoid函数。将线性回归变成输出0-1的二分类问题。

二.sigmoid函数。

三.区别。

1.线性回归预测连续的变量（股票走势）
逻辑回归预测离散的变量（分类问题）
2.线性回归是拟合函数。
逻辑回归是预测函数。
3.线性回归的参数计算方法是最小二乘法。
逻辑回归参数计算方法是似然估计的方法。
4.线性回归要求正态分布。
逻辑回归对分布没有要求。

四.似然估计逻辑回归参数（例子）

首先似然估计，就是假设分布已知（maybe通过画图知道），然后去估计该分布参数的方法，除了似然估计还有矩估计，区间估计等概率论方法。
首先拥有一个是数据集，上面是样本，下面是类别。

我们现在就假设已知它的分布就是伯努利分布（等等），然后就用似然估计去估计这个分布的参数，而似然呢，就是这个参数估计值是参数的可能性，而这里对应下来就是对x1是c1,x2是c1，x3是c2...所有样本得到正确分类的概率最大，

那么所有样本得到正确分类的概率相乘，也就是似然。

我们希望这个w，b的参数估计值，就是能获得最大化似然的那个参数。也就是：

log又可以把之前的乘积和，转换成加法：

最大似然就变成了一个最小loss问题，继而进行梯度下降即可。