数据挖掘复习笔记---04.4分类问题之 Logistic Regression

分类问题之 Logistic Regression

线性回归简介

• 线性模型

  

  
  

• 向量形式

  

  
  

• 可解释性

  w 可以理解为特征的权重

  
  

• 目标

  

  
  
  

对数几率回归, Logistic Regression

• 训练过程(梯度下降)

  

  

  
  

• 分类预测步骤

  P(Y=1|x) = e^z / (1 + e^z)
  P(Y=0|x) = 1 / (1 + e^z)
  z = wx

  
  

正则化

与 Naive Bayes 的区别

• NB 假设特征相互独立

  
  

• LR 是线性分类器

  
  

• 训练方式不一样