4.Bagging和boosting

Bagging和Boosting

集成学习的两个代表作

1.Bagging

算法过程：通过对训练样本中重新采样的方法得到不同的训练样本集，得到k个训练集（k个训练集之间是相互独立的）；训练每一个训练集得到k个模型，分类问题采用votes方式，回归模型采用mean方式得到最后的结果。

2.Boosting

算法流程：将一个弱分类器不断强化成一个强分类器。初始时每个样本的权重是相等的，首先第一个学习器根据全量样本集进行学习，第二个学习器增大分错样本的权重，减少分对样本的权重，依次进行训练，最终对k个模型进行加权的组合。

bagging和boosting的区别

• 1）样本选择和权重
  

bagging：有放回的抽样，各训练集之间相互独立

boosting：全量样本集，只是权重发生了变化，分错样本权重更大

• 2）弱模型组合
  

bagging：弱模型权重相等

boosting：误差分类小的模型会有更大的权重

• 3）并行计算
  

bagging：并行生成

boosting：只能是串行生成

• 4）侧重点
  

bagging：减少方差（variance）

boosting：减少偏差（bias）