集成学习方法之一：bagging

1. Bagging = 自助采样 + 投票表决

在0-1中介绍样本划分训练集测试集的方法时，提到过自助采样。简单来说，原始样本集有m个样本，有放回采样m个构成训练集，剩下的没被采到过的样本构成测试集。

Bagging就是，有放回采样m个样本这件事进行T次，这样就搞到了T个不相同的训练集，分别用于取训练一个基学习器。因为样本集的构成不同，这T个基学习器就是不同的。而测试集则用这T次自助采样都没有采到过的那部分样本构成。

投票表决：训练出的T个基学习器用于样本预测时，按少数服从多数给出答案。具体有绝对多数表决（至少有多于T/2个基学习器给出了同一答案）、相对多数表决（得票最多的就是答案，多分类问题）

补充两点：

① T得是奇数

② Bagging方法主要可以降低方差，基学习器在不同的数据集上各有各的过拟合，因此方差较大。Bagging可以解决这个事儿。

2. 随机森林（Random Forest）

一句话概括：随机森林 = Bagging + 属性扰动（特征扰动）

Bagging就不用说了。

属性扰动：在生成一棵基决策树的过程中，对基决策树的每个节点，假设此时可用的特征有d个，先在其中随机选择k个，然后考察这k各特征的信息增益（信息增益率、基尼系数），选择最佳特征对节点进行划分。其中k值决定了扰动的程度，当k=d时相当于没有扰动，当k=1时相当于完全随机的扰动。一般k=log2(d)。

属性扰动使基学习器的差异进一步扩大。