决策树是各种机器学习任务的常用方法。 决策树是比较能满足于数据挖掘的方法，因为它在特征值的缩放和其他各种转换下保持不变，对无关特征是可靠的，而且能生成可被检查的模型。
然而，生长很深的树容易学习到高度不规则的模式，即过学习，在训练集上具有低偏差和高方差的特点。随机森林是平均多个深决策树以降低方差的一种方法，其中，决策树是在一个数据集上的不同部分进行训练的。这是以偏差的小幅增加和一些可解释性的丧失为代价的，但是在最终的模型中通常会大大提高性能。
简单来说，随机森林是一堆的决策树组成的，每一个决策树有一个结果，看有多少个决策树对同一个Y进行了投票我们就可以确定Y。分类就是少数服从多数，回归就是各个决策树去平均值。
随机森林是在机器学习里面是一个能达到非常非常好的分类回归结果的模型，大家经常看到的datacastle的那类的数据比赛，也是非常多使用随机森林的。我们直接拿随机森林进行分类或回归，一般也能得到比较好的结果。绝大多数情况下，随机森林都会比线性回归、logistic分类、K近邻、决策树要好。
在python的sklearn中，随机森林的实现是非常简单的。
from sklearn import ensemble
rf = ensemble.RandomForestClassifier(n_estimators=n)
rf = ensemble.RandomForestRegressor(n_estimators=n)
rf.fit(X,y)
具体关于随机森林的内容，请参考维基百科
下面我们来看看具体的随机森林怎么实现
1、导入相关的库
import pandas as pd
from sklearn.model_selection import cross_val_score
import numpy
from sklearn.preprocessing import LabelEncoder
from sklearn import linear_model
from sklearn import ensemble
2、准备数据
iris = pd.read_csv('http://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data',header=None)
iris.columns=['SepalLengthCm','SepalWidthCm','PetalLengthCm','PetalWidthCm','Species']
le = LabelEncoder()
le.fit(iris['Species'])
features = ['SepalLengthCm','SepalWidthCm','PetalLengthCm','PetalWidthCm']
X = iris[features]
y = le.transform(iris['Species'])
这里我们用了sklearn的LabelEncoder对文本分类转换为离散的数值分类值。
3、建立模型
rf = ensemble.RandomForestClassifier(n_estimators=35)
rf.fit(X,y)
score = numpy.mean(cross_val_score(rf,X,y,cv=5,scoring='accuracy'))
print('平均性能得分：'+str(score))
print("特征重要性："+str(rf.feature_importances_))
平均性能得分：0.96
特征重要性：[ 0.12148767 0.03169986 0.42510402 0.42170846]
可以看出，第二个特征的重要性最低，对分类影响不大。
4、和logistic分类进行性能对比
lm = linear_model.LogisticRegression()
score = numpy.mean(cross_val_score(lm,X,y,cv=5,scoring='accuracy'))
print('logistic回归模型平均性能得分：'+str(score))
logistic回归模型平均性能得分：0.96
可以看logistic分类模型和随机森林模型基本上性能相当。
5、回归
参考上述内容，我们一次性进行回归分析。
features = ['SepalLengthCm','SepalWidthCm']
X = iris[features]
y = iris['PetalWidthCm']
rf = ensemble.RandomForestRegressor(n_estimators=15)
rf.fit(X,y)
score = numpy.mean(-cross_val_score(rf,X,y,cv=5,scoring='neg_mean_squared_error'))
print('随机森林回归模型平均性能得分：'+str(score))
print("随机森林回归模型特征重要性："+str(rf.feature_importances_))
##我们尝试用线性回归进行模型对比。
lm = linear_model.LinearRegression()
score = numpy.mean(-cross_val_score(lm,X,y,cv=5,scoring='neg_mean_squared_error'))
print('线性回归模型平均性能得分：'+str(score))
随机森林回归模型平均性能得分：0.19580594338
随机森林回归模型特征重要性：[ 0.7919942 0.2080058]
线性回归模型平均性能得分：0.191705851089
可以看出来随机森林比线性回归模型稍微好了一点点。
网友评论