思维导图如下：
机器学习解决问题的通用流程
问题建模-特种工程-模型选择-模型融合。
问题建模应包含三方面的内容：评估指标、样本选择、交叉验证。
评估指标
评估指标很多，我们应该选择一个跟业务指标波动一致的评估指标，这样通过观察评估指标就能判断模型效果，可以大大提高模型迭代效率。
通常，线下使用的是机器学习评估指标，线上使用的是业务指标。为此，在一个新的问题的开始阶段，都会进行多轮模型迭代，来探索与线上业务指标一致的线下指标，尽可能使线下指标的变化趋势跟线上指标一致。
评估指标根据任务类型分类，可分为分类指标、回归指标、聚类指标和排序指标等。
分类指标
精确率、召回率
F1值
准确率与错误率
ROC曲线与AUC
对数损失logloss
回归指标
平均绝对误差MAE
平均绝对百分误差MAPE
均方根误差RMSE
均方根对数误差RMSLE
RMSLE对预测值偏小的样本惩罚比对预测值偏大的样本惩罚更大。
排序指标
平均准确率均值MAP
书中这里的公式是有问题的，我认为分母应该是正确样本的数量。
归一化贴现累计收益NDCG
样本选择
样本选择是数据预处理中一个非常重要的环节，主要从海量数据中识别和选择相关性高的数据作为模型输入。最理想的样本选择结果是，选择了最少量的训练集S，而模型的效果不会变差。样本选择的好处主要有：减小模型的运算时间、去除相关性低的数据、去除噪声数据。
样本选择有很多方法：数据去噪、采样、原型选择、训练集选择。
交叉验证
在离线环节，需要对模型进行评估，根据评估指标选出最佳模型。交叉验证是很好的方法。
交叉验证的主要方法有留出法、K折交叉验证和自助法Bootstrapping。
网友评论