这部分内容工作中用到的比较少，比赛中常常用到，是提升模型效果的终极手段。而且融合模型越多，往往效果也是最好的。简单记录一下自己的学习过程。
基模型分别采用lgb和xgb，从80Wtrain样本中拿出12W作为线下测试，来评估模型融合的效果
lgb单模型效果
使用上一次得到的参数，在测试集上的auc：0.732005
image.png
xgb单 模型效果
简单试了几组参数，在测试集上的auc：0.731635
image.png
加权平均有一定效果，但是结果比较随机，相比单lgb在万分位有提升。
0.5*lgb+0.5xgb：0.732238
image.png
0.7*lgb+0.3xgb ：0.732246
image.png
image.png
按照这个图来，需要训练5个基模型和1个新模型（第二层），跑参数有点难。准备就用lgb和xgb分别简单跑一下。
Task2-EDATask3-特征工程Task4-模型调参Task5-模型融合
这部分内容工作中用到的比较少，比赛中常常用到，是提升模型效果的终极手段。而且融合模型越多，往往效果也是最好的。简单...
哪几个部分？一阶模型融合，线性模型树模型二阶模型融合，FM高阶模型融合，Wide and Deep 1 线性模型和...
一：模型融合 模型融合又叫集成学习，由若干弱模型合成强模型。即每个分类器都是欠拟合的 二：模型三要素 2.1：模型...
1模型融合 1.1载入数据 1.2 投票器模型融合（VotingClassifier） 1.3 Bagging 1...
Code: https://github.com/SimonLliu/DGB_AlphaTeam 在本次比赛中，一...
1.blending 比如数据分成train和test，对于model_i（比如xgboost） ，即对所有的数据...
简单加权融合 回归： 算术平均融合（Arithmetic mean） 加权算术平均法 几何平均融合（Geometr...
1.Voting 投票法针对分类模型，多个模型的分类结果进行投票，少数服从多数。除了公平投票外，还可以给投...
前言 最近在学习模型融合的知识，因为很早之前就听说在比赛中模型融合很有用，而我正好在参加一个比赛，于是就深入学习了...
本文标题：Task5-模型融合
本文链接：https://www.haomeiwen.com/subject/ryghuktx.html
网友评论