昨天工作：
- 对mv-dssm进行inference，效果参数：acc:0.704 auc:0.704 precision:0.941。分析：
当前dssm的inference结果中最优结果：acc:0.709 auc:0.715 precision:0.945。mvdssm各项指标都稍差于dssm。分析的原因是虽然title中含有噪声，但是在预处理过程中已经将大部分噪声去掉了，而图片信息中的噪声还没有处理，这可能会有一些影响。 - 参考din网络中multi item attention的方式构造特征提取网络，考虑的点是尽量多的利用query各个词提供的信息，而不是将整个query作为一个embedding向量输入attention层之中。网络构造完毕，但是由于资源紧张，还没有看到效果；
- 阅读文章：AutoInt: Automatic Feature Interaction Learning via Self-Attentive Neural Networks。文章提出使用multi_head self-attention的方式来进行特征交叉，是一个很好的可以在话题关联业务上借鉴的点；
今天计划：
改善mvdssm网络效果，尝试multi_head self-attention。
网友评论