如果一个item在全局上被点击(或其他正反馈行为)次数过少，在排序侧把item id粒度特征直接喂入dnn做embedding，由于样本量过少，此类稀疏id特征对应的模型参数很难收敛。
干脆把item id这个field的embedding size调小呢？看似解决了稀疏特征参数收敛的问题，但却引来了新的问题：对于有充足正反馈的那部分id来说，需要用较大容量的隐向量表达语义，现在embedding size被调小了，显然限制了这部分id特征的表达。
如果此时把id特征只放到wide&deep的lr侧，用于记忆历史行为呢？同样地，这对有充足正反馈的那部分id也不公平。
问题本质上，是为每一维特征量身定制embedding size的问题。
我们知道，决定embedding size的主要因素有两个： 特征信息容量和特征稀疏度*样本量。
如何获得每维特征的最佳embedding size呢？
微信公众号：world2vec
欢迎关注
如果一个item在全局上被点击(或其他正反馈行为)次数过少，在排序侧把item id粒度特征直接喂入dnn做emb...
读——在腾讯的第一堂产品课在腾讯的第二堂产品课在腾讯的第三堂产品课引发的思考 风风火火地学习产品，做产品，开口闭口...
前些日子我曾经写过一篇《我为什么突然爱上了化妆》的随笔，...
之前觉得自己深谙复利之道，能在做任何事情前，用这个朴素而有效的真理来套用。只需等待，因为复利的涌现时间在未来，不是...
今天下午，参加市政协召开的“政协委员读书”座谈会。会前，可能我听错了，说是让我讲课；到了，才知道是个座谈...
tf2 wide&deep学习笔记 案例：
目前，信息流短视频排序是基于CTR预估Wide&Deep深层模型。在Wide&Deep模型基础上做一系列相关优化，...
今天看了专栏《通往财富自由之路》，文中主要的观点简单说就是：要写作！看了之后，自己不得不对自己的写作行为再度...
现在有很多卖知识的商人，这些人卖什么呢？有卖英语的，有卖PPT的，有卖思维导图的，有卖各种各样思维训练的，有卖如何...
因为断更的事，各位小伙伴们给予很多的建议和讨论，使我受益良多。 每个人情况或是秉性不一样，选择日更和不日更，只要坚...
本文标题：关于wide&deep的再思考
本文链接：https://www.haomeiwen.com/subject/yptbjktx.html
网友评论