Title：XCrossNet: Feature Structure-Oriented Learning for Click-Through Rate Prediction
Link：https://arxiv.org/pdf/2104.10907.pdf
01 概述
推荐场景中特征主要分为两大类：稠密特征（连续特征）和稀疏特征（类别特征），常见的连续特征处理方式有三种：
（1）不参与特征交叉，只参与模型线性部分
（2）直接与类别特征concat一起，这种方式可能导致重要特征维度不平衡问题（连续特征维度一般远小于类别特征维度）
（3）通过分桶方式把连续特征离散化，转化为类别特征，这种方式会引入超参数和损失特征信息（分桶后，同一个桶内连续特征不再有区分度）
大多数模型侧重类别特征交叉计算，忽视了连续特征交叉表达，很少针对不同特征结构单独学习特征表达。针对上述问题，论文提出XCrossNet模型，用更明确的方式分别学习连续特征和类别特征的交叉组合。
02 模型
XCrossNet模型结构如下图，由三个阶段构成：
（1）特征交叉：对于连续特征和类别特征，分别通过Cross Layer和Product Layer各自进行交叉计算
（2）特征连接：连续特征和类别特征交叉结果拼接在一起，通过Cross Layer进一步学习不同结构特征交叉组合
（3）特征选择：通过MLP学习非线性以及相对重要度
2.1 问题说明
2.2 特征交叉
2.2.1 连续特征交叉层
2.2.2 类别特征embedding层和product层
2.3 特征连接
2.4 特征选择
03 实验
更多精彩：
网友评论