wang hongwei不同recommendation文章结论

1. 探究不同的user_dim和entity_dim对结果的影响？是否dim越大越好？如果只是8是不是太小？

wanghongwei本尊的结论：

embedding size，感觉大部分推荐系统的算法对embedding size都不是太敏感，甚至有时候一位数都足够了（主要取决于数据的稀疏程度）。大部分情况下，8～32的embedding size可能是比较好的选择，如果你是按照2的幂进行调参的话。

MKR: movie 8;music 8; book 4

DKN: word embedding:100. entity 100

RippleNet: movie:16. book: 4

KGNN-LS: movie 32  book: 64 music: 16 restaurant: 8

KGCN: movie 32 book:64 music: 16

2，leakyrelu>tanh>>>sigmoid,relu

不同的激活函数为什么会影响那么大

尤其是tanh和simoid同属于S曲线家族。而leaky relu和relu也是。

1.首先尝试ReLU，速度快，但小心设置 learning rate，注意不要让网络出现很多 “dead” 神经元

2.如果ReLU效果欠佳，尝试 Leaky ReLU、PReLU 、Maxout 或者 ELU函数

3.sigmoid、tanh 常应用在RNN（LSTM、注意力机制等），作为门控或者概率值

4.很少会把各种激活函数串起来在一个网络中使用

5.在ResNet 50上测试，同等条件下，性能对比 ReLU > RReLU > SELU(1.0) >ELU(1.0) = LeakyReLu(0.1) > LeakyReLu(0.2) > PReLU