老师模型的输出提供了比目标数据集更加丰富的信息，如下图所示，老师模型的输出，不仅提供了输入图片上的数字是数字1的信息，而且还附带着数字1和数字7和9比较像等额外信息。
从上面的说明可以看出，其实知识蒸馏的本质是老师模型从数据中学出了一些dark knowledge，比如在mnist数据集上，数字1可能和7更加像，而和其他数字相像的程度就不太高，这体现在老师模型输出的各个数字的概率上。如果直接用学生模型在数据集上训练，可能也可以一点程度学到dark knowledge，但学生模型的学习能力比老师模型的弱，所以老师模型能学到的更多。由老师模型把这些dark knowledge指明给学生模型学习，让学生模型达到更好的效果。
好，那么问题来了，两个结构不同的模型，是否可以相互作为老师模型，以抓取不同的结构可以学到的不同特征。
老师模型的输出提供了比目标数据集更加丰富的信息，如下图所示，老师模型的输出，不仅提供了输入图片上的数字是数字1的信...
Romero, A.; Ballas, N.; Kahou, S. E.; Chassang, A.; Gatta...
1.原理介绍 知识蒸馏论文地址 Hinton的文章《Distilling the Knowledge in a N...
英文题目：MobileBERT: a Compact Task-Agnostic BERT for Resourc...
英文题目：TINYBERT: DISTILLING BERT FOR NATURAL LAN-GUAGE UNDE...
本周论文公布结果，发现论文获奖率不高。市三等奖。思索如下： 1 题材非常重要，建议去看公式获奖的名单，保存下来。供...
受干扰学生论文里提到6篇知识蒸馏及伪标签暗知识的论文，除去较早发表的3篇，包括以下3篇： 1.Distilling...
【技术博客】****通过量化知识来解释知识蒸馏 知识蒸馏介绍 知识蒸馏（Knowledge Distillatio...
写论文是我最近几个月的大事，如果这件事情做好了，就可以顺利毕业，做不好就非常麻烦了。凭我对自己的了解，应该是可以写...
本文是CIKM20上华为发表的一篇关于使用知识蒸馏来提升点击率预估效果的论文，论文标题是《Ensembled CT...
本文标题：由知识蒸馏的论文想到一个idea
本文链接：https://www.haomeiwen.com/subject/jwiboctx.html
网友评论