美文网首页
【论文笔记】Bag of Tricks for Image Cl

【论文笔记】Bag of Tricks for Image Cl

作者: 昭君姐 | 来源:发表于2019-06-20 20:25 被阅读0次

URL:
https://arxiv.org/pdf/1812.01187.pdf

TL;DR

一系列的训练tricks。large batch、Low-precision、Label Smoothing、Cosine Learning Rate Decay、Knowledge Distillation和Mixup Training等。


方法

方法没什么具体可讲解的,主要是介绍了上述一系列的训练tricks。

加trick vs 不加trick的实验。

加trick vs 不加trick的实验

各个trick带来的影响。有些奇怪的是batchsize变大时掉点,而低精度训练却涨点。


各个trick带来的影响

第二批tricks带来的影响。基本是均有所涨点。但蒸馏和mixup的混用在不同模型上效果不同。


第二批tricks带来的影响

这些trick不仅对识别任务有效,部分trick在检测、分割等任务上也有效。但并不是所有trick都有效,具体可以看论文中的实验。

相关文章

网友评论

      本文标题:【论文笔记】Bag of Tricks for Image Cl

      本文链接:https://www.haomeiwen.com/subject/kpojxctx.html