31.深度学习模型压缩方法-5
作者:
大勇任卷舒 | 来源:发表于
2023-01-04 17:44 被阅读0次
31.1 压缩效果评价指标
- 网络压缩评价指标包括运行效率、参数压缩率、准确率
- 与基准模型比较衡量性能提升时,可以使用提升倍数(speedup)或提升比例(ratio)。
| 评价指标 |
特点 |
| 准确率 |
目前,大部分研究工作均会测量 Top-1 准确率,只有在 ImageNet 这类大型数据集上才会只用 Top-5 准确率.为方便比较 |
| 参数压缩率 |
统计网络中所有可训练的参数,根据机器浮点精度转换为字节(byte)量纲,通常保留两位有效数字以作近似估计. |
| 运行效率 |
可以从网络所含浮点运算次数(FLOP)、网络所含乘法运算次数(MULTS)或随机实验测得的网络平均前向传播所需时间这 3 个角度来评价 |
31.2 几种轻量化网络结构对比
| 网络结构 |
TOP1 准确率/% |
参数量/M |
CPU运行时间/ms |
| MobileNet V1 |
70.6 |
4.2 |
123 |
| ShuffleNet(1.5) |
69.0 |
2.9 |
- |
| ShuffleNet(x2) |
70.9 |
4.4 |
- |
| MobileNet V2 |
71.7 |
3.4 |
80 |
| MobileNet V2(1.4) |
74.7 |
6.9 |
149 |
31.3 网络压缩未来研究方向
- 网络剪枝、网络精馏和网络分解都能在一定程度上实现网络压缩的目的.回归到深度网络压缩的本质目的上,即提取网络中的有用信息,以下是一些值得研究和探寻的方向.
(1) 权重参数对结果的影响度量
(2) 学生网络结构的构造
(3) 参数重建的硬件架构支持
(4) 任务或使用场景层面的压缩
(5) 网络压缩效用的评价
大数据视频推荐：
网易云课堂
CSDN
人工智能算法竞赛实战
AIops智能运维机器学习算法实战
ELK7 stack开发运维实战
PySpark机器学习从入门到精通
AIOps智能运维实战
腾讯课堂
大数据语音推荐：
ELK7 stack开发运维
企业级大数据技术应用
大数据机器学习案例之推荐系统
自然语言处理
大数据基础
人工智能：深度学习入门到精通
本文标题：31.深度学习模型压缩方法-5
本文链接：https://www.haomeiwen.com/subject/ojzrcdtx.html
网友评论