14.1 什么是知识蒸馏
知识蒸馏：把大的教师模型的知识萃取出来，把他浓缩到一个小的学生模型，可以理解为一个大的教师神经网络把他的知识交给小的学生网络。
14.2 为什么进行知识蒸馏
- 提升模型精度
- 降低模型时延，压缩网络参数
- 标签之间的域迁移：合并不同模型功能
14.3 传统的知识蒸馏方法
- 基于反馈的知识蒸馏
-
基于特征的知识蒸馏
传统的知识蒸馏方法
知识蒸馏：把大的教师模型的知识萃取出来，把他浓缩到一个小的学生模型，可以理解为一个大的教师神经网络把他的知识交给小的学生网络。
基于特征的知识蒸馏
传统的知识蒸馏方法
【技术博客】****通过量化知识来解释知识蒸馏 知识蒸馏介绍 知识蒸馏（Knowledge Distillatio...
知识蒸馏（Knowledge Distillation）： 知识蒸馏即将知识从「教师」模型迁移到「学生」模型，执行...
最近在实验用MobilenetV3在分类数据集上的效果，想起了Hinton之前搞过的知识蒸馏模型来训练小网络。简而...
知识蒸馏是什么？一份入门随笔 - LinT的文章 - 知乎https://zhuanlan.zhihu.com/p...
一、简介 https://zhuanlan.zhihu.com/p/258721998[https://zhuan...
摘要：知识蒸馏（knowledge distillation）是模型压缩的一种常用的方法 一、知识蒸馏入门 1.1...
Romero, A.; Ballas, N.; Kahou, S. E.; Chassang, A.; Gatta...
参考文献： https://github.com/DA-southampton/NLP_ability/blob/...
[TOC] 1. 模型蒸馏 1. DistilBERT（2019.10.2） 知识蒸馏的基础原理： 定义两个网络，...
知识蒸馏解决的问题 提升模型精度 降低模型时延，压缩网络参数 标签之间的域迁移 基本框架 知识蒸馏采取Teache...
本文标题：14. 知识蒸馏
本文链接：https://www.haomeiwen.com/subject/xlypijtx.html
网友评论