知识蒸馏（Knowledge Distillation）是指将复杂但是性能优良的模型中所包含的有用的知识“蒸馏”出来，使得网络结构减小的同时不损失精度。知识蒸馏是Hinton于2014年的论文《Distilling the Knowledge in a Neural Network》中首先提出的概念。
其本质上属于迁移学习的范畴。知识蒸馏的基本实施方法是：引入一个复杂、但推理性能优越的教师网络，利用其学习到的软目标作为损失函数的一部分，以诱导精简、低复杂度的学生网络的训练来逼近教师网络，从而实现知识的迁移。这里所说的软目标，在分类问题中就是，输出类别的概率。在传统的分类问题中，分类的标签都是用0-1的one-hot来表示。
这种方式只告诉了那个是对的，而对其他的类别并没有说明，因此监督信息更少，对于精简的学生网络而言学习起来会更加困难。而教师网络的输出经过softmax得到的是所有类别的预测概率，给予的监督信息更加全面，即不仅知道哪里是对的，而是知道正确的程度。那么我们就可以通过这个教师网络，我们就可以更好的引导学生网络学习。
三星销量下降，为什么三星在国内销售惨淡在国外却销量大增原因是什么本文目录一览1，为什么三星在国内销售惨淡在国外却销量大增原因是什么2，从风靡一时到消失不见三星手机为何在中国市场一败涂地3，三星手机的销量全球第一在中国为何销量平平4，2022年大 ......
【配件】 日期：2022-09-29
三星全球官网，关于三星的提问本文目录一览1，关于三星的提问2，三星官网是多少3，samsung是什么手机价值多少4，W799手机5，关于三星手机6，三星YPP2hOEM纪念版1，关于三星的提问主要参见百度百科 ......
【配件】 日期：2022-09-29
韩版三星激活日期查询官网，三星手机出厂日期查询sn R5WB690149Z本文目录一览1，三星手机出厂日期查询snR5WB690149Z2，韩版三星激活日期查询3，三星手机最新韩版型号4，三星官网查询手机激活日期5，4s激活日期6，哪位帮忙查查手机激活日 ......
【配件】 日期：2022-09-29
华为折叠手机最新2021，华为手机可以聚焦一百倍吗本文目录一览1，华为手机可以聚焦一百倍吗2，华为p50pocket3，华为折叠屏手机最新款2022p50是5G吗4，如图薇娅这款手机是什么型号谢谢5，华为最新款的是哪款手机6，华为 ......
【配件】 日期：2022-09-29
三星s20ultra发售价，三星s20ultra震动怎么样本文目录一览1，三星s20ultra有hifi芯片吗2，三星s20ultra震动怎么样3，盘点骁龙865手机有哪些1，三星s20ultra有hifi芯片吗没有hifi芯片。Gala ......
【配件】 日期：2022-09-29
三星官网打印机驱动在哪里下载，你好三星打印机ML2161驱动器正版下载在哪里三星官网已经本文目录一览1，三星SCX4521F打印机驱动程序在哪下啊2，你好三星打印机ML2161驱动器正版下载在哪里三星官网已经3，三星打印机驱动怎么下载4，如何安装三星打印机驱动5，在电 ......
【配件】 日期：2022-09-29
慈溪数字电视客服热线电话，长沙数字电视安装服务电话本文目录一览1，长沙数字电视安装服务电话2，慈溪市有线电视电话号码是多少3，宗汉街道有线电视电话多少4，数字电视电影聚好看的服务电话5，青岛有线电视投诉电话是多少6，为什么我家的数 ......
【配件】 日期：2022-09-29
iphone充电弹窗怎么办，iphone充电一会就弹窗本文目录一览1，iphone充电一会就弹窗2，iphone充电提示音弹窗怎么关闭1，iphone充电一会就弹窗苹果手机充电弹窗，这个是正常的，这是系统的一个提示，表明你正在充电。2 ......
【配件】 日期：2022-09-29
