通俗版
能力强但又大又贵。蒸馏的做法是让(老师)回答大量问题,再用这些回答一个小(学生)。学生学不全老师的本事,但能学到不少,而且跑得快、成本低。
工程版
知识蒸馏由 Hinton 等人 2015 年的《Distilling the Knowledge in a Neural Network》推广:用教师的输出(软标签)较小的学生,把知识压缩进更易部署的。在中,也常指用强生成的数据(包括过程)去小。使用他人输出做蒸馏可能受服务条款限制。
举个例子
新闻里说某公司发布了“蒸馏版”小,意思是它是从自家那里学来的,能在手机或普通电脑上跑。
容易搞混
蒸馏是“教出一个新的小”,是“把同一个压缩存储”,两种瘦身方法不同。