【CVPR 2020】蒸馏篇(五):Heterogeneous Knowledge Distillation using Information Flow Modeling论文地址:
这篇文章提出了一种新的KD方法,该方法是通过教师模型的各个层的信息流进行建模,然后训练一个学生模型来模拟这种信息流,以确保学生形成与教师相似的信息路径,并通过训练一个结构跟学生模型类似的辅助模型来解决异构模型的特征匹配问题