https://arxiv.org/abs/2002.09168
Residual Knowledge Distillation (Mengya Gao, Yujun Shen, Quanquan Li, Chen Change Loy)
distillation에서 교수teacher와 학생student 뿐만 아니라 조교assistant를 두어 교수와 학생의 feature map의 차이를 감소시키는 방식으로 학생을 학습시키고, 학생과 교수의 feature map의 차이를 조교가 학습하도록 해서 distillation을 개선하는 방법.
#distillation