https://arxiv.org/abs/2003.07892
Calibration of Pre-trained Transformers (Shrey Desai, Greg Durrett)
프리트레이닝된 트랜스포머를 사용한 경우, 특히 더 잘 프리트레이닝된 모델을 사용하는 경우 calibration이 나아지는 경향이 있다는 결과. temperature scaling도 괜찮고. 어떻게 생각하면 자연스럽지만 어쨌든 좋은 결과.
#calibration #pretraining