https://arxiv.org/abs/2007.11259
Adversarial Training Reduces Information and Improves Transferability (Matteo Terzi, Alessandro Achille, Marco Maggipinto, Gian Antonio Susto)
robustness와 transferability 3. adversarial training은 데이터셋에 대한 weight의 fisher information을 줄이는 효과가 있고 이것이 데이터셋에 대한 perturbation의 영향을 줄이는 효과가 있음. 그래서 분포가 많이 다른 경우에는 robust 모델이 더 낫다는 추정. (분포가 비슷하면 반대가 됨.) #transfer #adversarial_training