https://arxiv.org/abs/2106.00537
Exploring the Diversity and Invariance in Yourself for Visual Pre-Training Task (Longhui Wei, Lingxi Xie, Wengang Zhou, Houqiang Li, Qi Tian)
contrastive learning에서 영역 레벨 feature를 강화하기. 가장 비슷한 패치는 묶고 가장 다른 패치는 떨어뜨리는 loss를 추가적으로 붙이는데 이 유사성을 찾아내는 문제 때문에 프리트레이닝된 모델이 추가적으로 필요하긴 하네요.
#contrastive_learning