https://arxiv.org/abs/2012.14388
Universal Sentence Representation Learning with Conditional Masked Language Model (Ziyi Yang, Yinfei Yang, Daniel Cer, Jax Law, Eric Darve)
문장 임베딩 모델. 인접 문장을 인코딩한 다음 이 임베딩을 결합해 mlm. skip thought의 mlm 버전이라는 느낌. 추억돋음.
#sentence_embedding #language_model #mlm