https://arxiv.org/abs/2006.05744
MC-BERT: Efficient Language Pre-Training via a Meta Controller (Zhenhui Xu, Linyuan Gong, Guolin Ke, Di He, Shuxin Zheng, Liwei Wang, Jiang Bian, Tie-Yan Liu)
electra가 학습이 빠른 것은 생성이 아니라 분류 문제라 과제가 더 쉽기 때문. 그러나 이 과제로 학습하면 syntatic 문제에는 강하지만 semantic 문제에는 약함. 그래서 controller에서 k개 단어를 샘플링해 이 샘플 내에서 분류하는 단순화된 생성 과제를 도입.
#pretraining