https://arxiv.org/abs/2007.07779
AdapterHub: A Framework for Adapting Transformers (Jonas Pfeiffer, Andreas Rücklé, Clifton Poth, Aishwarya Kamath, Ivan Vulić, Sebastian Ruder, Kyunghyun Cho, Iryna Gurevych)
트랜스포머를 통째로 파인튜닝하는 대신 어댑터를 사용하는 접근을 위한 프레임워크. 어댑터는 작아서 공유하기 쉽고, 어댑터를 사용하면 다양한 과제나 데이터를 결합하는 작업이 용이해짐. 학습된 어댑터를 공유하는 AdapterHub도 공개. https://adapterhub.ml/ #nlp #finetuning #transformer