https://arxiv.org/abs/2304.02642
Taming Encoder for Zero Fine-tuning Image Customization with Text-to-Image Diffusion Models (Xuhui Jia, Yang Zhao, Kelvin C.K. Chan, Yandong Li, Han Zhang, Boqing Gong, Tingbo Hou, Huisheng Wang, Yu-Chuan Su)
이미지에서 object encoder로 object를 추출한 다음 이를 활용해서 object 기반 이미지 생성을 하기 위한 방법이군요. 다만 object mask를 쓰고 도메인 특화 방법인 것 같다는 느낌이 있네요.
#ddpm