https://arxiv.org/abs/2006.14683
MTAdam: Automatic Balancing of Multiple Training Loss Terms (Itzik Malkiel, Lior Wolf)
여러 loss term의 weight를 자동 튜닝. 아이디어는 각 loss term에서 오는 그래디언트를 노멀라이즈하는 것. image generation 문제에 주로 적용한 것을 보면 이 과제 특유의 수많은 loss들의 매운맛 때문에 시작한 것이 아니었을지.
#multitask