Pre-training

UL2: 언어 학습 패러다임의 통합

UL2(Unifying Language Learning Paradigms)는 다양한 NLP 데이터셋과 설정에서 보편적으로 효과적인 사전 학습 모델을 위한 통합 프레임워크를 제시합니다. 이 논문은 기존 모델들이 특정 문제에 특화되어 있다는 한계를 지적하며, 다양한 사전 학습 패러다임을 결합한 새로운 목표인 Mixture-of-Denoisers(MoD)를 제안합니다. MoD는 일반적인 span corruption(R-Denoiser), 순차적 denoising(S-Denoiser), 극단적인 denoising(X-Denoiser)을 혼합하여 모델이 fine-tuning과 few-shot 학습 모두에서 뛰어난 성능을 발휘하도록 합니다. 또한, downstream task에 맞춰 사전 학습 방식을 전환하는 '모드 스위칭' 개념을 도입하여 T5나 GPT와 같은 기존 모델들을 능가하는 성능을 달성했습니다. 논문 제목: Unifying Language Learning Paradigms