Text-to-TextTransfer Learning
T5: 통일된 Text-to-Text Transformer를 활용한 Transfer Learning의 한계 탐구
본 논문은 모든 텍스트 기반 언어 문제를 통일된 Text-to-Text 형식으로 변환하는 프레임워크를 제안하여 NLP의 Transfer learning 기술을 탐구합니다. 이 연구는 pre-training objectives, architectures, unlabeled data sets, transfer approaches 등 다양한 요소를 체계적으로 비교하며, "Colossal Clean Crawled Corpus" (C4)라는 새로운 대규모 데이터셋과 결합하여 요약, 질의응답, 텍스트 분류 등 다수의 벤치마크에서 SOTA를 달성합니다. 이 모델은 T5 (Text-to-Text Transfer Transformer)라고 명명되었습니다. 논문 제목: Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer