Semi-causal Language Model

Language Models are General-Purpose Interfaces

이 논문은 다양한 foundation model들을 위한 범용 인터페이스(general-purpose interface)로서 language model을 사용하는 MetaLM을 제안합니다. MetaLM은 semi-causal language modeling이라는 새로운 학습 목표를 통해, causal language model의 장점(in-context learning, open-ended generation)과 non-causal encoder의 장점(우수한 finetuning 성능)을 결합합니다. 이를 통해 여러 modality(vision, language)의 pretrained encoder들을 하나의 범용 task layer에 연결하여, finetuning, zero-shot, few-shot 학습 등 다양한 시나리오에서 높은 성능을 달성합니다. 논문 제목: Language Models are General-Purpose Interfaces