대규모 언어 모델의 창발적 능력 (Emergent Abilities)
이 논문은 대규모 언어 모델(Large Language Models)의 스케일을 키울 때 예측 가능하게 성능이 향상되는 현상과는 달리, 특정 규모에 도달했을 때 갑자기 나타나는 "창발적 능력(Emergent Abilities)"이라는 예측 불가능한 현상을 다룹니다. 창발적 능력이란 작은 모델에서는 보이지 않다가 일정 임계점을 넘는 큰 모델에서만 발현되는 능력으로, 이는 단순한 성능 외삽(extrapolation)으로는 예측할 수 없습니다. 본 논문은 few-shot prompting, chain-of-thought prompting 등 다양한 태스크에서 이러한 창발적 능력이 어떻게 나타나는지 여러 사례를 통해 보여주며, 모델 스케일링이 가져오는 질적 변화의 중요성을 강조합니다. 논문 제목: Emergent Abilities of Large Language Models