Scientific NLP

Galactica: 과학을 위한 대규모 언어 모델

Galactica는 과학 분야의 정보 과부하 문제를 해결하기 위해 설계된 대규모 언어 모델(Large Language Model)입니다. 논문, 참조 자료, 지식 베이스 등 고품질의 엄선된 과학 корпу스(corpus)로 학습되었으며, 이는 비선별적인 데이터에 의존하는 기존 모델들과 차별화됩니다. Galactica는 LaTeX 수식, 화학식(SMILES), 단백질 서열 등 다양한 과학적 양식을 처리하고, <work> 토큰을 활용한 단계별 추론(step-by-step reasoning)을 통해 복잡한 과학 문제 해결에 뛰어난 성능을 보입니다. 이 모델은 MMLU, MATH와 같은 수학 추론 벤치마크와 PubMedQA 등 과학 분야의 다운스트림 태스크에서 기존의 대형 모델들을 능가하는 결과를 보여주며, 과학 지식을 저장, 결합, 추론하는 새로운 인터페이스로서의 가능성을 제시합니다. 논문 제목: Galactica: A Large Language Model for Science