Large Language ModelQuantization
GLM-130B: 오픈소스 이중 언어(영어/중국어) 사전 학습 모델
GLM-130B는 1,300억 개의 파라미터를 가진 오픈소스 이중 언어(영어, 중국어) Large Language Model(LLM)이다. GPT-3(davinci) 이상의 성능을 목표로 개발되었으며, GPT 스타일의 단방향 아키텍처 대신 양방향 attention을 활용하는 GLM(General Language Model)을 기반으로 한다. 이 모델은 DeepNorm, Embedding Gradient Shrink 등 독자적인 학습 안정화 전략을 통해 훈련 중 발생하는 loss spike 문제를 해결했다. 특히, 사후 학습 없이 INT4 quantization을 성공적으로 적용하여 4개의 RTX 3090 GPU에서도 추론이 가능하게 함으로써 100B 규모 모델의 접근성을 크게 낮춘 것이 핵심적인 특징이다. 논문 제목: GLM-130B: An Open Bilingual Pre-Trained Model