Large Language ModelMultilingual
BLOOM: 176B 파라미터의 오픈 액세스 다국어 언어 모델
BLOOM은 수백 명의 연구자들이 협력하여 구축한 176B 파라미터의 오픈 액세스 다국어 거대 언어 모델(LLM)로, 강력한 AI 기술의 민주화를 목표로 합니다. 이 모델은 46개의 자연어와 13개의 프로그래밍 언어로 구성된 ROOTS 코퍼스를 사용하여 학습된 decoder-only Transformer 아키텍처를 기반으로 합니다. BLOOM은 다양한 벤치마크에서 경쟁력 있는 성능을 달성했으며, multitask prompted finetuning을 통해 성능이 더욱 향상되었습니다. 모델과 코드는 Responsible AI License에 따라 공개되어 LLM에 대한 연구 및 응용 프로그램 개발을 촉진합니다. 논문 제목: BLOOM: A 176B-Parameter Open-Access Multilingual Language Model