Hallucination
2개의 포스트
언어 모델은 왜 환각(Hallucination)을 일으키는가?
이 논문은 대규모 언어 모델(LLM)이 왜 "환각(hallucination)" 현상을 보이는지에 대한 근본적인 원인을 분석합니다. 저자들은 환각이 불확실할 때 추측하도록 훈련 및 평가 과정이 설계되었기 때문이라고 주장합니다. Pretraining 단계에서는 생성 오류가 본질적으로 binary classification 문제의 오류에서 비롯되며, 자연스러운 통계적 압력으로 인해 발생한다고 설명합니다. Post-training 단계에서는 대부분의 평가 벤치마크가 불확실성을 인정하는 답변(I don""t know)에 불이익을 주고 추측을 통해 정답을 맞추는 것을 보상하기 때문에 환각이 지속된다고 지적합니다. 이는 모델을 "시험을 잘 보는 학생"처럼 최적화시키는 결과를 낳습니다. 이에 대한 해결책으로 새로운 환각 평가를 도입하는 대신, 기존의 주요 벤치마크 채점 방식을 수정하는 사회-기술적 완화책을 제안합니다. 논문 제목: Why Language Models Hallucinate
Survey of Hallucination in Natural Language Generation
자연어 생성(NLG) 모델이 유창하지만 사실과 다르거나 소스에 근거하지 않은 텍스트를 생성하는 할루시네이션(Hallucination) 현상은 주요 과제 중 하나입니다. 이 논문은 NLG 분야에서 발생하는 할루시네이션 문제에 대한 포괄적인 개요를 제공합니다. 할루시네이션의 정의와 분류, 발생 원인을 데이터와 모델 측면에서 분석하고, 이를 측정하기 위한 다양한 평가 지표(metrics)와 해결하기 위한 완화 방법(mitigation methods)을 체계적으로 정리합니다. 또한, 요약, 대화, 질의응답, 데이터-텍스트 변환, 기계 번역 등 주요 NLG 태스크별로 할루시네이션 연구 동향을 심도 있게 다룹니다. 논문 제목: Survey of Hallucination in Natural Language Generation