Retrieval-Augmented Generation
2개의 포스트
Retro: 수조 개 토큰 검색으로 언어 모델 성능을 향상시키는 방법
Retro (Retrieval-Enhanced Transformer)는 자동 회귀 언어 모델의 성능을 향상시키기 위해, 예측 시점에 거대한 외부 데이터베이스에서 관련 정보를 검색하여 활용하는 모델입니다. 2조 개의 토큰으로 구성된 데이터베이스에서 현재 텍스트와 유사한 문서 청크를 검색하고, 이를 frozen Bert retriever와 chunked cross-attention 메커니즘을 통해 모델의 예측에 통합합니다. 이 semi-parametric 접근 방식을 통해 Retro는 GPT-3와 같은 거대 모델보다 25배 적은 파라미터로도 비슷한 성능을 달성하며, 기존에 학습된 Transformer 모델을 빠르게 Retrofit하여 검색 기능을 추가할 수도 있습니다. 논문 제목: Improving language models by retrieving from trillions of tokens
Adaptive-RAG: 질문 복잡도에 따라 Retrieval-Augmented LLM을 동적으로 조절하기
기존의 Retrieval-Augmented Large Language Models (LLMs)는 모든 질문에 동일한 전략을 사용하여 비효율적인 경우가 많습니다. Adaptive-RAG는 질문의 복잡도를 먼저 판단하고, 그에 맞춰 No-Retrieval, Single-step, Multi-step RAG 전략 중 가장 적합한 것을 동적으로 선택하는 프레임워크입니다. 이 접근법은 Classifier를 통해 질문의 난이도를 분류하여 QA 시스템의 전반적인 정확도와 효율성을 크게 향상시킵니다. 논문 제목: Adaptive-RAG: Learning to Adapt Retrieval-Augmented Large Language Models through Question Complexity