블로그의 모든 글들을 한 곳에서 확인하고 검색할 수 있습니다. (총 199개 / 1 페이지)
ReAct는 Large Language Models (LLMs)이 추론(reasoning)과 행동(acting)을 상호보완적으로 수행하도록 하는 프레임워크이다. 이 접근법은 모델이 추론 과정을 통해 행동 계획을 수립하고, 외부 환경(예: Wikipedia API)과의 상호작용을 통해 얻은 새로운 정보로 추론을 보강하는 시너지를 창출한다. ReAct는 Chain-of-thought (CoT)와 같은 순수 추론 방식에서 발생하는 환각(hallucination) 및 오류 전파 문제를 해결하며, 더 해석 가능하고 신뢰도 높은 문제 해결 과정을 보여준다. 논문 제목: ReAct: Synergizing Reasoning and Acting in Language Models
웹사이트의 개인정보 처리방침은 복잡하고 길어서 사용자가 이해하기 어렵습니다. 이 문제를 해결하기 위해, 본 논문에서는 Large Language Model (LLM)을 기반으로 한 브라우저 확장 프로그램 PRISMe를 개발하고, 22명의 사용자를 대상으로 질적 연구를 수행했습니다. PRISMe는 대시보드와 LLM 채팅 기능을 통해 사용자가 웹서핑 중에도 개인정보 처리방침의 핵심 내용을 쉽게 파악하도록 돕습니다. 연구 결과, 이 도구는 사용자의 개인정보 보호 인식을 높이고 이해도를 향상시키는 데 효과적이었으나, 도구에 대한 신뢰를 구축하는 데에는 몇 가지 과제가 있음을 발견했습니다. 논문 제목: "You don't need a university degree to comprehend data protection this way": LLM-Powered Interactive Privacy Policy Assessment
기존 Retrieval-Augmented Generation (RAG)는 검색된 문서의 품질이 낮을 경우 성능이 저하되는 한계가 있습니다. Corrective Retrieval Augmented Generation (CRAG)는 이 문제를 해결하기 위해 제안된 프레임워크입니다. CRAG는 가벼운 retrieval evaluator를 통해 검색된 문서의 관련성을 평가하고, 그 결과에 따라 세 가지 교정 액션(Correct, Incorrect, Ambiguous)을 수행합니다. 관련성이 낮다고 판단되면 기존 문서를 버리고 웹 검색을 통해 새로운 정보를 탐색하며, 관련성이 높으면 문서 내 핵심 정보만 추출하여 사용하는 방식으로 RAG의 강건함을 향상시킵니다. 이 plug-and-play 방식은 다양한 RAG 시스템에 적용되어 생성 결과의 신뢰도를 높입니다. 논문 제목: Corrective Retrieval Augmented Generation
LLM(Large Language Models) 애플리케이션은 새로운 개인정보 위험을 야기하지만, 사용자는 이를 잘 알지 못합니다. 이 논문은 **CLEAR**라는 'just-in-time 문맥 인식 도우미'를 제안합니다. CLEAR는 사용자가 ChatGPT나 Gemini 플러그인 등에서 민감한 정보를 입력할 때, 실시간으로 이를 감지하고 관련 개인정보 처리 방침 요약 및 잠재적 위험을 알려줍니다. 연구 결과, CLEAR는 사용자의 개인정보 위험 인식을 크게 향상시켰습니다. 논문 제목: CLEAR: Towards Contextual LLM-Empowered Privacy Policy Analysis and Risk Generation for Large Language Model Applications
이 논문은 대규모 데이터셋에서 단어의 연속적인 벡터 표현을 효율적으로 계산하기 위한 두 가지 새로운 모델 아키텍처인 Continuous Bag-of-Words (CBOW)와 Skip-gram을 제안합니다. 기존의 신경망 언어 모델(NNLM, RNNLM)과 비교하여 훨씬 낮은 계산 비용으로 높은 정확도의 단어 벡터를 학습할 수 있는 것이 특징입니다. 이 모델들을 통해 학습된 벡터는 단어 간의 구문적, 의미적 유사성을 잘 포착하여 "King" - "Man" + "Woman" ≈ "Queen"과 같은 단어 유추 문제를 해결하는 데 뛰어난 성능을 보입니다. 논문 제목: Efficient Estimation of Word Representations in Vector Space
Language Models (LMs)는 본래 1차원 텍스트를 위해 설계되었기 때문에 2차원 구조의 테이블, 특히 크기가 큰 테이블을 처리하는 데 어려움이 있습니다. 토큰 길이 제한은 이러한 문제를 더욱 악화시킵니다. PieTa (Piece of Table)는 이러한 문제를 해결하기 위한 새로운 테이블 질의응답 (Table Question Answering) 프레임워크입니다. PieTa는 Divide-and-Conquer (분할 정복) 접근법을 사용하여, 큰 테이블을 작은 윈도우로 나누고 각 윈도우 내에서 LM을 이용해 관련 셀을 선택한 후, 이를 병합하여 최종 서브테이블을 생성합니다. 이 다중 해상도 반복 프로세스는 긴 컨텍스트 입력의 한계를 극복하면서도 여러 행과 열에 걸친 의존성을 효과적으로 포착할 수 있도록 합니다. 논문 제목: Piece of Table: A Divide-and-Conquer Approach for Selecting Subtables in Table Question Answering
기존의 Machine Unlearning (MU) 방법들은 정확도, 안정성, 그리고 교차 도메인 적용성에서 한계를 보입니다. 이러한 문제를 해결하기 위해 본 논문은 모델 설명 분야의 input saliency 개념에서 착안한 weight saliency라는 새로운 개념을 제안합니다. SalUn (Saliency Unlearning)이라 불리는 이 방법은 언러닝 대상을 전체 모델이 아닌 특정 가중치에 집중시켜 효율성과 효과를 높입니다. SalUn은 이미지 분류와 생성 두 가지 태스크 모두에서 잊고자 하는 데이터, 클래스, 또는 개념의 영향을 효과적으로 제거할 수 있는 최초의 원칙적 MU 접근법입니다. 특히, 조건부 diffusion model이 유해한 이미지를 생성하는 것을 방지하는 데 거의 100%의 언러닝 정확도를 달성하여 기존 SOTA 모델들을 능가하는 성능을 보입니다. 논문 제목: Salun: Empowering Machine Unlearning via Gradient-based Weight Saliency in Both Image Classification and Generation
Deep machine unlearning은 학습된 신경망에서 특정 훈련 데이터 부분집합을 ‘제거’하는 기술입니다. 이 논문에서는 편향 제거(RB), 오분류 데이터로 인한 혼동 해결(RC), 사용자 프라이버시(UP) 등 다양한 응용 분야에 따라 ‘잊음’의 정의와 평가 지표가 달라져야 한다고 주장합니다. 이를 위해, 확장 가능하고 효율적인 새로운 언러닝 알고리즘인 SCRUB (SCalable Remembering and Unlearning unBound)을 제안합니다. SCRUB은 teacher-student 프레임워크를 사용하여, 학생 모델이 교사 모델을 선택적으로 따르도록 학습함으로써 특정 데이터(forget set)는 잊고 나머지 데이터(retain set)에 대한 지식은 유지합니다. 실험 결과, SCRUB은 RB, RC, UP 등 다양한 시나리오에서 잊음의 품질과 모델 성능 유지 측면 모두에서 일관되게 우수한 성능을 보였으며, 특히 사용자 프라이버시를 위해 Membership Inference Attacks (MIA)에 효과적으로 대응하는 ‘rewinding’ 기법을 포함합니다. 논문 제목: Towards Unbounded Machine Unlearning
기존 Machine Unlearning (MU) 방법들은 모델의 많은 파라미터를 수정해야 하므로 계산 비용이 높고, 원본 학습 데이터셋에 의존한다는 한계가 있었습니다. 본 논문에서는 Singular Value Decomposition (SVD)을 활용하여 이러한 문제를 해결하는 SEMU(Singular Value Decomposition for Efficient Machine Unlearning)를 제안합니다. SEMU는 SVD를 이용해 특정 데이터를 잊는 데 필요한 핵심 가중치만을 식별하고 최소한으로 수정함으로써, 원본 데이터셋 없이도 효율적인 unlearning을 가능하게 합니다. 이를 통해 모델의 기존 지식은 보존하면서 불필요한 정보만 선택적으로 제거하여, 파라미터 및 데이터 효율성 측면에서 기존 방법들을 능가하는 성능을 보여줍니다. 논문 제목: SEMU: Singular Value Decomposition for Efficient Machine Unlearning
본 연구는 사회적으로 고립된 개인을 모니터링하는 데 사용되는 LLM 기반 챗봇 CareCall 사례를 통해 공공 기관의 기대와 현실을 탐구합니다. AI 챗봇이 공공 서비스의 범위를 넓히는 데는 도움이 되었지만, 불충분한 자원과 사용자 참여 중단 처리와 같은 새로운 노동 수요로 인해 일선 작업자들의 부담이 가중되었습니다. 이 논문은 LLM 기반 챗봇 도입이 의사 결정자의 articulation work를 복잡하게 만들고 일선 작업자에게 추가적인 maintenance work를 부과하는 방식을 논의합니다. 논문 제목: Understanding Public Agencies Expectations and Realities of AI-Driven Chatbots for Public Health Monitoring