Machine Unlearning
3개의 포스트
SalUn: Gradient 기반 Weight Saliency를 활용한 이미지 분류 및 생성 머신 언러닝
기존의 Machine Unlearning (MU) 방법들은 정확도, 안정성, 그리고 교차 도메인 적용성에서 한계를 보입니다. 이러한 문제를 해결하기 위해 본 논문은 모델 설명 분야의 input saliency 개념에서 착안한 weight saliency라는 새로운 개념을 제안합니다. SalUn (Saliency Unlearning)이라 불리는 이 방법은 언러닝 대상을 전체 모델이 아닌 특정 가중치에 집중시켜 효율성과 효과를 높입니다. SalUn은 이미지 분류와 생성 두 가지 태스크 모두에서 잊고자 하는 데이터, 클래스, 또는 개념의 영향을 효과적으로 제거할 수 있는 최초의 원칙적 MU 접근법입니다. 특히, 조건부 diffusion model이 유해한 이미지를 생성하는 것을 방지하는 데 거의 100%의 언러닝 정확도를 달성하여 기존 SOTA 모델들을 능가하는 성능을 보입니다. 논문 제목: Salun: Empowering Machine Unlearning via Gradient-based Weight Saliency in Both Image Classification and Generation
SCRUB: 제한 없는 머신 언러닝을 향한 새로운 접근법
Deep machine unlearning은 학습된 신경망에서 특정 훈련 데이터 부분집합을 ‘제거’하는 기술입니다. 이 논문에서는 편향 제거(RB), 오분류 데이터로 인한 혼동 해결(RC), 사용자 프라이버시(UP) 등 다양한 응용 분야에 따라 ‘잊음’의 정의와 평가 지표가 달라져야 한다고 주장합니다. 이를 위해, 확장 가능하고 효율적인 새로운 언러닝 알고리즘인 SCRUB (SCalable Remembering and Unlearning unBound)을 제안합니다. SCRUB은 teacher-student 프레임워크를 사용하여, 학생 모델이 교사 모델을 선택적으로 따르도록 학습함으로써 특정 데이터(forget set)는 잊고 나머지 데이터(retain set)에 대한 지식은 유지합니다. 실험 결과, SCRUB은 RB, RC, UP 등 다양한 시나리오에서 잊음의 품질과 모델 성능 유지 측면 모두에서 일관되게 우수한 성능을 보였으며, 특히 사용자 프라이버시를 위해 Membership Inference Attacks (MIA)에 효과적으로 대응하는 ‘rewinding’ 기법을 포함합니다. 논문 제목: Towards Unbounded Machine Unlearning
SEMU: Singular Value Decomposition을 이용한 효율적인 Machine Unlearning
기존 Machine Unlearning (MU) 방법들은 모델의 많은 파라미터를 수정해야 하므로 계산 비용이 높고, 원본 학습 데이터셋에 의존한다는 한계가 있었습니다. 본 논문에서는 Singular Value Decomposition (SVD)을 활용하여 이러한 문제를 해결하는 SEMU(Singular Value Decomposition for Efficient Machine Unlearning)를 제안합니다. SEMU는 SVD를 이용해 특정 데이터를 잊는 데 필요한 핵심 가중치만을 식별하고 최소한으로 수정함으로써, 원본 데이터셋 없이도 효율적인 unlearning을 가능하게 합니다. 이를 통해 모델의 기존 지식은 보존하면서 불필요한 정보만 선택적으로 제거하여, 파라미터 및 데이터 효율성 측면에서 기존 방법들을 능가하는 성능을 보여줍니다. 논문 제목: SEMU: Singular Value Decomposition for Efficient Machine Unlearning