Teacher-student Model

SCRUB: 제한 없는 머신 언러닝을 향한 새로운 접근법

Deep machine unlearning은 학습된 신경망에서 특정 훈련 데이터 부분집합을 ‘제거’하는 기술입니다. 이 논문에서는 편향 제거(RB), 오분류 데이터로 인한 혼동 해결(RC), 사용자 프라이버시(UP) 등 다양한 응용 분야에 따라 ‘잊음’의 정의와 평가 지표가 달라져야 한다고 주장합니다. 이를 위해, 확장 가능하고 효율적인 새로운 언러닝 알고리즘인 SCRUB (SCalable Remembering and Unlearning unBound)을 제안합니다. SCRUB은 teacher-student 프레임워크를 사용하여, 학생 모델이 교사 모델을 선택적으로 따르도록 학습함으로써 특정 데이터(forget set)는 잊고 나머지 데이터(retain set)에 대한 지식은 유지합니다. 실험 결과, SCRUB은 RB, RC, UP 등 다양한 시나리오에서 잊음의 품질과 모델 성능 유지 측면 모두에서 일관되게 우수한 성능을 보였으며, 특히 사용자 프라이버시를 위해 Membership Inference Attacks (MIA)에 효과적으로 대응하는 ‘rewinding’ 기법을 포함합니다. 논문 제목: Towards Unbounded Machine Unlearning