Parameter-Efficient Fine-Tuning

PUMA: 다양한 데이터 분포를 위한 파라미터 효율적 통합 거리 척도 학습

기존의 metric learning은 데이터셋마다 별도의 모델을 학습시켜 여러 데이터 분포가 섞인 실제 환경에 적용하기 어렵습니다. 이 논문은 여러 데이터 분포에 걸쳐 관계를 포착할 수 있는 단일 통합 거리 척도를 학습하는 'Unified Metric Learning (UML)'이라는 새로운 패러다임을 제안합니다. UML의 데이터 불균형 및 편향 문제를 해결하기 위해 제안된 PUMA (Parameter-efficient Unified Metric leArning)는 사전 학습된 모델을 고정시키고, stochastic adapter와 prompt pool이라는 두 개의 추가 모듈을 사용하여 데이터셋별 지식을 효율적으로 학습합니다. 이를 통해 PUMA는 훨씬 적은 파라미터로도 데이터셋별로 학습된 기존 SOTA 모델들을 능가하는 성능을 보입니다. 논문 제목: Learning Unified Distance Metric Across Diverse Data Distributions with Parameter-Efficient Transfer Learning