Knowledge Distillation
3개의 포스트
Multi-Grained Alignment with Knowledge Distillation for Partially Relevant Video Retrieval
본 논문은 Partially Relevant Video Retrieval (PRVR) 문제를 해결하기 위해 Knowledge Distillation을 활용한 Multi-Grained Alignment framework (MGAKD)를 제안합니다. 이 모델은 CLIP 모델을 teacher로 사용하여 cross-modal alignment 지식을 student 모델에 정제하고, student 모델은 inheritance branch와 exploration branch로 구성됩니다. Inheritance branch는 CLIP의 지식을 받아들이고, exploration branch는 frame-level, clip-level, video-level의 세 가지 granularity에서 시각적 특징을 탐색합니다. 특히, clip-level에서는 Gaussian mask를 사용하여 이벤트의 맥락 정보를 모델링하고, video-level에서는 clip-guided attention을 통해 쿼리와 관련된 동영상 특징을 생성하여 관련 없는 순간의 영향을 줄입니다. 논문 제목: Multi-Grained Alignment with Knowledge Distillation for Partially Relevant Video Retrieval
DL-DKD: 동적 지식 증류와 듀얼 러닝을 통한 부분 관련 비디오 검색
이 논문은 편집되지 않은 긴 비디오에서 텍스트 쿼리와 부분적으로 관련된 내용을 검색하는 PRVR(Partially Relevant Video Retrieval) 문제를 해결합니다. 이를 위해 DL-DKD (Dual Learning with Dynamic Knowledge Distillation)라는 새로운 프레임워크를 제안합니다. DL-DKD는 CLIP과 같은 대규모 vision-language 모델(teacher)의 지식을 PRVR 전용 모델(student)에 전달하는 knowledge distillation 방식을 사용합니다. 특히, student 모델은 teacher의 지식을 흡수하는 inheritance branch와 데이터셋 고유의 특성을 학습하는 exploration branch로 구성된 듀얼 구조를 가집니다. 또한, 훈련 과정에서 두 branch의 학습 비중을 동적으로 조절하는 dynamic knowledge distillation 전략을 통해 teacher 모델의 domain gap 문제를 완화하고, ActivityNet 및 TVR 데이터셋에서 SOTA 성능을 달성합니다. 논문 제목: Dual Learning with Dynamic Knowledge Distillation for Partially Relevant Video Retrieval
DETRDistill: DETR 계열을 위한 범용 Knowledge Distillation 프레임워크
DETRDistill은 Transformer 기반 detector (DETR) 계열을 위해 특별히 설계된 새로운 Knowledge Distillation (KD) 프레임워크입니다. 기존 KD 방법들이 DETR의 집합 예측 (set prediction) 방식에 적용하기 어려운 문제를 해결하기 위해, 이 논문은 세 가지 주요 구성 요소를 제안합니다: (1) Hungarian-matching logits distillation은 student 모델이 teacher 모델의 예측과 정확히 일치하도록 유도합니다. (2) Target-aware feature distillation은 student가 teacher의 객체 중심적 (object-centric) feature로부터 학습하도록 돕습니다. (3) Query-prior assignment distillation은 잘 학습된 teacher의 query와 안정적인 할당(assignment) 정보를 활용하여 student 모델의 수렴 속도를 높입니다. 이 프레임워크는 COCO 데이터셋에서 다양한 DETR 모델의 성능을 크게 향상시키며, 때로는 teacher 모델을 능가하는 결과를 보여줍니다. 논문 제목: DETRDistill: A Universal Knowledge Distillation Framework for DETR-families