Video Moment RetrievalVariational Inference
VGCI: 글로벌 단서 추론을 통한 약한 지도 비디오 모멘트 검색
Weakly supervised video moment retrieval task에서 기존 mask reconstruction 기반 방법들은 불완전한 정보로 인해 재구성에 혼란을 겪는 문제가 있습니다. VGCI (Variational Global Clue Inference)는 비디오에 해당하는 전체 쿼리 집합으로부터 "global clue"를 모델링하여 이 문제를 해결합니다. 이 global clue를 Gaussian latent variable로 모델링하여 정보 유출 및 노이즈 문제를 방지하고, variational inference를 통해 재구성 과정에 명확한 가이드를 제공합니다. 결과적으로, 모델은 더 정확하고 안정적으로 비디오-쿼리 정렬을 학습하여 비디오 모멘트 검색 성능을 향상시킵니다. 논문 제목: Variational global clue inference for weakly supervised video moment retrieval