Hypergraph Neural Network

HyperAux: Hyper-Interaction으로 보조 모멘트-쿼리 쌍을 생성하여 Video Moment Retrieval 성능 개선

기존 Video Moment Retrieval (VMR) 데이터셋은 주석이 부족한(sparse annotations) 문제를 겪고 있습니다. 이 논문은 HyperAux라는 새로운 방법을 제안하여, 비디오와 언어 간의 multi-modal hyper-interaction을 모델링함으로써 고품질의 보조 모멘트-쿼리 쌍(auxiliary moment-query pairs)을 생성합니다. HyperAux는 모멘트 내/외부 프레임과 쿼리를 포함한 여러 노드를 연결하는 hyperedge를 가진 hypergraph를 구성합니다. 이 hypergraph 상에서 Hypergraph Neural Network (HGNN)를 사용하여 문맥을 고려한 표현을 학습하고, 이를 통해 더 정확하게 고품질의 데이터를 선택하고 모멘트 경계를 조정합니다. 이 방법은 별도의 수동 주석 없이 학습 가능하며, 생성된 보조 데이터는 기존 VMR 모델들의 성능을 크게 향상시킵니다. 논문 제목: Improving Video Moment Retrieval by Auxiliary Moment-Query Pairs With Hyper-Interaction