Weakly-Supervised Temporal Action LocalizationAction Recognition
ASM-Loc: 약지도 시간적 행동 탐지를 위한 행동 인식 세그먼트 모델링
ASM-Loc은 비디오 레벨의 레이블만으로 시간적 행동을 탐지하는 Weakly-Supervised Temporal Action Localization (WTAL)을 위한 새로운 프레임워크입니다. 기존의 Multiple Instance Learning (MIL) 기반 방법들이 비디오의 각 부분을 독립적으로 처리하여 시간적 구조를 놓치는 문제를 해결하고자, ASM-Loc은 행동 세그먼트에 초점을 맞춘 모델링을 제안합니다. 이 프레임워크는 짧은 행동의 중요도를 높이는 동적 세그먼트 샘플링, 행동 내/외부의 시간적 의존성을 포착하는 intra- 및 inter-segment attention, 그리고 행동 경계를 정교화하는 pseudo instance-level supervision을 포함합니다. 또한, 다단계 개선 전략을 통해 행동 제안의 품질을 점진적으로 향상시켜 THUMOS-14 및 ActivityNetv1.3 데이터셋에서 최고의 성능을 달성합니다. 논문 제목: ASM-Loc: Action-aware Segment Modeling for Weakly-Supervised Temporal Action Localization