Personalized Video HighlightingLLM User Simulation
HiPpo-Video: LLM을 이용한 시청 기록 시뮬레이션 기반 개인화 비디오 하이라이트
본 논문은 사용자의 시청 기록을 활용하여 개인화된 비디오 하이라이트를 생성하는 새로운 접근법을 제시합니다. 개인화 데이터셋의 부재를 해결하기 위해, LLM 기반 사용자 시뮬레이터를 사용하여 다양한 선호도를 반영한 현실적인 시청 기록을 생성하는 대규모 데이터셋 HiPpo-Video를 구축했습니다. 또한, 이 데이터셋을 활용하여 사용자의 시청 기록으로부터 선호도를 모델링하고, 이를 기반으로 비디오 세그먼트별 saliency score를 예측하는 HiPHer 모델을 제안합니다. 실험 결과, HiPHer는 기존의 일반적인 방법이나 텍스트 쿼리 기반의 방법들보다 뛰어난 성능을 보이며, 상세한 사용자 기록을 활용하는 것이 효과적인 개인화 비디오 콘텐츠 제공에 중요함을 입증합니다. 논문 제목: HiPpo-Video : Simulating Watch Histories with Large Language Models for Personalized Video Highlighting