Multimodal FusionAleatoric Uncertainty
EAU: Aleatoric Uncertainty를 활용하여 강건한 Multimodal Fusion 달성하기
Multimodal fusion은 각 modality에 내재된 노이즈로 인해 성능이 저하될 수 있습니다. EAU(Embracing Aleatoric Uncertainty)는 이러한 데이터 고유의 불확실성, 즉 Aleatoric Uncertainty를 제거하는 대신 정량화하고 이를 contrastive learning에 활용하여 안정적인 unimodal representation을 학습하는 새로운 fusion 전략입니다. 이 방법론은 SUFA (Stable Unimodal Feature Augmentation)를 통해 불확실성을 포용하여 안정적인 특징을 학습하고, RMFI (Robust Multimodal Feature Integration)에서 Variational Information Bottleneck을 이용해 중복을 줄인 강건한 joint representation을 생성합니다. 결과적으로 EAU는 노이즈가 있는 환경에서도 뛰어난 강건성을 보이며 여러 multimodal 벤치마크에서 SOTA를 달성합니다. 논문 제목: Embracing Unimodal Aleatoric Uncertainty for Robust Multimodal Fusion