RNNLong Sequence Modeling
긴 시퀀스 처리를 위한 RNN의 부활: Resurrecting Recurrent Neural Networks for Long Sequences
긴 시퀀스 처리에 강점을 보이는 Recurrent Neural Networks (RNNs)는 학습이 어렵다는 단점이 있었고, 이를 State-Space Models (SSMs)이 해결하며 주목받았습니다. 이 논문은 바닐라 RNN에 몇 가지 핵심적인 수정을 가하여 SSM의 성능과 학습 속도를 따라잡을 수 있음을 보여줍니다. 저자들은 Linear Recurrent Unit (LRU)라는 새로운 RNN 블록을 제안하며, 이는 recurrence의 선형화, 복소 대각 행렬 사용, 안정적인 지수적 파라미터화, 그리고 정규화를 통해 Long Range Arena (LRA) 벤치마크에서 S4와 같은 최신 SSM 모델들과 동등한 성능을 달성합니다. 논문 제목: Resurrecting Recurrent Neural Networks for Long Sequences