titans

논문 : https://arxiv.org/abs/2501.00663제목 : Titans: Learning to Memorize at Test Time발행일자 : 31 Dec 2024저자: Ali Behrouz, Peilin Zhong , and Vahab Mirrokni 출처 : https://arxiv.org/pdf/2501.00663총평 : RNN 모델의 장기 의존성 처리 제약과 어텐션 모델의 O(n^2) 비용으로 인한 컨택스트 길이 제한을 극복하기 위해 어텐션(단기 메모리) + 뉴럴 메모리(장기 메모리) + 고정 메모리를 합친 "Titans" 모델 아키텍처를 제안. 1. 어탠션은 O(n^2) 비용이 있지만 그만큼 단기 정보에 대해서는 자세하게 표현해 줄 수 있음. 2. 뉴럴 메모리는 중요한 정보에는..