[논문 매일 읽기 8일차] Generating Long Sequences with Sparse Transformers

논문 : https://arxiv.org/abs/1904.10509
제목 : Generating Long Sequences with Sparse Transformers
발행일자 : 23 Apr 2019
저자: Rewon Child, Scott Gray, Alec Radford, Ilya Sutskever

 

Sparse Transformer논문리딩.pptx

1.36MB

출처 : https://arxiv.org/pdf/1904.10509

총평 : 

기존 Dense Attention에서 시퀀스 길이가 길어질 때 생기는 연산, 메모리 부담을 극복하고, 장기적으로 대규모 언어 모델이 더 긴 문맥을 효율적으로 처리하기 위해 규칙적인 패턴으로 토큰을 나눠서 계산(factorize)하는 Sparse Transformer를 제안.

GPT-3에는 최종적으로는 사용되지 않았지만, 실험적으로는 사용이 되었고, 이후 모델에도 비슷한 개념이 등장.