[논문 매일 읽기 7일차] Language Models are Few-Shot Learners(GPT3)

논문 : https://openai.com/index/language-models-are-few-shot-learners/
제목 : Language Models are Few-Shot Learners
발행일자 : May 28, 2020
저자: Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter, Christopher Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, Dario Amodei

 

 

GPT3논문리딩.pptx

1.55MB

출처 : https://openai.com/index/language-models-are-few-shot-learners/

총평 : 

GPT-3는 사전 학습 후, 추론 시점에서 사용자가 간단한 예시만을 제공하는 zero-/one-/few-shot만으로도 파인튜닝 모델에 근접한 성능을 냈음.

이 방식을 메타 러닝(=in-context learning) 접근법이라고 하며, 파라미터 수가 급증함에 따라 크로스 엔트로피가 감소하는 파워로(power law) 양상을 보이며 가능해졌다.

하지만 데이터 편향, 사회적 문제 등의 문제가 남아있었고, 이를 보완하여 언어 시스템 개발에 핵심적이고 적응력과 범용성을 갖춘 모델이 될 것이다.