[논문 매일 읽기 5일차] Improving Language Understanding by Generative Pre-Training(GPT1)

논문 : https://openai.com/index/language-unsupervised/
제목 : Improving Language Understanding by Generative Pre-Training
발행일자 : June 11, 2018
저자: Alec Radford(OpenAI/alec@openai.com), Karthik Narasimhan(OpenAI/karthikn@openai.com), Tim Salimans(OpenAI/tim@openai.com), Ilya Sutskever(OpenAI/ilyasu@openai.com)

 

GPT1논문리딩.pptx

0.48MB

자료 출처 : https://openai.com/index/language-unsupervised/

 

총평 :

사전학습(Generative Pre-Training)과 미세조정(Discriminative Fine-Tuning)이라는 2단계 접근법으로 다양한 자연어 이해(NLU) Task에 효과적으로 대응할 단일 범용 모델인 "반지도 학습 접근법(Semi-Supervised Learning approach)"을 제안함.

구조 변경 최소화를 위해 태스크에 상관없이 입력 자체를 "단일 스퀀스" 형태로 바꿔서 모델이 평소처럼 처리하게 만드는 작업(“traversal-style”)이 단일 범용 모델이 되는데 중요한 역할을 했음.

( = Task-specific input transformations )