[논문 매일 읽기 14일차] CTRL: A Conditional Transformer Language Model for Controllable Generation

논문 : https://arxiv.org/abs/1909.05858
제목 : CTRL: A Conditional Transformer Language Model for Controllable Generation
발행일자 : 20 Sep 2019
저자: R Nitish Shirish Keskar∗ , Bryan McCann∗ , Lav R. Varshney, Caiming Xiong, Richard Socher Salesforce Research†

 

CTRL-Typical Sampling.pptx

1.35MB

 

총평 : 

"Control code"를 통해 각 문서를 라벨링하고 대규모 학습 데이터셋을 미리 체계적으로 분류하여,모델이 문맥 분류를 내재화 했음.(Instuction Tuning) 추가로 Penalized Sampling을 도입하여 문맥의 도메인을 벗어나거나 문맥에 맞지 않는 반복을 방지시켜, 결국 동일 모델에서 단순히 프롬프트를 통해 다양한 스타일, 도메인을 제어할 수 있게 되었음.("프롬프트 : 앞으로 냥체로 말해줘.")