[논문 매일 읽기 13일차] LLaMA: Open and Efficient Foundation Language Models

논문 : https://arxiv.org/pdf/2302.13971
제목 : LLaMA: Open and Efficient Foundation Language Models
발행일자 : 27 Feb 2023
저자: Hugo Touvron, Thibaut Lavril, Gautier Izacard, Xavier Martinet, Marie-Anne Lachaux, Timothée Lacroix, Baptiste Rozière, Naman Goyal, Eric Hambro, Faisal Azhar, Aurelien Rodriguez, Armand Joulin, Edouard Grave, Guillaume Lample

 

LLaMA논문리딩.pptx

0.87MB

출처 : https://arxiv.org/pdf/2302.13971

 

총평 : 
LLaMA는 공개된 데이터만을 이용해 학습시킨 7B~65B 파라미터 규모의 범용 모델이고, 작은 규모의 모델을 더 많은 데이터로 학습시켜 175B인 GPT-3를 13B인 LLaMA가 이길 만큼 주어진 추론 자원 내에서 최고의 성능을 내었다.

또한 독성, 편향, 환각에 관한 추가 연구 필요성을 언급했고, 지시 기반 미세 튜닝으로 인한 성능 향상을 재조명하였다.