localltypicalsampling

논문 : https://arxiv.org/abs/2202.00666제목 : Locally Typical Sampling발행일자 : 6 Feb 2023 저자: Clara Meister, Tiago Pimentel, Gian Wiher, Ryan Cotterell  총평 : 사람은 말할때 문장 단위가 아닌 단어 단위로 Local하게 정보를 조절하며 대답함.기존 Top-K sampling, Nucleus sampling은 샘플링의 한계가 존재해서, 이를 Locally Typical Sampling을 통해 불필요하게 너무 뻔하거나 너무 희귀한 토큰을 동시에 제거시켜 한계를 보완함.이 샘플링 기법은 토큰 샘플링에 균형 잡힌 무작위성을 부여시켜줌(응답 다양성, 논리적 일관성)