분류 전체보기

논문 : https://arxiv.org/abs/1904.01561제목 : Analyzing Learned Molecular Representations for Property Prediction발행일자 : 20 Nov 2019 저자: Kevin Yang, Kyle Swanson, Wengong Jin, Connor Coley, Philipp Eiden, Hua Gao, Angel Guzman-Perez, Timothy Hopper, Brian Kelley, Miriam Mathea, Andrew Palmer, Volker Settels, Tommi Jaakkola, Klavs Jensen, Regina Barzilay 1. 논문 개요 (Overall Summary)이 연구는 분자 특성 예측 분야에서 주..

1. 갑상선암 진단 분류 해커톤의 2등 솔루션 코드 공유 핵심 아이디어(이진 분류)( 출처 : https://dacon.io/competitions/open/236488/codeshare/12534 )- OrdinalEncoder 사용 :OrdinalEncoder(handle_unknown='use_encoded_value', unknown_value=-1)=> handle_unknown 옵션을 사용해 test 데이터에만 존재하는 새로운 범주도 에러 없이 처리 - class_weight: 'balanced' :데이터 불균형 문제를 해결을 위해 SMOTE 보다는 간단하게 class_weight 파라미터 사용 - Optuna :목표 평가 지표를 binary_logloss가 아닌 binary_error 사용O..

논문 : https://arxiv.org/abs/1704.01212제목 : Neural Message Passing for Quantum Chemistry발행일자 : 12 Jun 2017 저자: Justin Gilmer, Samuel S. Schoenholz, Patrick F. Riley, Oriol Vinyals, George E. DahlAbstract (초록)초록에서는 분자 대상의 지도 학습(Supervised learning)이 화학, 신약 개발, 재료 과학 분야에서 큰 잠재력을 가지고 있음을 언급합니다. 저자들은 기존에 제안된 여러 분자 대칭성에 불변하는(invariant) 신경망 모델들이 공통적으로 메시지 전달(message passing) 알고리즘을 사용한다는 점에 주목합니다. 이 논문..

머신러닝 대회를 시작할 때, 평가 지표를 잘 못 잡으면 과적합, 데이터 누수, 신뢰 없고 너무 느린 평가 지표가 되어 버린다. 제대로 된 평가 지표를 잡고 시작하기 위해 반드시 들어가야 하는 기능들이 무엇이 있는지 정리해보자. 1. 데이터 분할 (Data Splitting)전체 데이터를 학습용(train), 검증용(validation), 테스트용(test)으로 나누는 과정학습용 데이터에만 모델을 적합(fit)하고, 검증용·테스트용 데이터로만 평가함으로써 “학습 중 보지 못한” 데이터에서의 성능을 측정분할 없이 전체 데이터를 모두 사용해 학습하면 검증 시에도 이미 학습한 정보를 참조하게 되어 데이터 누수가 발생하고, 실제 성능보다 과도하게 낙관적인 지표가 산출 2. Stratified K-Fold 교차검증..

논문 : https://ai.meta.com/research/publications/llama-2-open-foundation-and-fine-tuned-chat-models/제목 : Llama 2: Open Foundation and Fine-Tuned Chat Models발행일자 : July 18, 2023저자: Hugo Touvron∗ Louis Martin† Kevin Stone† Peter Albert Amjad Almahairi Yasmine Babaei Nikolay Bashlykov Soumya Batra Prajjwal Bhargava Shruti Bhosale Dan Bikel Lukas Blecher Cristian Canton Ferrer Moya Chen Guillem Cucuru..

논문 : https://arxiv.org/abs/2407.21783제목 : The Llama 3 Herd of Models 발행일자 : 23 Nov 2024저자: Aaron Grattafiori, Abhimanyu Dubey, Abhinav Jauhri, Abhinav Pandey, Abhishek Kadian, Ahmad Al-Dahle, Aiesha Letman, Akhil Mathur, Alan Schelten, Alex Vaughan, Amy Yang, Angela Fan, Anirudh Goyal, Anthony Hartshorn, Aobo Yang, Archi Mitra, Archie Sravankumar, Artem Korenev, Arthur Hinsvark, Arun Rao, Aston ..

논문 : https://www.nature.com/articles/s42256-019-0138-9제목 : From local explanations to global understanding with explainable AI for trees발행일자 : 17 January 2020저자: Scott M. Lundberg, Gabriel Erion, Hugh Chen, Alex DeGrave, Jordan M. Prutkin, Bala Nair, Ronit Katz, Jonathan Himmelfarb, Nisha Bansal & Su-In Lee 내용 요약 : Shapley 값은 원칙적으로 NP‑Hard 계산이지만, (NP‑Hard 문제는 현시점에서 다항식 시간 알고리즘이 존재함이 증명되지 않았음.) T..

논문 : https://arxiv.org/pdf/2501.04519제목 : rStar-Math: Small LLMs Can Master Math Reasoning with Self-Evolved Deep Thinking 발행일자 : 8 Jan 2025 저자: Xinyu Guan∗ Li Lyna Zhang∗ Yifei Liu Ning Shang Youran Sun Yi Zhu Fan Yang Mao Yang논문 내용 :1. 연구 목표 & 배경**Small Language Models (SLMs)**도 대형 모델(OpenAI o1 등) 수준의 수학 추론을 달성할 수 있는가?단순 CoT(System 1) 방식은 오류 많음 → 테스트 시점에서 더 깊은 추론(System 2: Monte Carlo Tree Sea..

논문 : https://arxiv.org/abs/2202.00666제목 : Locally Typical Sampling발행일자 : 6 Feb 2023 저자: Clara Meister, Tiago Pimentel, Gian Wiher, Ryan Cotterell  총평 : 사람은 말할때 문장 단위가 아닌 단어 단위로 Local하게 정보를 조절하며 대답함.기존 Top-K sampling, Nucleus sampling은 샘플링의 한계가 존재해서, 이를 Locally Typical Sampling을 통해 불필요하게 너무 뻔하거나 너무 희귀한 토큰을 동시에 제거시켜 한계를 보완함.이 샘플링 기법은 토큰 샘플링에 균형 잡힌 무작위성을 부여시켜줌(응답 다양성, 논리적 일관성)

논문 : https://arxiv.org/abs/1909.05858제목 : CTRL: A Conditional Transformer Language Model for Controllable Generation발행일자 : 20 Sep 2019 저자: R Nitish Shirish Keskar∗ , Bryan McCann∗ , Lav R. Varshney, Caiming Xiong, Richard Socher Salesforce Research†  총평 : "Control code"를 통해 각 문서를 라벨링하고 대규모 학습 데이터셋을 미리 체계적으로 분류하여,모델이 문맥 분류를 내재화 했음.(Instuction Tuning) 추가로 Penalized Sampling을 도입하여 문맥의 도메인을 벗어나거나 문맥..