[논문 정리] Neural Message Passing for Quantum Chemistry(MPNN)

논문 : https://arxiv.org/abs/1704.01212
제목 : Neural  Message Passing for  Quantum Chemistry
발행일자 : 12 Jun 2017
저자: Justin Gilmer, Samuel S. Schoenholz, Patrick F. Riley, Oriol Vinyals, George E. Dahl

Abstract (초록)

초록에서는 분자 대상의 지도 학습(Supervised learning)이 화학, 신약 개발, 재료 과학 분야에서 큰 잠재력을 가지고 있음을 언급합니다. 저자들은 기존에 제안된 여러 분자 대칭성에 불변하는(invariant) 신경망 모델들이 공통적으로 메시지 전달(message passing) 알고리즘을 사용한다는 점에 주목합니다. 이 논문은 이러한 기존 모델들을 **MPNNs (Message Passing Neural Networks)**라는 단일 공통 프레임워크로 재정의하고, 이 프레임워크 내에서 새로운 변형 모델들을 탐구합니다. 결과적으로, MPNN을 사용하여 중요한 분자 특성 예측 벤치마크(QM9)에서 당시 최고 성능(state-of-the-art)을 달성했음을 밝히고 있습니다.

 

1. Introduction (서론)

서론에서는 딥러닝이 자연어 처리, 음성 인식, 이미지 분석 등에서 큰 성공을 거둔 반면, 분자 특성 예측 분야에서는 아직 초기 단계에 머물러 있다고 지적합니다. 기존 화학 분야의 머신러닝 연구는 대부분 특징 공학(feature engineering)에 의존해왔습니다. 저자들은 이미지 분야에서 CNN이 성공한 것처럼, 분자 구조에 적합한 귀납적 편향(inductive bias), 즉 그래프 동형(isomorphism)에 불변하는 특성을 가진 신경망 아키텍처가 필요하다고 주장합니다.

본 논문은 분자 그래프로부터 직접 특징을 학습하는 지도 학습 프레임워크인 MPNN을 제시하고 , 이를 양자 화학 계산 데이터셋인

QM9에 적용하여 그 유효성을 검증하는 것을 목표로 합니다. QM9 데이터셋은 13만여 개의 작은 유기 분자에 대한 13가지 양자 역학적 특성을 포함하며, 이는 머신러닝 모델의 성능을 평가하기 위한 중요한 벤치마크입니다.

 

2. Message Passing Neural Networks (MPNNs)

이 섹션은 본 논문의 핵심 개념인 MPNN 프레임워크를 수학적으로 정의합니다. MPNN은

메시지 전달(Message Passing) 단계와 해독(Readout) 단계, 두 단계로 구성됩니다.

1. 메시지 전달 단계 (Message Passing Phase)
   • 총 T 타임스텝 동안 진행됩니다.
   • 각 노드(원자)
     • v의 숨겨진 상태(hidden state) h_v^t는 이웃 노드 w로부터 메시지 m_v^(t+1)를 받아 업데이트됩니다.
   • 메시지 함수 M_t: mvt+1​=∑w∈N(v)​Mt​(hvt​,hwt​,evw​)
     • N(v)는 노드 v의 이웃 노드 집합입니다
   • 정점 업데이트 함수 U_t: hvt+1​=Ut​(hvt​,mvt+1​)
2. 해독 단계 (Readout Phase)
   
   • T번의 메시지 전달이 끝난 후, 해독 함수 R은 모든 노드의 최종 상태 벡터 {h_v^T}를 집계하여 전체 그래프에 대한 예측값 ŷ를 출력합니다.
   • M_t, U_t, R 함수는 모두 학습 가능한 미분 가능한 함수(신경망)입니다.
   • 해독 함수 R: 

해독 함수 R

메시지 함수 M_t

정점 업데이트 함수 U_t

 

저자들은 이 프레임워크를 통해 기존의 GNN 모델들(예: Duvenaud et al., 2015; Li et al., 2016; Kearnes et al., 2016)을 일관되게 설명할 수 있음을 보여줍니다.

 

4. QM9 Dataset & 6. Input Representation

• 데이터셋: QM9 데이터셋은 수소(H), 탄소(C), 질소(N), 산소(O), 플루오린(F)으로 구성된 최대 9개의 중원자(heavy atom)를 포함하는 약 13만 4천 개의 유기 분자 데이터입니다. 각 분자마다 13개의 양자 화학 특성이 DFT 계산을 통해 제공됩니다.
• 입력 표현 방식: SMILES를 그래프로 변환한 후, 모델에 입력할 초기 특징 벡터를 정의해야 합니다. 이 논문은 다음과 같은 원자(노드) 및 결합(엣지) 특징을 실험했습니다.
  
  • 원자 특징 (Atom Features, Table 1): 원소 종류(one-hot), 원자 번호, 전자 받개/주개 여부, 방향족 여부, 혼성 오비탈(sp, sp2, sp3), 결합된 수소 원자 수를 포함합니다.
  • 결합 특징 (Edge Representations):
    • Chemical Graph: 공간 정보가 없을 때, 엣지는 단일, 이중, 삼중, 방향족 결합과 같은 이산적인(discrete) 결합 유형으로 표현됩니다.
    • Distance bins / Raw distance feature: 공간 정보(원자 간 거리)가 있을 때, 이를 엣지 특징에 포함시킵니다.

5. MPNN Variants & 8. Results

주요 MPNN 변형 모델 및 결과:

• 메시지 함수: GG-NN에서 사용된 단순 행렬 곱셈보다, 엣지(결합) 정보를 작은 신경망(A(e_vw))으로 처리하여 동적으로 메시지를 생성하는 Edge Network 방식이 더 우수한 성능을 보였습니다.
• 해독 함수: 모든 노드의 최종 상태를 집합(set)으로 처리하는 Set2Set 모델을 해독 함수로 사용했을 때, 단순 합산 방식보다 표현력이 높아져 성능이 크게 향상되었습니다.
• 최고 성능 모델 (enn-s2s): Edge Network 메시지 함수와 Set2Set 해독 함수를 결합한 enn-s2s 모델이 가장 좋은 성능을 보였습니다.
  Set2Set 해독 함수는 이러한 장거리 상호작용을 포착하는 데 효과적이었습니다.
• 공간 정보의 부재: 공간 정보 없이 훈련할 때, 가상 엣지(virtual edge)나 마스터 노드(master node)를 추가하여 그래프 내 장거리 상호작용을 포착하려는 시도가 성능 향상에 도움이 되었습니다 (Table 3). 특히
• 입력 정보의 중요성 (Table 10): 모델 성능은 아키텍처뿐만 아니라 입력 정보에도 크게 의존합니다. 공간 정보를 제외하고 훈련했을 때(no distance) 평균 에러율이 2.57이었으나, 3D 거리 정보를 포함하자 0.98로, 여기에 수소 원자를 명시적으로 포함하자 0.68로 에러가 대폭 감소했습니다.

 

9. Conclusions and Future Work (결론 및 향후 연구)

저자들은 MPNN이 복잡한 특징 공학 없이도 분자 특성을 예측하는 데 유용한 귀납적 편향을 제공함을 입증했다고 결론 내립니다. 특히 Set2Set이나 마스터 노드와 같은 메커니즘을 통해 그래프 내 장거리 상호작용을 허용하는 것이 중요함을 밝혔습니다. 향후 과제로는 훈련 데이터에 없던 더 큰 그래프(분자)에 대해서도 효과적으로 일반화할 수 있는 MPNN을 설계하는 것을 제안합니다.