[논문 매일 읽기 2일차] Deep learning

논문 : https://www.nature.com/articles/nature14539

제목 : Deep learning

발행일자 : 27 May 2015

저자 :Yann LeCun, Yoshua Bengio & Geoffrey Hinton 

머신 러닝 및 딥 러닝 개요

• 머신 러닝은 웹 검색, 소셜 네트워크 및 전자 상거래에 필수적입니다.
• 머신 러닝의 하위 집합인 딥 러닝은 원시 데이터 처리에 탁월합니다.
• 기존의 머신 러닝에는 광범위한 기능 엔지니어링과 도메인 전문 지식이 필요했습니다.
• 표현 학습을 통해 분류를 위한 데이터 표현을 자동으로 검색할 수 있습니다.
• 딥러닝은 다중 계층을 사용하여 원시 데이터로부터 복잡한 함수를 학습합니다.
• 딥러닝의 상위 계층은 잡음을 억제하면서 중요한 입력 특징을 증폭합니다.
• 딥러닝은 이미지 및 음성 인식, 약물 활동 예측, 자연어 이해 분야에서 획기적인 발전을 이루었습니다.
• 딥 러닝의 최소한의 엔지니어링 요구 사항으로 대규모 데이터 세트와 계산 능력을 효과적으로 활용할 수 있습니다.

지도 학습

• 지도 학습에는 레이블이 지정된 데이터 세트를 학습하여 이미지를 분류하는 과정이 포함됩니다.
• 목적 함수는 예측된 출력과 원하는 출력 간의 오차를 측정합니다.
• 기계가 내부 파라미터 (가중치) 를 조정하여 이 오류를 최소화합니다.
• 수억 개의 가중치와 레이블이 지정된 예제가 딥러닝에서 흔히 사용됩니다.
• 기울기 벡터는 가중치 조정을 안내하여 출력 오류를 줄입니다.

딥러닝 트레이닝 프로세스

• 트레이닝에는 효율적인 무게 조절을 위한 확률적 경사하강법 (SGD) 이 포함됩니다.
• 이 프로세스는 오류 최소화가 안정화될 때까지 작은 예제 세트를 반복해서 반복합니다.
• 일반화를 평가하기 위해 별도의 테스트 세트에서 성능을 평가합니다.
• 선형 분류기는 이미지 인식과 같은 작업에 필요한 복잡한 입력-출력 함수로 인해 어려움을 겪습니다.

히든 유닛 및 특징 학습

• 딥러닝 아키텍처는 비선형 매핑을 학습하는 여러 계층으로 구성됩니다.
• 숨겨진 단위는 입력을 변환하여 표현의 선택성과 불변성을 향상시킵니다.
• 심층 네트워크는 관련 없는 변동은 무시하면서 미묘한 세부 사항을 구분할 수 있습니다.

멀티레이어 아키텍처에서의 역전파

• 역전파는 다층 네트워크의 가중치 조정을 위한 기울기를 계산합니다.
• 이 프로세스는 연쇄 규칙을 적용하여 출력값에서 입력값으로 기울기를 전파합니다.
• 피드포워드 신경망은 가중치 합을 사용하여 고정 크기 입력값을 출력값에 매핑합니다.
• ReLu는 심층 네트워크에서의 학습 속도를 높이기 위해 선호되는 비선형 함수입니다.
• 대규모 네트워크에서는 이전에 생각했던 것보다 국소 최솟값이 그다지 중요하지 않습니다.

컨벌루션 신경망 (ConvNet)

• ConvNet은 이미지 및 비디오와 같은 다차원 데이터를 처리하기 위해 설계되었습니다.
• 주요 기능으로는 로컬 연결, 공유 가중치, 풀링 및 다중 레이어가 있습니다.
• 컨벌루션 계층은 로컬 패턴을 감지하는 반면, 풀링 계층은 유사한 특징을 병합합니다.
• ConvNets는 효과적인 특징 탐지를 위해 자연 신호의 구성 계층 구조를 활용합니다.
• 음성 인식 및 문서 읽기를 비롯한 다양한 영역에 성공적으로 적용되었습니다.

심층 컨볼루션 네트워크를 통한 이미지 이해

• ConvNet은 얼굴 인식과 같이 레이블이 지정된 데이터가 풍부한 작업에서 탁월한 성능을 발휘합니다.
• 컴퓨터 비전에 혁명을 일으켜 경쟁에서 오류율을 크게 줄였습니다.
• GPU와 드롭아웃과 같은 기술을 효율적으로 사용하면 교육 효율성이 향상되었습니다.
• 주요 기술 기업들은 Convnet 기반 이미지 이해 기술에 투자하고 있습니다.

분산 표현 및 언어 처리

• 분산 표현을 사용하면 보이지 않는 특징 조합을 일반화할 수 있습니다.
• 심층 네트워크는 표현 계층을 구성하여 목표 출력값을 예측하는 방법을 학습합니다.
• 단어 벡터는 의미론적 관계를 캡처하여 언어 모델링과 이해도를 향상시킵니다.
• 신경망 언어 모델은 분산형 표현을 활용하여 기존의 N-gram 접근 방식보다 성능이 뛰어납니다.

순환 신경망 (RNN)

• RNN은 역사적 컨텍스트에 대한 상태 벡터를 유지하면서 시퀀스를 처리합니다.
• 문자 예측 및 기계 번역과 같은 작업에 효과적입니다.
• 시간 간격에 따른 기울기 문제로 인해 RNN 학습이 어려울 수 있습니다.
• LSTM 네트워크는 장기 정보 보존을 위해 메모리 셀을 통합하여 RNN을 향상시킵니다.

리뷰: RNN 및 기억력 증강에 대한 인사이트

• RNN은 가중치를 공유하는 딥 피드포워드 네트워크로 볼 수 있습니다.
• LSTM 네트워크는 장기 종속성이 필요한 작업의 성능을 개선합니다.
• 메모리 네트워크와 뉴럴 튜링 머신은 복잡한 추론 작업을 위해 RNN을 강화합니다.

딥러닝의 미래

• 향후 발전은 비지도 학습과 액티브 비전 시스템에 초점을 맞출 것입니다.
• ConvNets를 RNN 및 강화 학습과 결합하면 성능 향상이 가능하다는 것을 알 수 있습니다.
• 선택적 주의에 초점을 맞춘 전략을 사용하면 자연어 이해에 도움이 됩니다.
• AI의 발전은 표상 학습과 추론 능력을 통합하는 데서 비롯될 것입니다.