[DL] 딥러닝의 역사

딥러닝(DL)을 시작하기 전에

딥러닝은 분야가 매우 넓다.

따라서 한 사람이 딥러닝에 대해 모든 것을 다 알 수는 없다.

 

딥러닝을 배우기 위해서는

- 구현(Implement) 능력

- 수학(mathematics) 지식

- 많은 논문, 저널읽기

3가지가 꼭 필요하다.

Historical Review

딥러닝, 머신러닝, 인공지능의 관계

딥러닝, 머신러닝, 인공지능의 관계

딥러닝은 데이터를 모델을 이용해 분석하여 오차를 최소화 하는 알고리즘을 만드는 것이다.

 

 

문제를 해결하기 위해 데이터를 분석하는 방법은 다양하며 모델의 성질에 따라 좋은결과, 나쁜결과가 나올 수 있다.

 

딥러닝에서 역사적으로 중요한 아이디어

Denny Britz는 딥러닝에서 역사적으로 중요한 아이디어를 몇가지 소개하였다.

• Denny Britz의 블로그

Deep Learning's Most Important Ideas - A Brief Historical Review

 

○ 2012 - AlexNet

○ 2013 - DQN

○ 2014 - Encoder/Decoder,Adam

○ 2015- GAN, ResNet

○ 2016 - X

○ 2017 - Transformer

○ 2018 - BERT (fine-tuned NLP models)

○ 2019 - BIG Language Models

○ 2020 - Self Supervised Learning

 

주요보충 설명

 

○ 2012년 Alex-Net

• 딥러닝으로의 기계학습 판도를 바꿈
• 2012년 이전 전통적방법 약mAP : 40%, 2012년 이후 mAP 50이상 넘어감

○ 2013년 DQN

• 블록깨기 게임에서 강화학습으로 문제를 푸는데 큰 화젯거리가됨

○ 2014년 Adam Optimizer

• 아담쓸 때, 하이퍼파라미터를 정해야함. 초기 파라미터는 정해줘야하고 옵티마이저가 조정을해줌 - 추가자료 서원님이 카톡공유해주심

○ 2015년 GAN

• Generator와 Descriminator를 만들어 비슷한 이미지를 만듬
• 생성자가 모방하여 만든걸 알아차리지 못하게 만듬
• 승훈님 - 질문) GAN 모델의 프로세스?? 답변) GAN도 CNN이나 MLP와 마찬가지로 데이터 로드와 학습 부분은 모두 동일하고, 가짜 이미지를 0, 진짜 이미지를 1로 해서 학습을 진행한다.

○ 2015년 ResNet

• 기울기소실 문제를 몇개씩 건너띄어서 업데이트를 함으로써 네트워크를 더 깊게 쌓게 해줌

 

다층 퍼셉트론(Multi-Layer-Perception)

 인공지능은 처음에 동물, 인간의 뇌를 모방해서 시작되었지만 원리나 구조가 인간의 뇌와 많이 달라졌다는 평가가 많다.

하늘을 날고 싶다고 새처럼 날 필요는 없듯이 굳이 인공지능이라 해서 인간과 같은 뇌구조를 가질 이유는 없는 것은 당연하다.

이를 말하는 이유는 '인공신경망(Artificial Neural Networks)'에 대해 이야기하려고 하기 때문이다.

인공신경망(Artificial Neural Networks)

최초의 인공신경망은 퍼셉트론으로 모호하게 동물의 뇌구성의 생물학적 신경망을 닮았다. 이는 비선형 분류의 문제는 풀지 못한다는 단점이 존재해 일정 에러를 허용하고 분류할 수 밖에 없었다.

하지만 이러한 한계점을 극복하기 위해 여러 Layer를 쌓아올린 MLP(Multi Layer Perceptron)으로 이런 인공신경망은 비선형변환(Nonlinear transformations)함수가 될 수 있는 모델이다.

 

1개의 층을 가진 Neural Network

다층 퍼셉트론(Multi Layer perception)

Universal Approximation Theorem

Universal Approximation Theorem :
'Hidden Layer'가 1개 이상인 신경망은 학습 데이터 내에서 어떤 함수든 근사(Approximation) 할 수 있다.

층을 많이 쌓을 수록 더 복잡한 모형을 만들 수 있고 이는 더 효율적으로 모델링 할 수 있다.

다만 이는 과적합(Over-fitting)이 될 수 있다. 과적합은 학습(train)결과와 시험(test)결과와의 괴리감을 높여주므로 줄여야한다.

과적합을 줄이고자 여러 통계적 방법이 고안되면서 딥러닝이 많은 발전을 이루게 되었다.