본문 바로가기
728x90

전체 글408

[DL] Recurrent Neural Networks(RNN), Transformer Recurrent Neural Networks(RNN) RNN은 주어진 모델 자체가 Sequential Model이다. 즉 연속된 순서가 존재하는 모델로 비디오, 텍스트등이 여기에 속한다고 생각하면 된다. Sequential Data에서의 RNN 모델의 성능은 뛰어나지만, 단점도 존재한다. 우선 과도한 Back Propagation으로 Gradient가 발산하거나 0으로 수렴되는 Gradient Vanishing 현상이 일어날 수 있다. 앞의 변수, 즉 과거를 담는 변수에 영향을 받는데 모든 데이터를 담으면 Gradient가 너무 작아지거나 커지는 Gradient Vanishing현상으로 정상적인 학습이 어려워진다. 이를 위해 모델의 변수개수를 조절하거나 초기값을 잘 설정하거나 Activation함수를 .. 2021. 8. 12.
[DL] Convolutional Neural Networks (CNN) 합성 곱(Convolution) Continuous convolution ○ $(f \ast g)(t) = \int f( \tau )g(t- \tau ) d \tau = \int f(t- \tau )g( \tau ) d \tau$ Discrete convolution ○ $(f \ast g)(t) = \sum_{i=- \infty }^ \infty f( \tau )g(t- \tau ) = \sum_{i=- \infty }^ \infty f(t- \tau )g( \tau )$ 2D image convolution ○ $(I \ast K)(i, j) = \sum_{m} \sum_{n} I(m,n)K(i-m, j-n) = \sum_{m}\sum_{n} I(i-m,j-n)K(m,n)$ Convolution La.. 2021. 8. 12.
[DL] 최적화 (Optimization) Optimization 어떤일을 하던 그 일을 잘하기 위해서 최적화는 반드시 필요한 존재이다. 기계도 마찬가지일 것이다. 경사하강법을 사용하여 지역 최저점을 찾아 손실함수를 최소화 하는 과정이 대표적으로 지난주 과정에서 배우고 지금까지 이어온 가장 중요한 이론중 하나일 것이다. 일반화를 조심해야 하는 이유 손실 함수의 값(Training error Value)이 가장 낮게 나오는 함수와 그 해는 그 문제를 해결하는 최적화된 상황일까? 담은 'NO' 라는 것이다. 'Training error'가 줄어들어도 'Test error'의 값이 커질 수 있다. 왜 이런 결과가 나오는 것일까? 바로 우리가 가지고 있는 훈련 데이터(train data)가 불편성(Unbiased)를 가지고 있지 않을 수 있기 때문이다... 2021. 8. 10.
[DL] 딥러닝의 역사 딥러닝(DL)을 시작하기 전에 딥러닝은 분야가 매우 넓다. 따라서 한 사람이 딥러닝에 대해 모든 것을 다 알 수는 없다. 딥러닝을 배우기 위해서는 - 구현(Implement) 능력 - 수학(mathematics) 지식 - 많은 논문, 저널읽기 3가지가 꼭 필요하다. Historical Review 딥러닝, 머신러닝, 인공지능의 관계 딥러닝은 데이터를 모델을 이용해 분석하여 오차를 최소화 하는 알고리즘을 만드는 것이다. 문제를 해결하기 위해 데이터를 분석하는 방법은 다양하며 모델의 성질에 따라 좋은결과, 나쁜결과가 나올 수 있다. 딥러닝에서 역사적으로 중요한 아이디어 Denny Britz는 딥러닝에서 역사적으로 중요한 아이디어를 몇가지 소개하였다. Denny Britz의 블로그 Deep Learning's.. 2021. 8. 9.
728x90