728x90 rnn2 [NLP] Basics of Recurrent Neural Networks(RNNs) 사실 이전에 [DL]에서 배운 적이 있어서 쓴 적이 있다. 아래를 먼저 참고하는 것이 좋다. https://thought-process-ing.tistory.com/5 [DL] Recurrent Neural Networks(RNN), Transformer Recurrent Neural Networks(RNN) RNN은 주어진 모델 자체가 Sequential Model이다. 즉 연속된 순서가 존재하는 모델로 비디오, 텍스트등이 여기에 속한다고 생각하면 된다. Sequential Data에서의 RNN 모델의 성능은 thought-process-ing.tistory.com RNN Basic structure: Rolled Version RNN 과 Unrolled version RNN으로 표현할 수 있다.(등식.. 2021. 9. 10. [DL] Recurrent Neural Networks(RNN), Transformer Recurrent Neural Networks(RNN) RNN은 주어진 모델 자체가 Sequential Model이다. 즉 연속된 순서가 존재하는 모델로 비디오, 텍스트등이 여기에 속한다고 생각하면 된다. Sequential Data에서의 RNN 모델의 성능은 뛰어나지만, 단점도 존재한다. 우선 과도한 Back Propagation으로 Gradient가 발산하거나 0으로 수렴되는 Gradient Vanishing 현상이 일어날 수 있다. 앞의 변수, 즉 과거를 담는 변수에 영향을 받는데 모든 데이터를 담으면 Gradient가 너무 작아지거나 커지는 Gradient Vanishing현상으로 정상적인 학습이 어려워진다. 이를 위해 모델의 변수개수를 조절하거나 초기값을 잘 설정하거나 Activation함수를 .. 2021. 8. 12. 이전 1 다음 728x90
