728x90 transformer2 [NLP] Transformer 보호되어 있는 글 입니다. 2021. 9. 14. [DL] Recurrent Neural Networks(RNN), Transformer Recurrent Neural Networks(RNN) RNN은 주어진 모델 자체가 Sequential Model이다. 즉 연속된 순서가 존재하는 모델로 비디오, 텍스트등이 여기에 속한다고 생각하면 된다. Sequential Data에서의 RNN 모델의 성능은 뛰어나지만, 단점도 존재한다. 우선 과도한 Back Propagation으로 Gradient가 발산하거나 0으로 수렴되는 Gradient Vanishing 현상이 일어날 수 있다. 앞의 변수, 즉 과거를 담는 변수에 영향을 받는데 모든 데이터를 담으면 Gradient가 너무 작아지거나 커지는 Gradient Vanishing현상으로 정상적인 학습이 어려워진다. 이를 위해 모델의 변수개수를 조절하거나 초기값을 잘 설정하거나 Activation함수를 .. 2021. 8. 12. 이전 1 다음 728x90
