728x90 전체 글423 2021_08_16_(월) 보호되어 있는 글 입니다. 2021. 8. 16. 2021_08_14_(토) 보호되어 있는 글 입니다. 2021. 8. 14. [DL] Generative Models Generative Models (생성모델) 실존하지는 않은데 있을법한 이미지를 생성할 수 있는 모델을 생성모델이라 한다. A statistical model of the joint probability distribution An architecture to generate new data instances "What I cannot create I do not understand" -Richard Feynman- Generative model을 배운다는 것 '개(dog)'의 이미지들이 주어졌다고 가정하자. 우리는 어떤 이미지를 보고 '개(dog)'를 구별하는 학습을 하고 싶다고 하자. 여러 이미지중에서 '개'의 이미지일 확률 분포를 p(x)를 알고자 할 때 Generation: 표본집단에서 1개의 이.. 2021. 8. 13. [DL] Recurrent Neural Networks(RNN), Transformer Recurrent Neural Networks(RNN) RNN은 주어진 모델 자체가 Sequential Model이다. 즉 연속된 순서가 존재하는 모델로 비디오, 텍스트등이 여기에 속한다고 생각하면 된다. Sequential Data에서의 RNN 모델의 성능은 뛰어나지만, 단점도 존재한다. 우선 과도한 Back Propagation으로 Gradient가 발산하거나 0으로 수렴되는 Gradient Vanishing 현상이 일어날 수 있다. 앞의 변수, 즉 과거를 담는 변수에 영향을 받는데 모든 데이터를 담으면 Gradient가 너무 작아지거나 커지는 Gradient Vanishing현상으로 정상적인 학습이 어려워진다. 이를 위해 모델의 변수개수를 조절하거나 초기값을 잘 설정하거나 Activation함수를 .. 2021. 8. 12. 이전 1 ··· 102 103 104 105 106 다음 728x90
