728x90 부스팅1 [DL] 최적화 (Optimization) Optimization 어떤일을 하던 그 일을 잘하기 위해서 최적화는 반드시 필요한 존재이다. 기계도 마찬가지일 것이다. 경사하강법을 사용하여 지역 최저점을 찾아 손실함수를 최소화 하는 과정이 대표적으로 지난주 과정에서 배우고 지금까지 이어온 가장 중요한 이론중 하나일 것이다. 일반화를 조심해야 하는 이유 손실 함수의 값(Training error Value)이 가장 낮게 나오는 함수와 그 해는 그 문제를 해결하는 최적화된 상황일까? 담은 'NO' 라는 것이다. 'Training error'가 줄어들어도 'Test error'의 값이 커질 수 있다. 왜 이런 결과가 나오는 것일까? 바로 우리가 가지고 있는 훈련 데이터(train data)가 불편성(Unbiased)를 가지고 있지 않을 수 있기 때문이다... 2021. 8. 10. 이전 1 다음 728x90
