Ensemble(앙상블)

 

Ensemble(앙상블)

실험을 하다 보면 여러가지 모델을 여러 결과를 만들었을 것이다.

앙상블은 싱글 모델(하나의 모델)보다 더 나은 성능을 위해 서로 다른 여러 학습 모델을 사용 하는 것이다.

앙상블은 현업에서 많이 쓰지는 않는다. (빠른 속도가 중요하기 때문)

성능이 좋아야 하는 대회와 같은 도메인(domain)에서는 알고 있는 것이 좋다.

 

 

Ensemble of Deep NN (Bagging, Boosting,Stacking)

기존에 [DL Basic] 03강 Bootstrapping 과정에서 Bargain, Boosting에 대해서 배웠었다.

https://thought-process-ing.tistory.com/3

[DL] 최적화 (Optimization)

Boostrapping

주어진 Dataset에서 random sampling 하여 새로운 Dataset을 만들어 내는 것을 의미.

 

Bagging

Boostrap Aggregating 의 약자.  Boostrap 이용한다. Boostrap을 이용해 만들어진 여러 데이터셋을 바탕으로  weaklearner를 훈련시킨 뒤 결과를 voting. weaklearner은 임의의 일부 데이터를 학습한 다수의 decision tree(model)을 의미한다.

데이터가 High Variance일 때 많이 사용한다.

 

Boosting

반복적으로 모델을 업데이트 해나감. 이전 iteration의 결과에 따라 dataset sample에 대한 가중치를 부여. 결과적으로 반복할 때 마다 각 샘플의 중요도에 따라 다른 분류기가 만들어짐. 최종적으로 모든 iteration에서 생성된 모델의 결과를 voting.

데이터가 High Bias일 때 사용한다.

 

Model Averaging(Voting)

Voting은 Hard Voting(다수결)과 Soft Voting (가중치 부여 투표) 두가지가 있는데 Soft Voting을 많이 사용한다고 한다.

 

 

 

[피어세션](https://www.notion.so/2021-08-27-4-a0372cb4b93e4568b8d4055e6c8789fc)