[PyTorch] 모델 불러오기

Model.save() 는 중요하다.

 model training은 상당히 오랜시간이 걸린다. 따라서 모델의 학습결과를 저장하는 것은 필요하다.

 

model.save()

- 학습의 결과를 저장하기 위한 함수

- 모델 형태(architecture)와 파라미터를 저장

- 모델 학습 중간 과정의 저장을 통해 최선의 결과모델을 선택할 수 있다.

- 만들어진 모델을 외부 연구자와 공유하여 학습 재연성 향상시킬 수 있다.

 

Checkpoints

- 학습의 중간 결과를 저장하여 최선의 결과를 선택

- earlystopping 기법 사용시 이전 학습의 결과물을 저장

- loss와 metric 값을 지속적으로 확인 저장

- 일반적으로 epoch, loss, metric을 함께 저장하여 확인

- colab에서 지속적인 학습을 위해 필요

 

Pretrained model transfer learning

 이미 만들어진 남이 만든 모델을 쓰는 것을 말한다.

- backbone architecture가 잘 학습된 모델에서 일부분만 변경하여 학습을 수행한다.

-NLP는 대체로 HuggingFace에서 대체로 모델을 가져온다.

 

https://purnasaigudikandula.medium.com/deep-view-on-transfer-learning-with-iamge-classification-pytorch-5cf963939575

 

Freezing

pretrained model을 활용시 모델의 일부분을 frozen 시킨다.

https://purnasaigudikandula.medium.com/deep-view-on-transfer-learning-with-iamge-classification-pytorch-5cf963939575