728x90 전체 글423 [NLP] 자연어처리란? 자연어처리 Natural Language Processing(NLP) NLP란? (NLP = NLU + NLG) Text 데이터를 분석하고 모델링하는 분야를 '자연어 처리(Natural Language Processing, NLP)'라고 한다. 이는 자연어를 이해하는 영억인 '자연어 이해(Natural Language Understanding, NLU)'와 모델이 자연어를 생성하는 영역인 '자연어 생성(Natural Language Generation, NLG)' 으로 나뉘어 표현하기도 한다. Natural language processing (major conferences: ACL, EMNLP, NAACL) Low- level parsing Tokenization(토큰화) : 텍스트를 토큰으로 나누는.. 2021. 9. 6. 2021_08_31_(화) 보호되어 있는 글 입니다. 2021. 8. 31. Ensemble(앙상블) Ensemble(앙상블) 실험을 하다 보면 여러가지 모델을 여러 결과를 만들었을 것이다. 앙상블은 싱글 모델(하나의 모델)보다 더 나은 성능을 위해 서로 다른 여러 학습 모델을 사용 하는 것이다. 앙상블은 현업에서 많이 쓰지는 않는다. (빠른 속도가 중요하기 때문) 성능이 좋아야 하는 대회와 같은 도메인(domain)에서는 알고 있는 것이 좋다. Ensemble of Deep NN (Bagging, Boosting,Stacking) 기존에 [DL Basic] 03강 Bootstrapping 과정에서 Bargain, Boosting에 대해서 배웠었다. https://thought-process-ing.tistory.com/3 [DL] 최적화 (Optimization) Optimization 어떤일을 하던 .. 2021. 8. 27. [PyTorch] Training, Inference 과정 Training Loss Error Backpropagation (Backpropagation을 통해 얻은 값을 통해 가중치(weight)를 수정할 수 있다.) Loss in nn.Module Family loss.backward() 실행시 required_grad='false'인 파라미터만 빼고 grad 값이 업데이트 Focal Loss, Label Smoothing Loss Optimizer LR scheduler -Learning rate를 동적으로 조절 StepLR - 특정 Step마다 LR 감소 (scheduler = torch.optim.lr_scheduler.StepLR(optimizer, step_size=2, gamma=0.1) CosineAnnealingLR - Cosine 함수형태로 .. 2021. 8. 27. 이전 1 ··· 100 101 102 103 104 105 106 다음 728x90
