728x90 with torch.no_grad()1 [PyTorch] Training, Inference 과정 Training Loss Error Backpropagation (Backpropagation을 통해 얻은 값을 통해 가중치(weight)를 수정할 수 있다.) Loss in nn.Module Family loss.backward() 실행시 required_grad='false'인 파라미터만 빼고 grad 값이 업데이트 Focal Loss, Label Smoothing Loss Optimizer LR scheduler -Learning rate를 동적으로 조절 StepLR - 특정 Step마다 LR 감소 (scheduler = torch.optim.lr_scheduler.StepLR(optimizer, step_size=2, gamma=0.1) CosineAnnealingLR - Cosine 함수형태로 .. 2021. 8. 27. 이전 1 다음 728x90
