728x90 파이토치7 [PyTorch] 파이토치에 대해서 알아보자 딥러닝 코드짜기 딥러닝 코드를 처음부터 다 짤 수는 있다. 그러나 복잡한 것은 당연하고 상당히 오래 걸리는 작업이라 우리는 프레임 워크를 쓴다. 대표적으로 텐서플로우(Tensor flow), 파이토치(pytorch)를 쓴다. 케라스 VS 텐서플로 VS 파이토치 Level of API high-level-API Both high& low level APIs Lower-level API Speed Slow High High Architecture Simple, more readable and concise Not very easy to use Complex Debugging No need to debug Difficult to debugging Good debugging capabilities created.. 2022. 12. 23. [PyTorch] Training, Inference 과정 Training Loss Error Backpropagation (Backpropagation을 통해 얻은 값을 통해 가중치(weight)를 수정할 수 있다.) Loss in nn.Module Family loss.backward() 실행시 required_grad='false'인 파라미터만 빼고 grad 값이 업데이트 Focal Loss, Label Smoothing Loss Optimizer LR scheduler -Learning rate를 동적으로 조절 StepLR - 특정 Step마다 LR 감소 (scheduler = torch.optim.lr_scheduler.StepLR(optimizer, step_size=2, gamma=0.1) CosineAnnealingLR - Cosine 함수형태로 .. 2021. 8. 27. [PyTorch] 기본 모델링 과정 Pytorch Low-level 처음에 사용하기 힘듦 Pythonic 파이썬스러움 Flexibility 응용하기 쉬움 https://thought-process-ing.tistory.com/53 [PyTorch] 파이토치에 대해서 알아보자 딥러닝 코드짜기 딥러닝 코드를 처음부터 다 짤 수는 있다. 그러나 복잡한 것은 당연하고 상당히 오래 걸리는 작업이라 우리는 프레임 워크를 쓴다. 대표적으로 텐서플로우(Tensor flow), 파이토치( thought-process-ing.tistory.com Pretrained Model 매번 Good Model을 만든는 것은 어렵다. 기존에 사용한 model을 가져와 weight를 잘 설정하면 충분히 좋은 결과를 만들 수 있다. Trnasfer Learning Pre.. 2021. 8. 27. 이전 1 2 다음 728x90
