본문 바로가기
728x90

AI-Tech 부스트캠프43

[PyTorch] masked_fill() 함수 사용 예시 파이토치에서 masked_fill() 함수는 파이토치 tensor 의 특정 값을 다른 값으로 바꾸고자 할 때 사용된다. document 가 좀 설명이 부실한 것 같아서 예시로 하나 사용해보면 import torch import torch.nn.functional as F example = torch.FloatTensor([[1, 2, 3], [4, 5, 6]]) # 특정 행렬 mask = torch.FloatTensor([[0, 1, 1], [1, 0, 1]]) # 바꾸고자 하는 행렬의 원소를 0 고정하고자 하는 행렬의 원소를 1로 둔다. result = example.masked_fill(mask == 0, 5.5) # 0을 5.5로 변환 print(result) 2023. 1. 2.
[PyTorch] torch.transpose()와 numpy().transpose() 차이 파이토치의 transpose는 N $\times$ M 만 transpose 할 수 있다는 단점이 있다. 그러면 N $\times$ M $\times$ K는 어떻게 나타낼 수 있을까? => numpy로 바꾼 후 transpose() 하면 된다. import torch import numpy as np x = torch.rand(3,4,2) print(x.numpy().transpose((1,2,0))) 2023. 1. 1.
[특강] 자연어 처리를 위한 언어 모델의 학습과 평가 언어 모델링 (Language Modeling) 언어 모델링(Language Modeling)이란? 주어진 문맥을 활용해 다음에 나타날 단어 예측하기 $$P(w_{1}w_{2}...w_{n}) = \prod_i P(w_{i}|w_{1}w_{2}...w_{i-1})$$ P("집으로 가는 길") = P("집으로")*P("가는"|"집으로")*P("길"|"집으로 가는") 양방향 언어 모델링(Bidirectional Language Modeling) Deep contextualized word representations (NAACL 2018) BERT: Bidirectional Encoder Representations from Transformers (NAACL 2019) 언어 모델의 평가 GLUE 벤치마크 .. 2022. 12. 31.
[PyTorch] 모델 불러오기 Model.save() 는 중요하다. model training은 상당히 오랜시간이 걸린다. 따라서 모델의 학습결과를 저장하는 것은 필요하다. model.save() - 학습의 결과를 저장하기 위한 함수 - 모델 형태(architecture)와 파라미터를 저장 - 모델 학습 중간 과정의 저장을 통해 최선의 결과모델을 선택할 수 있다. - 만들어진 모델을 외부 연구자와 공유하여 학습 재연성 향상시킬 수 있다. Checkpoints - 학습의 중간 결과를 저장하여 최선의 결과를 선택 - earlystopping 기법 사용시 이전 학습의 결과물을 저장 - loss와 metric 값을 지속적으로 확인 저장 - 일반적으로 epoch, loss, metric을 함께 저장하여 확인 - colab에서 지속적인 학습을 .. 2022. 12. 24.
728x90