728x90 양방향 언어 모델링1 [특강] 자연어 처리를 위한 언어 모델의 학습과 평가 언어 모델링 (Language Modeling) 언어 모델링(Language Modeling)이란? 주어진 문맥을 활용해 다음에 나타날 단어 예측하기 P(w1w2...wn)=∏iP(wi|w1w2...wi−1) P("집으로 가는 길") = P("집으로")*P("가는"|"집으로")*P("길"|"집으로 가는") 양방향 언어 모델링(Bidirectional Language Modeling) Deep contextualized word representations (NAACL 2018) BERT: Bidirectional Encoder Representations from Transformers (NAACL 2019) 언어 모델의 평가 GLUE 벤치마크 .. 2022. 12. 31. 이전 1 다음 728x90
