728x90 KLUE1 [특강] 자연어 처리를 위한 언어 모델의 학습과 평가 언어 모델링 (Language Modeling) 언어 모델링(Language Modeling)이란? 주어진 문맥을 활용해 다음에 나타날 단어 예측하기 $$P(w_{1}w_{2}...w_{n}) = \prod_i P(w_{i}|w_{1}w_{2}...w_{i-1})$$ P("집으로 가는 길") = P("집으로")*P("가는"|"집으로")*P("길"|"집으로 가는") 양방향 언어 모델링(Bidirectional Language Modeling) Deep contextualized word representations (NAACL 2018) BERT: Bidirectional Encoder Representations from Transformers (NAACL 2019) 언어 모델의 평가 GLUE 벤치마크 .. 2022. 12. 31. 이전 1 다음 728x90
