728x90 BERT1 [NLP] Self-supervised Pre-training Models Self- supervised Pre-training Models Self-supervised는 무엇인가? Self-supervised는 tagged가 있는 문장들을 [Masked]를 통해 스스로 학습하게 하는 것을 말한다. Self-supervised = pre-training + downstream task 로 나타낼 수 있는데 downstream task 는 문제 종류 분류라고 말 할 수 있다. 즉 목적에 맞게(기계학습, 관계추출 등) 사용 할 수 있다는 것이다. GPT-1 GPT series는 테슬라의 Open AI에서 만든 모델이다. GPT-1은 simple task뿐만 아니라 다양한 task를 한번에 처리하는 통합된 모델이다. GPT-1은 Classification, Entainment, Si.. 2021. 9. 18. 이전 1 다음 728x90
