본문 바로가기
728x90

분류 전체보기423

[NLP] Advanced Self-supervised Pre-training Models Advanced Self-supervised Pre-training Models GPT-2 (Generative Pretrained Training Models) GPT-1의 업그레이드 버젼이다. Finetuning 과정이 없어졌다.(Finetuing은 돈과 시간이 많이 든다고 한다.) GPT-2 : Database Preprocess Byte pair encoding (BPE) Minimal fragmentation of words across multiple vocab tokens When training, a maximum of 512 tokens are process at the same time Layer normalization si important is Transformer Structur.. 2021. 9. 18.
[NLP] Self-supervised Pre-training Models Self- supervised Pre-training Models Self-supervised는 무엇인가? Self-supervised는 tagged가 있는 문장들을 [Masked]를 통해 스스로 학습하게 하는 것을 말한다. Self-supervised = pre-training + downstream task 로 나타낼 수 있는데 downstream task 는 문제 종류 분류라고 말 할 수 있다. 즉 목적에 맞게(기계학습, 관계추출 등) 사용 할 수 있다는 것이다. GPT-1 GPT series는 테슬라의 Open AI에서 만든 모델이다. GPT-1은 simple task뿐만 아니라 다양한 task를 한번에 처리하는 통합된 모델이다. GPT-1은 Classification, Entainment, Si.. 2021. 9. 18.
[NLP] Transformer 보호되어 있는 글 입니다. 2021. 9. 14.
[NLP] Basics of Recurrent Neural Networks(RNNs) 사실 이전에 [DL]에서 배운 적이 있어서 쓴 적이 있다. 아래를 먼저 참고하는 것이 좋다. https://thought-process-ing.tistory.com/5 [DL] Recurrent Neural Networks(RNN), Transformer Recurrent Neural Networks(RNN) RNN은 주어진 모델 자체가 Sequential Model이다. 즉 연속된 순서가 존재하는 모델로 비디오, 텍스트등이 여기에 속한다고 생각하면 된다. Sequential Data에서의 RNN 모델의 성능은 thought-process-ing.tistory.com RNN Basic structure: Rolled Version RNN 과 Unrolled version RNN으로 표현할 수 있다.(등식.. 2021. 9. 10.
728x90