728x90 GPT-31 [NLP] Advanced Self-supervised Pre-training Models Advanced Self-supervised Pre-training Models GPT-2 (Generative Pretrained Training Models) GPT-1의 업그레이드 버젼이다. Finetuning 과정이 없어졌다.(Finetuing은 돈과 시간이 많이 든다고 한다.) GPT-2 : Database Preprocess Byte pair encoding (BPE) Minimal fragmentation of words across multiple vocab tokens When training, a maximum of 512 tokens are process at the same time Layer normalization si important is Transformer Structur.. 2021. 9. 18. 이전 1 다음 728x90
