728x90 전체 글432 [특강] 서비스 항 AI모델 개발 서비스 향 AI 모델 개발하기 강사: 이활석 (현) Upstage CTO, (전) 네이버 클로바 임원 AI 커리어로 전환, 전문가가 된 과정 비디오 코덱으로 카이스트에서 박사학위 Samsung Techwin을 다니면서 전통 Computer Vision 기술을 CCTV 동영상에 적용 15년도 3월에 딥마인드 논문을 보고 AI를 공부하기 시작 AI에 집중하기 위해 이직 일대일 대전을 위한 봇 개발을 시작으로 게임 개발 효율성을 위한 생성 모델 연구 스타일 변환 오토인코데의 모든 것 강의 제작 생성 모델 전체를 텐서플로우로 구현한 레포가 주목을 많이 받음 레딧 1등 구글과 콜라보 더 많은 고객에게 AI 서비스를 제공하기 위해 네이버로 이직 OCR이라는 분야를 밑바닥부터 기술을 끌어올림(논문 11편 작성) OC.. 2021. 9. 23. [NLP] Advanced Self-supervised Pre-training Models Advanced Self-supervised Pre-training Models GPT-2 (Generative Pretrained Training Models) GPT-1의 업그레이드 버젼이다. Finetuning 과정이 없어졌다.(Finetuing은 돈과 시간이 많이 든다고 한다.) GPT-2 : Database Preprocess Byte pair encoding (BPE) Minimal fragmentation of words across multiple vocab tokens When training, a maximum of 512 tokens are process at the same time Layer normalization si important is Transformer Structur.. 2021. 9. 18. [NLP] Self-supervised Pre-training Models Self- supervised Pre-training Models Self-supervised는 무엇인가? Self-supervised는 tagged가 있는 문장들을 [Masked]를 통해 스스로 학습하게 하는 것을 말한다. Self-supervised = pre-training + downstream task 로 나타낼 수 있는데 downstream task 는 문제 종류 분류라고 말 할 수 있다. 즉 목적에 맞게(기계학습, 관계추출 등) 사용 할 수 있다는 것이다. GPT-1 GPT series는 테슬라의 Open AI에서 만든 모델이다. GPT-1은 simple task뿐만 아니라 다양한 task를 한번에 처리하는 통합된 모델이다. GPT-1은 Classification, Entainment, Si.. 2021. 9. 18. [NLP] Transformer 보호되어 있는 글 입니다. 2021. 9. 14. 이전 1 ··· 101 102 103 104 105 106 107 108 다음 728x90
