728x90 AI-Tech 부스트캠프43 Elasticsearch (엘라스틱서치) Elasticsearch Elasticsearch는 비정형 데이터 검색에 최적화된 데이터베이스(search engine)이다. Elasticsearch의 기원 런던의 아파트에서 살고 있는 Shay Banon은 구직중 남는 시간에 아내의 요리법 목록을 위한 검색 엔진을 만들었다. 이 최초의 버전이 컴파스(Compass ,2004)이고, 두번째 버전이 Elasticsearch(2010)이다. Elasticsearch와 관련된 용어들 시스템 아키텍트가 신경써야 할 부분 Cluster Node Shard Replica 내(데이터 엔지니어)가 신경써야 할 부분 Index Documents Mappings Analyzer Scoring 관계형 데이터베이스(RDB) VS 엘라스틱 서치(Elasticsearch) 관계.. 2023. 1. 20. [특강] AI와 저작권법 강사: 문지형(Upstage) 저작권법을 알아야 하는 이유 그냥 웹에 있는 데이터 크롤링 해서 학습에 쓴다? 큰일난다. 사실 아직 저작권법은 AI 모델 개발을 고려하지 않은 부분이 많다. 저작권법 제 1조 (목적) 이 법은 저작자의 권리와 이에 인접하는 권리를 보호하고 저작물의 공정한 이용을 도모함으로써 문화 및 관련 산업의 향상발전에 이바지함을 목적으로 한다. 저작권 사람의 생각이나 감정을 표현한 결과물에 대하여 창작자에게 주는 권리로 "창작성"이 있다면 별도의 등록절차없이 자연히 발생한다. 저작권에 보호를 받을 수 있는 것과 저작권에 보호받지 않은 것이 있는데 국가의 법과 관련된 것은 거의 저작권에 보호 받지 않는다. 따라서 판례 검색 서비스를 제공하는 모델을 만들어서 배포하는 것이나 조례등은 편하게.. 2023. 1. 20. [특강] Kaggle에 대하여 캐글(Kaggle)을 왜 해야 하는가? 캐글은 ML에 대한 실력을 인정 받을 수 있고 AI 개발자로 성장하기 좋은 플랫폼이다. 국내 유명 경진대회 플랫폼은 '카카오 아레나'와 '데이콘'이 있다. 케글은 취업 목적이나 개인 성장적으로 모두 도움이 된다. 캐글을 시작하는 방법 1) 회원 가입 2) 참여할 대회 선택 3) 데이터 다운로드 4) 대회를 위한 파이프라인 구축 5) 캐글로 파이프라인을 빠르게 경험하기 대회의 선택 대회의 목적을 생각하고 그에 알맞은 대회를 선택하도록 한다. 대회의 목적 1) Featured(상업적 목적의 예측 대회) 2) Research(연구 목적의 대회, 상금이 낮음) 3) Getting Started & Playground(초심자를 위한 대회) 4) Analytics(데이터 분석.. 2023. 1. 20. [NLP] Bag of Words Bag of words란 무엇인가? 말을 직역하면 단어들의 가방이라는 뜻이다. 이는 단어들을 한 가방(공간)안에 넣는 다는 것이다. 우리는 수학적으로 공간안의 위치를 벡터를 통해 나타낼 수 있었다. 그러면 대충 유추하건데 단어들을 가방(공간)에 넣음으로써 단어를 벡터로 표현할 수 있을 것이다. ※ Word Embedding: 단어를 특정한 차원 벡터로 만드는 것 어떻게 벡터로 표현할 것인가? 예시를 하나 들어보자. 'I love NLP' 라는 문장이 있다고 하자. 그러면 우리는 Vocabulary:{"I", "love", "NLP"} 로 나타낼 수 있으며 ● I ; [1, 0, 0] ● love : [0, 1, 0] ● NLP : [0, 0, 1] 로 벡터를 나타낼 수 있다. 각 벡터끼리 거리는 $\sq.. 2023. 1. 18. 이전 1 2 3 4 5 ··· 11 다음 728x90
