본 글을 보기 전에 https://bumblog.tistory.com/7 글을 참고하면 더 쉽게 이해 가능합니다! 2013년에 발표된 "Efficient Estimation of Word Representations in Vector Space" 논문에서 제안된 Word2Vec에 대한 리뷰를 하려고 합니다. 1. Introduction of Word2Vec Word Embedding 기법은 Sparse Representation을 거쳐 Dense Representation으로, 여러 방법론들을 통해 발전해왔습니다. 그러나 기존의 방법들은 단어 간의 의미를 충분히 반영하지 못하는 문제가 있었습니다. 이에 Word2Vec은 Distributed Representation을 기반으로 주변 단어들과의 관계를 이..

인간의 언어를 컴퓨터에게 이해시켜 원하는 결과를 얻기 위해서는 Input을 숫자로 변환하는 작업이 필요합니다. 컴퓨터가 이해하기 편하도록 문자를 처리할수록 성능이 좋아지기 때문에, 변환 기술에 대한 연구가 계속해서 논의되어 왔습니다. 이렇게 단어를 숫자로 표현해 Vectorize 하는 기술을 Word Embedding이라고 합니다. 1. Word Embedding 앞서 설명했듯이, Word Embedding은 단어를 N차원의 벡터로 바꾸어 주는 기술입니다. 이러한 Word Embedding 기술에는 Sparse Representation Dense Representation 이 있는데, 먼저 Sparse Representation에 대해서 설명하겠습니다. 1.1 Sparse Representation (..