Day 16-2. Word Embedding: Word2Vec, GloVe

0. Intro

• 워드 임베딩이란?
  • 비슷한 의미가 좌표상 가까이 위치하도록 하는 것 → 유사도 계산

 

 

1. Word2Vec

• An algorithm for training vector representation of a word from context words (adjacent words)
• Assumption: words in similar context will have similar meanings
• CBOW(Continuous Bag of Words)와 Skip-Gram 두 가지 방식이 있음
• CBOW는 주변 단어들로 중간 단어 예측, Skpi-Gram은 중간 단어로 주변 단어들 예측

https://wikidocs.net/22660

 

• 손실함수를 최소화하는 가중치 행렬인 W와 W'를 구하는 문제
• 역전파를 이용해서 가중치 행렬을 리뉴얼한 후 손실함수 측정