hojeomi blog

출처: wikidocs.net/24996 1. Seq2Seq: many-to-many 예) 챗봇, 번역기 크게 두 개로 구성된 아키텍처 - 인코더, 디코더 인코더는 입력 문장의 모든 단어들을 순차적으로 입력받은 뒤에 마지막에 이 모든 단어 정보들을 압축해서 하나의 벡턱로 만듦 → 컨텍스트 벡터(context vector) 입력 문장의 정보가 하나의 컨텍스트 벡터로 모두 압축되면 인코더는 컨텍스트 벡터를 디코더로 전송함 디코더는 컨텍스트 벡터를 받아서 번역된 단어를 한 개씩 순차적으로 출력함 인코더 아키텍처와 디코더 아키덱처의 내부는 각각 RNN 아키텍처 입력 문장을 받는 RNN 셀을 인코더, 출력 문장을 출력하는 RNN 셀을 디코더 실제로는 성능문제로 바닐라RNN이 아닌 LSTM, 또는 GRU 셀로 구성..

0. Intro 워드 임베딩이란? 비슷한 의미가 좌표상 가까이 위치하도록 하는 것 → 유사도 계산 1. Word2Vec An algorithm for training vector representation of a word from context words (adjacent words) Assumption: words in similar context will have similar meanings CBOW(Continuous Bag of Words)와 Skip-Gram 두 가지 방식이 있음 CBOW는 주변 단어들로 중간 단어 예측, Skpi-Gram은 중간 단어로 주변 단어들 예측 손실함수를 최소화하는 가중치 행렬인 W와 W'를 구하는 문제 역전파를 이용해서 가중치 행렬을 리뉴얼한 후 손실함수 측정

[../주재걸교수님_자연어처리/01_자연어처리_upstage_1일차 (1).pdf] 0. Intro 자연어처리 최근 발전 동향: NLU(자연어 이해), NLG(자연어 처리)로 나뉨 1. Natural language processing 주요 학회: ACL, EMNLP, NAACL low-level parsing tokenization: I/love/me 이렇게 나눔 stemming: 어근 추출 word and phase level Named entity recognition(NER): 'newyork times'를 한 단어로 인식할 수 있도록 part-of-speech(POS) tagging: 문장 내 품사 및 성분을 알아내는 것 예) 주어, 형용사, 부동사, 목적어, 부사구 noun-phrase chu..

0. Intro 시퀀스 모델의 문제점은 omited sequence, pernuted sequence 등과 같이 시퀀스 데이터의 순서가 달라지거나 바꿔면 다루기 매우 힘든 것임 이 문제를 해결하기 위해 Transfomer 사용 attention을 활용한 게 제일 큰 핵심(RNN은 재귀적인 것과 다른 특징임) RNN에 3개 단어가 들어가면 3번 돎. 하지만 Transformer는 100개든 1000개든 한번에 찍어냄. 단, nxn의 처리를 한 번에 처리하기 위해 복잡한 computation과 큰 메모리 등이 필요함 시퀀스 데이터를 처리하고 인코딩하는 방법론이기에 NLP 뿐만 아니라 이미지 등에도 활용됨 [참고] github.com/orgs/bcaitech1/teams/team08/discussions Gi..