딥러닝관련/자연어처리6 자연어 처리란 [자연어] 한국어와 영어 등 우리가 평소에 쓰는 말을 자연어(natural language) 라고 한다. [단어의 의미] 우리의 말은 '문자'로 구성되며, 말의 의미는 '단어'로 구성 '단어' : 의미의 최소 단위 자연어를 컴퓨터에게 이해시키는 데는 무엇보다 '단어의 의미'를 이해시키는 게 중요 컴퓨터에게 자연어를 파악하게 할 수 있는 방법 - 시소러스 - 통계 기반 기법 - 추론 기반 기법(word2vec) [시소러스(thesaurus)] 유의어 사전으로 동의어나 유의어가 한 그룹으로 분류 ex) car = auto automobile machine motocar 또한 단어 사이의 '상위와 하위' 혹은 '전체와 부분' 등 세세한 관계까지 정의 (아래 참고) 이처럼 모든 단어에 대한 유의어 집합을 만든 .. 2021. 12. 15. Transformer Decoder : Linear & Softmax Layer 2021.11.16 - [딥러닝관련/자연어처리] - Transformer Decoder : Encoder-Decoder Attention Transformer Decoder : Encoder-Decoder Attention 2021.11.15 - [딥러닝관련/자연어처리] - Transformer Decoder : Masked Self Attention Transformer Decoder : Masked Self Attention 2021.11.15 - [딥러닝관련/자연어처리] - 포지션-와이즈 피드 포워드 신경망.. better-tomorrow.tistory.com Transformer 정리를 위해 위 글에서 계속 이어짐 이제 마지막 Dense softmax layer를 봐보자 출처 : https://w.. 2021. 11. 16. Transformer Decoder : Encoder-Decoder Attention 2021.11.15 - [딥러닝관련/자연어처리] - Transformer Decoder : Masked Self Attention Transformer Decoder : Masked Self Attention 2021.11.15 - [딥러닝관련/자연어처리] - 포지션-와이즈 피드 포워드 신경망(Position-wise FFNN) 포지션-와이즈 피드 포워드 신경망(Position-wise FFNN) 2021.11.14 - [딥러닝관련/자연어처리] - Multi-head Att.. better-tomorrow.tistory.com Transformer 정리를 위해 위 글에서 계속 이어짐 [Encoder-Decoder Attention] Masked Self Attention layer의 output vect.. 2021. 11. 16. Word2Vec https://better-tomorrow.tistory.com/entry/Word-Embedding 이후 내용 - 단어의 '의미'를 다차원 공간에 벡터화하는 방법을 distributed represenation ▶ dense vector 1. Distributed represenation - Distributional hypothesis라는 가정하에 만들어진 표현 방법 - 비슷한 위치에서 등장하는 단어들은 비슷한 의미를 가진다 - 강아지 ▶ 귀엽다 / 예쁘다 (강아지라는 단어가 뜨면 "귀엽다", "예쁘다" 라는 단어가 함께 등장) - 분포 가설에 근거 ▶ 저런 내용을 가진 텍스트를 벡터화하면 의미적으로 가까운 단어 - Distributional hypothesis을 이용하여 단어들의 셋을 학습 ▶여러 .. 2020. 7. 20. 이전 1 2 다음
