Transformer Decoder : Linear & Softmax Layer

2021.11.16 - [딥러닝관련/자연어처리] - Transformer Decoder : Encoder-Decoder Attention

Transformer Decoder : Encoder-Decoder Attention

Transformer 정리를 위해 위 글에서 계속 이어짐

 

이제 마지막 Dense softmax layer를 봐보자

출처 : https://wikidocs.net/images/page/31379/transformer_from_encoder_to_decoder.PNG

 

모든 encoder와 decoder block을 거친 vector는 최상단 layer인

 

linear와 softmax layer를 차례대로 거친다.

 

Linear layer

단순한 fully connected layer

마지막 decoder block의 output vector를 logit vector로 변환

 

softmax layer

Linear에서 생선된 logit vector를 각 token이 위치할 확률로 바꿔줌 (아래 이미지 참고)

 

출처 : http://jalammar.github.io/images/t/transformer_decoder_output_softmax.png

 

참조

https://wikidocs.net/31379

1) 트랜스포머(Transformer)

https://yngie-c.github.io/nlp/2020/07/01/nlp_transformer/

트랜스포머 (Transformer) · Data Science