미분류
Attention is All you need(NIPS 2017)
Attention is All you need(NIPS 2017) 공식 transfomer 구현 github 레포 기존의 AttentionNeural Machine Translation by Jointly Learning to Align and Translate에서 알 수 있듯이 RNN의 Long term dependency 문제에 따라 Attention 메커니즘이 제안되었습니다. 하지만, RNN 기반 Encoder, Decoder를 이용하여 여전히 순차적으로 데이터를 처리해야해야만 되는 제약점이 존재하였습니다. 이는 순차적으로 Sequence 더보기…