【深度学习】深入浅出transformer内部结构

文章目录1 概述2 Self-Attention与Transformer3 Feed Forward Neural Network4 encoder-decoder attention

1 概述

Transformer由且仅由self-Attenion和Feed Forward Neural Network组成。

Transformer的Encoder和Decoder均由6个block堆叠而成。

Encoder的结构如下图所示