参考文章：Attention Is All You Need 用于NLP的讲解
注意力机制（Attention）
目的：是用于捕捉图像的感受野。
Transformer
Transformer的本质是一个Encoder-Decoder的结构。在encoder中，数据首先会经过一个叫做‘self-attention’的模块得到一个加权之后的特征向量 \(Z\) ，这个 \(Z\) 便是论文公式1中的\(Attention(Q,K,V)\)：
$$ Attention(Q,K,V)=softmax((QK^T)/√(d_k ))V （1） $$
得到 \(Z\) 之后，它会被送到encoder的下一个模块，即Feed Forward Neural Network。这个全连接有两层，第一层的激活函数是ReLU，第二层是一个线性激活函数，可以表示为
$$ FFN(Z)=max(0,ZW_1+b_1)W_2+b_2 （2） $$
目前在学习图像分割，transformer中的注意力机制还是挺重要的，持续更新。。。。。。
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用。你还可以使用@来通知其他用户。