人工智能 - CA：用于移动端的高效坐标注意力机制 | CVPR 2021 - 晓飞的算法工程笔记

论文提出新颖的轻量级通道注意力机制coordinate attention，能够同时考虑通道间关系以及长距离的位置信息。通过实验发现，coordinate attention可有效地提升模型的准确率，而且仅带来少量的计算消耗，十分不错
来源：晓飞的算法工程笔记公众号

论文: Coordinate Attention for Efficient Mobile Network Design

论文地址：https://arxiv.org/abs/2103.02907
论文代码：https://github.com/Andrew-Qibin/CoordAttention

Introduction

目前，轻量级网络的注意力机制大都采用SE模块，仅考虑了通道间的信息，忽略了位置信息。尽管后来的BAM和CBAM尝试在降低通道数后通过卷积来提取位置注意力信息，但卷积只能提取局部关系，缺乏长距离关系提取的能力。为此，论文提出了新的高效注意力机制coordinate attention，能够将横向和纵向的位置信息编码到channel attention中，使得移动网络能够关注大范围的位置信息又不会带来过多的计算量。
coordinate attention的优势主要有以下几点：

不仅获取了通道间信息，还考虑了方向相关的位置信息，有助于模型更好地定位和识别目标。
足够灵活和轻量，能够简单地插入移动网络的核心结构中。
可以作为预训练模型用于多种任务中，如检测和分割，均有不错的性能提升。

Coordinate Attention

Coordinate Attention可看作增强移动网络特征表达能力的计算单元，接受中间特征$X=[x_1,x_2,\cdots,x_C]\in\mathbb{R}^{C\times H\times W}$作为输入，输出与$X$大小相同的增强特征$Y=[y_1,y_2,\cdots,y_C]$。

Coordinate Attention Blocks

Coordinate Attention基于coordinate information embedding和coordinate attention generation两个步骤来编码通道关系和长距离关系。

Coordinate Information Embedding
channel attention常用全局池化编码全局空间信息，将全局信息压缩成一个标量，难以保留重要的空间信息。为此，论文将全局池化改造成两个1维向量的编码操作。对于输入$X$，使用池化核$(H,1)$和$(1,W)$来编码水平方向和垂直方向特征，即第$c$维特征的输出为：

上面的公式从不同的方向集成特征，输出一对方向可知的特征图。对比全局池化的压缩方式，这样能够允许attention block捕捉单方向上的长距离关系同时保留另一个方向上的空间信息，帮助网络更准确地定位目标。

Coordinate Attention Generation
为了更好地利用上述的coordinate infomation，论文提出了配套的coordinate attention generation操作，主要基于以下三点准则进行设计：
足够简单和轻量。
能完全利用提取的位置信息。
能同样高效地处理通道间的关系。

首先将公式4和公式5的输出concatenate起来，使用$1\times 1$卷积、BN和非线性激活进行特征转化：

$f\in\mathbb{R}^{C/r\times(H+W)}$为包含横向和纵向空间信息的中间特征，$r$为缩减因子。这里两个方向的特征没有做激烈的融合，concatenate的主要目的我觉得是进行统一的BN操作。随后将$f$分为两个独立的特征$f^h\in\mathbb{R}^{C/r\times H}$和$f^w\in\mathbb{R}^{C/r\times W}$，使用另外两个$1\times 1$卷积和sigmoid函数进行特征转化，使其维度与输入$X$一致：