2019cvpr中的一篇文章，是我见到的第一个在分割上使用知识蒸馏的，可见实时的分割已经是现在研究的热门了，作者做的事情就是：用PSPNet或OCNet等作为老师网络，来指导学生网络，如最近看的ESPNet，MobileNet，ShuffleNet等，让这些小的网络拥有更高的准确率。下图是整个蒸馏的过程：

此篇论文被CVPR2019收录，由标题可知：在语义分割中decoder过程同样重要，那么在decoder当中最重要的是什么呢？没错就是上采样upsample。本文做的事情，最主要的就是提出了一种叫做DUpsampling的上采样操作，作者认为目前分割网络普遍采用的双线性插值并不是最优的上采样方法，于是探寻一种可以让粗糙的卷积网络输出更准...

此篇论文为ECCV2018中的一篇论文，作者介绍了一个既快又效果说得过去的网络架构，用于语义分割当中。此网络可以达到每秒112帧，比目前有效的轻型网络如MobileNet，ShuffleNet， ENet等等都要快，还好，在只降低8%精度的条件下，比PSPNet小180倍，速度快22倍。

漂移卷积实验跑完了，IoU只有66%，降了7个百分点，下面把漂移去掉换成普通卷积，再对比看一下，如果有一点提升，那么在之后论文中也可以用到。感觉今天没看到啥。。发现的两个弱监督论文都没有期望中的好，有点僵住了。

self-attention在分割中应用的大致思想是：特征图与特征图的转置进行矩阵相乘，由于特征图有channel维度，相当于是每个像素与另外每个元素都进行点乘操作，而向量的点乘几何意义为计算两个向量的相似度，两个向量越相似，它们点乘越大。看下图，特征图转置与特征图矩阵相乘后用softmax进行归一化就得到了Attention map S...