Jigsaw pre-training以拼图的方式从检测数据集中生成用于主干网络预训练的数据集，而不需要额外的预训练数据集，如ImageNet。另外为了让网络更好的适应拼图数据，论文提出ERF-adaptive密集分类方法，能够很好地扩大预训练主干网络的有效感受域。整体而言，Jigsaw pre-training方便且高效，性能比使用ImageNet预训练模型...

近期，动态网络在加速推理这方面有很多研究，DGC(Dynamic Group Convolution)将动态网络的思想结合到分组卷积中，使得分组卷积在轻量化的同时能够加强表达能力，整体思路直接清晰，可作为网络设计时的一个不错的选择   来源：晓飞的算法工程笔记 公众号

S2DNAS最核心的点在于设计了丰富而简洁的搜索空间，从而能够使用常规的NAS方法即可进行动态推理网络的搜索，解决了动态推理网络的设计问题，可进行任意目标网络的转换  来源：晓飞的算法工程笔记 公众号

梯度中心化GC对权值梯度进行零均值化，能够使得网络的训练更加稳定，并且能提高网络的泛化能力，算法思路简单，论文的理论分析十分充分，能够很好地解释GC的作用原理   来源：晓飞的算法工程笔记 公众号

DETR基于标准的Transorfmer结构，性能能够媲美Faster RCNN，而论文整体思想十分简洁，希望能像Faster RCNN为后续的很多研究提供了大致的思路   来源：晓飞的算法工程笔记 公众号

边界对于定位问题十分重要，BorderDet的核心思想BorderAlign巧妙又有效，将边界特征融入到目标定位预测中，而且能够简单地融入到各种目标检测算法中带来较大的性能提升下。在开源实现中，对BorderAlign进行了高效CUDA实现，不会对耗时带来很大的影响，整个工作十分扎实  来源：晓飞的算法工程笔记 公众号

梯度中心化GC对权值梯度进行零均值化，能够使得网络的训练更加稳定，并且能提高网络的泛化能力，算法思路简单，论文的理论分析十分充分，能够很好地解释GC的作用原理   来源：晓飞的算法工程笔记 公众号

CondenseNet特点在于可学习分组卷积的提出，结合训练过程进行剪枝，不仅能准确地剪枝，还能继续训练，使网络权重更平滑，是个很不错的工作   来源：晓飞的算法工程笔记 公众号

论文提出了移动端的神经网络架构搜索方法，该方法主要有两个思路，首先使用多目标优化方法将模型在实际设备上的耗时融入搜索中，然后使用分解的层次搜索空间，来让网络保持层多样性的同时，搜索空间依然很简洁，能够使得搜索的模型在准确率和耗时中有更好的trade off   来源：【晓飞的算法工程笔记】 公众号

MobileNet系列很重要的轻量级网络家族，出自谷歌，MobileNetV1使用深度可分离卷积来构建轻量级网络，MobileNetV2提出创新的inverted residual with linear bottleneck单元，虽然层数变多了，但是整体网络准确率和速度都有提升，MobileNetV3则结合AutoML技术以及人工微调进行更轻量级的网络构建   来源：晓飞的算法工程笔...

ShuffleNet系列是轻量级网络中很重要的一个系列，ShuffleNetV1提出了channel shuffle操作，使得网络可以尽情地使用分组卷积来加速，而ShuffleNetV2则推倒V1的大部分设计，从实际出发，提出channel split操作，在加速网络的同时进行了特征重用，达到了很好的效果 来源：晓飞的算法工程笔记 公众号

SqueezeNet系列是比较早期且经典的轻量级网络，SqueezeNet使用Fire模块进行参数压缩，而SqueezeNext则在此基础上加入分离卷积进行改进。虽然SqueezeNet系列不如MobieNet使用广泛，但其架构思想和实验结论还是可以值得借鉴的。  来源：晓飞的算法工程笔记 公众号

论文基于层级表达提出高效的进化算法来进行神经网络结构搜索，通过层层堆叠来构建强大的卷积结构。论文的搜索方法简单，从实验结果看来，达到很不错的准确率，值得学习   来源：【晓飞的算法工程笔记】 公众号

论文基于DA Faster R-CNN系列提出类别正则化框架，充分利用多标签分类的弱定位能力以及图片级预测和实例级预测的类一致性，从实验结果来看，类该方法能够很好地提升DA Faster R-CNN系列的性能   来源：晓飞的算法工程笔记 公众号

论文从理论的角度出发，对目标检测的域自适应问题进行了深入的研究，基于H-divergence的对抗训练提出了DA Faster R-CNN，从图片级和实例级两种角度进行域对齐，并且加入一致性正则化来学习域不变的RPN。从实验来看，论文的方法十分有效，这是一个很符合实际需求的研究，能解决现实中场景多样，训练数据标注有限的情况。 ...

论文提出NASH方法来进行神经网络结构搜索，核心思想与之前的EAS方法类似，使用网络态射来生成一系列效果一致且继承权重的复杂子网，本文的网络态射更丰富，而且仅需要简单的爬山算法辅助就可以完成搜索，耗时0.5GPU day  来源：晓飞的算法工程笔记 公众号

论文提出经济实惠且高效的神经网络结构搜索算法EAS，使用RL agent作为meta-controller，学习通过网络变换进行结构空间探索。从指定的网络开始，通过function-preserving transformation不断重用其权重，EAS能够重用之前学习到的知识进行高效地探索新的结构，仅需要10 GPU days即可   来源：晓飞的算法工程笔记 公众号

论文提出了Circle loss，不仅能够对类内优化和类间优化进行单独地处理，还能根据不同的相似度值调整对应的梯度。总体而言，Circle loss更灵活，而且优化目标更明确，在多个实验上都有较好的表现，个人认为是一个很好的工作   来源：晓飞的算法工程笔记 公众号

论文提出DRConv，很好地结合了局部共享的思想并且保持平移不变性，包含两个关键结构，从实验结果来看，DRConv符合设计的预期，在多个任务上都有不错的性能提升   来源：晓飞的算法工程笔记 公众号

论文提出PConv为对特征金字塔进行3D卷积，配合特定的iBN进行正则化，能够有效地融合尺度间的内在关系，另外，论文提出SEPC，使用可变形卷积来适应实际特征间对应的不规律性，保持尺度均衡。PConv和SEPC对SOTA的检测算法有显著地提升 ，并且没有带来过多的额外计算量   来源：晓飞的算法工程笔记 公众号

论文抛弃以往根据IoU硬性指定anchor和GT匹配关系的方法，提出FreeAnchor方法来进行更自由的匹配，该方法将目标检测的训练定义为最大似然估计(MLE)过程，端到端地同时学习目标分类、目标检测以及匹配关系，从实验来看，效果十分显著   来源：晓飞的算法工程笔记 公众号

作为NASNet的同期论文，BlockQNN同样地将目光从整体网络转换到了block-wise，整体思路大概是MetaQNN的block版，增加了一些细节地小修改。配合Early Stop Strategy，计算资源十分少，但性能较同期的NASNet差点   来源：晓飞的算法工程笔记 公众号

论文提出新的特征级超分辨方法用于提升检测网络的小物体检测性能，该方法适用于带ROI池化的目标检测算法。在VOC和COCO上的小物体检测最大有5~6%mAP提升，在Tsinghua-Tencent 100K上的小物体检测则最大有约9点F1提升   来源：晓飞的算法工程笔记 公众号

YOLACT是首个实时实例分割算法，但是准确率较SOTA差得有点多，YOLACT++从主干网络、分支和anchor的3个角度出发对YOLACT进行优化，在保持实时性的前提下提升了5map，论文改进的角度值得参考  来源：晓飞的算法工程笔记 公众号

YOLOv4在速度和准确率上都十分优异，作者使用了大量的trick，论文也写得很扎实，在工程还是学术上都有十分重要的意义，既可以学习如何调参，也可以了解目标检测的trick。  来源：晓飞的算法工程笔记 公众号

论文巧妙地基于one-stage目标检测算法提出实时实例分割算法YOLACT，整体的架构设计十分轻量，在速度和效果上面达到很好的trade-off。  来源：【晓飞的算法工程笔记】 公众号

SMASH方法使用辅助网络生成次优权重来支持网络的快速测试，从结果来看，生成的权重与正常训练的权重在准确率上存在关联性，整体搜索速度很快，仅需要单卡进行搜索，提供了一个很好的新思路。  来源：晓飞的算法工程笔记 公众号

论文提出可变形卷积核(DK)来自适应有效感受域，每次进行卷积操作时都从原卷积中采样出新卷积，是一种新颖的可变形卷积的形式，从实验来看，是之前方法的一种有力的补充。  来源：晓飞的算法工程笔记 公众号

论文提出DCNv2，不仅对DCNv1的结构进行了改进，还使用了有效的蒸馏学习策略，使得性能有很大的提升，各个方面都值得借鉴   来源：晓飞的算法工程笔记 公众号

论文提出可变形卷积帮助模型高效地学习几何变换能力，能够简单地应用到分类模型和检测模型中，思想新颖，效果显著，十分值得学习   来源：晓飞的算法工程笔记 公众号