上达最高精度，下到最快速度，Scaled-YOLOv4：模型缩放显神威

编译 | CV君
报道 | 我爱计算机视觉（微信id:aicvml）

分享一篇今天新出的重要文章：Scaled-YOLOv4: Scaling Cross Stage Partial Network，作者出自YOLOv4的原班人马，其聚焦于针对YOLOv4的模型缩放（model scale）。

该文作者信息：

论文地址：https://arxiv.org/2011.08036
代码地址: https://github.com/WongKinYiu...

旗下重要的三个模型：

YOLOv4-CSP（面向普通GPU）: 

https://github.com/WongKinYiu...

YOLOv4-tiny(面向低端GPU): 

https://github.com/WongKinYiu...

YOLOv4-large(面向高端GPU):

https://github.com/WongKinYiu...

在我爱计算机视觉公众号后台回复“YOLOv4”，即可收到包含论文和代码的打包下载。

实现效果

1）其开发的YOLOv4-large 在COCO数据集达到SOTA精度: 55.4% AP(73.3% AP50) 并以以15 fps 在 Tesla V100运行, 而如果加上测试阶段数据增强方法后,YOLOv4-large 达到 55.8% AP (73.2 AP50). 作者称这一精度是所有已公开文献的最高精度.

2）另外其 YOLOv4-tiny模型在COCO数据集达到 22.0% AP (42.0% AP50) ， ∼443 FPS 在 RTX 2080Ti运行, 当使用 TensorRT做推理, batch size = 4 和 FP16推断时，  YOLOv4-tiny 甚至可达到 1774 FPS！

何为模型缩放？

为什么要缩放？

首先我们要搞清楚这篇文章作者的本意，其本不是冲着提高检测精度而来的。其主要考虑的是在深度学习技术应用领域不断扩大的今天，面向实际工程部署，往往需要的不是一个模型而是一套模型。

部署在云端，也许你有高端大气上档次的V100 ，部署在个人电脑有大量的消费级GPU可选如2080TI(当然还是略贵~)，部署在嵌入式平台可以选择TX2 、Jetson NANO等“弱机”。

模型缩放即希望一个算法衍生出多个模型，对计算和存储的需求不同（精度当然也不同），以满足部署在不同平台的需求。其实这当然不是什么新概念，EfficientNet、EfficientDet即是一个算法的一系列模型。

作为工业界宠爱的 YOLOv4， 需要模型缩放。

Scaled-YOLOv4

是怎么做模型缩放的？

正如之前跟大家分享过YOLOv4论文一样，作者们依然采用了极其工程化的方法设计 Scaled-YOLOv4 ，没有发明什么新思想、新路径，而是“博采众长”，“努力调优”。

以往模型缩放，如 EfficientDet 无非是首先选择网络基础模块，它往往又好又快，然后针对影响目标检测的重要参数如：网络宽度w、深度d、输入图像分辨率size等进行（满足一定条件下按照一定规律）调参。

虽然神经架构搜索也常被用于设计不同平台的一系列不同模型，但EfficientDet 已经证明上述方法其实是很有效。

作者针对不同的GPU设计不同模型。思路依然是寻找基础模块，然后调整网络宽度w、深度d、输入图像分辨率size。

作者认为之前的工作没有系统性分析各个网络因素的影响，而作者进行了系统分析。

这里CV君不再跟大家分享作者的分析细节，只上结论。

针对普通GPU,对应YOLOv4-CSP，作者选择了CSPNet （CVPR 2020 Workshop 论文）启发下的CSP-ized(CSP化的)模型作为基础结构。作为后来者，相比EfficientDet，设计 Scaled-YOLOv4 能选择的网络结构更多，当然是有优势的。

YOLOv4-CSP中的reversed CSP dark 结构

针对嵌入式等平台上的弱GPU，对应YOLOv4-tiny,除了考虑计算量，作者尤其提到要考虑内存访问速度、内存带宽、DRAM 速度的影响，作者选择了OSANet作为整体结构，并依然进行了CSP化，即CSPOSANet。CV君觉得这是搞工程化的人最值得参考的地方。

YOLOv4-tiny 计算模块

对于高端GPU,对应YOLOv4-Large，首要考虑的是追求高精度，所以作者在提高输入图像分辨率和增加stage上下功夫，因为这直接影响不同分辨率目标和算法感受野，输入分辨率高、算法感受野大能检测到更多目标。

YOLOv4-P5、P6、P7结构

算法效果

作者在COCO数据集上进行了测试，未使用预训练权重，从头开始训练。

尽管 Scaled-YOLOv4并不单纯追求精度高，但跟SOTA算法相比依然很能打。

请注意，表中的YOLOv4 -CSP、P5、P6、P7依然都是实时算法，针对帧率15fps(v100 GPU上测试)，当然YOLOv4-P7也取得了最高的精度，但相比相同输入分辨率的EfficientDet-D7x也并未出现碾压的架势，在Large目标上EfficientDet-D7x是最优秀的，YOLOv4-P7对小目标检测更好。

YOLOv4-Large 加上测试时图像增强（TTA，这时在工程应用时经常做的）后，精度获得了小幅提升：

YOLOv4-tiny同样很优秀，相比其他主打小模型计算量小的算法，取得了速度和精度的双优。

结论

尽管在算法设计上，该文并没有带来重要亮点，但从工程应用的角度讲， Scaled-YOLOv4无疑是极其优秀的选择！尤其是YOLOv4-tiny，其设计不仅考虑到计算量和参数量还考虑到内存访问，感谢作者团队的开源！

END