Traffic-Sign Detection and Classification in the Wild 论文笔记

摘要

尽管在交通标志识别和分类领域已经取得了不错的成绩，但是很少有在real world images中同步处理两个tasks的研究。论文有两个特点。一是创建了一个100000张全景的Benchmark,有30000张包含了交通标志。这些图片覆盖了不同光线和天气状况。每个交通标志都被标注了一个label,边框和pixel mask.这个Benchmark是Tsinghua-Tencent 100k。二是论文阐述了一个可以识别和分类交通标志的端到端的CNN。大部分之前的针对物体的CNN图片处理方案在对像交通标志这种小物体的检测上表现并不好。实验结果显示了论文提出网络的鲁棒性和优越性。Benchamrk,源码和CNN模型都已经开源。

1.简介

Pascal voc和ImageNet是两个常用的Benchmark。在这些数据集中，目标识别都是针对较大的物体（边框占整个图片的20%左右）。然而，在一张2000X2000的图片中，一个交通标志只有80X80。因此，需要设计一个针对有意义的小物体的检测方案。
交通标志通过功能可以被分类多个类别。在每个类别中，可以被进一步分为很多有相似形状但细节不同的子类。这要求交通标志的识别需要两个步骤：识别后分类。识别就是将图片中的交通标志框出来，分类是对框出来的交通标志分类。
目前方法在识别和分类中都达到了接近完美的结果。但是德国提出的这个benchmark在世界世界中并不适用。在GTSDB识别任务中，算法需要识别出四个主类中的一类。在GTSDB分类benchmark中,大部分图片中都有交通标志，而算法只需决定标志属于哪个子类，而且没有错误情况的干扰。在现实世界中，识别交通标志主要问题是物体很小，通常小于图片大小的1%。因此，算法必须过滤掉许多干扰情况，保留真实的交通标志，因此，我们创建了一个新的实际的Benchmark,并用这个数据评估用于识别和分类交通标志的combined CNN approch。
本文的贡献主要有：

• 创建了一个新的、更加实际的交通标志Benchmark

• 我们训练了两个CNN用于识别交通标志，并且同步识别和分类交通标志。结果显示了两个网络的鲁棒性

2.数据收集

原始数据是由6个单目摄像机拍下来的，然后对图像进行处理。benchmark包括中国的5个城市，包括市中心和郊区。全图分辨率是2048X2048。一共100000张，30000张中包括交通标志。其中，交通标志多为小图。标注是人工标注。形状为多边形和椭圆形。

3.卷积网络

我们训练了两个网络。一个用于识别，一个同步识别和分类。这两个网络共享大部分结构除了最后一步的分支。

3.1 结构

该模型是对overfeat模型的改进，在第6层以后添加了分支。论文介绍了这样改进的原因。经过实验发现这样会网络收敛的更快。更深的网络表现更好，但是会消耗更多GPU和训练时间。因此在速度和准确率上寻取平衡。另一个改动使在最后的分支上添加了生成类别向量的分支。

3.2 训练

由于不同类别的数据量不同，在训练时使用了数据增大技术（data augmentation technique）。我们简单的忽略了实例小于100的类别。剩下45个类别可以用于分类。实例在100和1000之间的类别在训练中都增大到1000个。其余大于1000的不变。
为了增大这些数据，我们为每个类别使用标准模板，随机旋转（-20°，20°），在（20,200）的范围内随机比例化大小，同时添加合理随机的变形。然后挑选出没有交通标志的图片，混入模板，添加随机噪声。

4. 结果

对于10000张包含交通标志的图片，按2：1用于训练和测试。其余90000张均用于测试。按照coco的标准，根据大小将交通标志分为3类：小物体（area<32²），中（32²<area<96²），大（area>96²）。这个评估标准可以测出识别器对不同大小物体的识别效果。

4.1 识别

识别交通标志：84% accuracy , 94% recall

4.2 同步识别分类

从图中可以看出，Fast R-CNN has a recall 0.56 and accuracy 0.50 而我们的方法 has a recall 0.91 and accuracy 0.88.

5. 结论

我们创建了一个新的交通标志的benchmark。与之前的交通标志benchmark相比，该数据集中的图片更多变，且标志大多非常小。数据集包含了更多的图片，且图片有更高的分辨率。而且，提供了像素级的分割。我们在该数据集上训练了两个网络，一个是交通标志识别器。另一个可以同时识别和分类。
In the future,我们计划寻找更多在该数据集中少有出现的交通标志。我们还计划加速process以在移动设备上能够实时运行。