摘要
针对复杂道路交通场景中交通标志检测识别精度低的问题，提出了一种改进YOLOv5s算法的目标检测识别方法。采用迭代自组织数据分析算法对TT100K数据集进行聚类分析选择更适合的先验框，新先验框能够更加全面地覆盖交通标志的尺寸，提高模型的检测精度；对特征图进行上采样操作，获得更大尺度的特征图后与主干网络特征图融合，得到特征信息更加丰富的新特征图用来小目标的检测识别，提高了小目标检测识别的精度；用真实框和先验框宽比和高比的差值替代真实框和先验框宽高比的差值对定位损失函数进行改进，解决了宽高比相同但实际尺寸不同时惩罚消失问题。实验结果表明改进算法与YOLOv5s算法相比，提高了9.55%的平均精度均值，对小目标的检测识别具有更好的效果。
关键词
Abstract
Aiming at the problem of low detection and recognition accuracy of traffic signs in complex traffic scenes, a target detection and recognition method based on improved YOLOv5s algorithm was proposed. Iterative self-organizing data analysis techniques algorithm was used for clustering analysis of TT100K data set to select the prior frame which was more suitable for the size of traffic signs. The new prior frame could cover the size of traffic signs more comprehensively and improve the detection accuracy of the model. The feature map was upsampled to obtain a larger scale feature map, and then contacted with the feature map of the backbone network to obtain a new feature map with more abundant feature information. The new feature map was used for small target detection and recognition, which improved the accuracy of small target detection and recognition. And the difference of the width ratio and height ratio between the real frame and the prior frame was used to replace the difference of the aspect ratio between the real frame and the prior frame to improve the positioning loss function, which solved the problem of penalty disappearing when the width ratio was the same but the actual size was different. Experimental results show that compared with the original YOLOv5s algorithm, the improved algorithm can improve the mean average precision by 9.55%, and has better performance in detecting and recognizing small targets.
Keywords
计算机视觉任务的三大应用，分别是图像识别、目标检测和图像分割[1]，包含目标定位和识别任务的目标检测已经成为其重要研究方向[2]。现阶段的检测识别算法主要以基于候选区域两阶段检测算法和非候选区域的一阶段检测算法为主，两阶段检测算法如区域卷积神经网络[3]（region-convolutional neural networks，R-CNN）和fast R-CNN[4]具有精度高但速度较慢的问题，而一阶段检测算法如YOLO（you only look once）和单次多边框检测[5]（single shot multiBox detector，SSD）的检测速度很快，但是精度相对不高，尤其是对小目标的检测具有一定的困难。小目标指的是那些尺寸小于原图尺寸0.1或者是像素点数小于32×32的目标[6]，正是小目标的小尺寸和少像素点数的特点，导致检测时难以提取到准确特征，从而影响检测的精度，造成检测偏差以及漏检。
随着人工智能、大数据和互联网的发展，许多新技术改变了人们的生活，如智能驾驶技术给人们带来了很大的方便[7]。为了在车辆驾驶过程中尽早获取信息，通常在车辆与交通标志距离很远时就进行交通标志的检测识别，此时交通标志在图像中占据的尺寸小，满足小目标的定义要求[8]，而且交通标志的检测识别常会受到环境、天气和遮挡物的影响[9]，交通标志会出现变形、污损和褪色等情况[10]，加大了检测识别的难度。所以在车辆行驶过程中拥有检测速度快且精度高的算法对交通标志进行检测识别具有一定的研究意义。
针对交通标志检测识别的难点，对YOLOv5s算法进行了改进。首先采用迭代自组织数据分析算法（iterative self-organizing data analysis techniques algorithm，ISODATA）代替K-means算法对TT100K数据集进行聚类分析选择更适合的先验框；其次增加了一个新的检测层对小目标进行检测识别；最后对定位损失函数进行改进，解决了宽高比相同但实际尺寸不同时惩罚消失问题。实验表明改进的方法能够提高交通标志检测识别的精度。
1 YOLOv5s算法
YOLO[11]算法是在2015年由Redmon等提出的快速检测目标的方法，可以做到输入一个图像就能直接输出最终结果，但存在大量的定位误差且召回率低问题，之后他替换了YOLO中用来提取特征的GoogLeNet网络并加入了一些小技巧，提出了YOLO9000[12]和YOLOv3[13]，一定程度上提升了YOLO的定位精度和召回率；2020年4月Bochkovskiy等通过大量实验，结合许多检测算法的优秀方法提出了速度更快、更准确的YOLOv4[14]，2个月后又有人提出YOLOv5并被学者们不断研究改进，本文以模型小的YOLOv5s为研究对象并进行改进。
YOLOv5s的网络结构如图1所示，由输入端、主干网络、检测模块和预测模块四个部分组成。输入端负责对图像进行数据增强和缩放等处理，得到更加丰富的数据集；主干网络的作用是提取图像的特征，得到尺度不同的特征图；检测模块则是通过特征金字塔网络[15]（feature pyramid networks，FPN）和路径聚合网络[16]（path aggregation network，PANet）的结构对主干网络中得到的特征图采用Concat方法对通道数进行融合，得到3种不同尺度的特征图；预测模块则是对前面得到的特征图进行目标的检测识别。训练时通过提取特征预测该物体的置信度、类别及位置，然后通过损失函数不断进行学习优化，得到更准确的检测模型；检测时需要将图像分为S×S个网格，每个单元格负责去检测其中心点落在该网格内的目标，利用训练好的检测模型进行目标的检测识别，并采用非极大值抑制算法去除冗余的预测框，得到最终的预测框。
图1YOLOv5s网络结构图
Fig.1YOLOv5s network structure diagram
2 YOLOv5s的改进
2.1 先验框优化
在检测算法中，交并比（intersection over union，IoU）是用来评价检测效果的一个重要指标，其计算的是两个边框的交叠率，即它们的交集和并集的比值。训练过程中，一个边框是真实框，即数据集中准确标注目标位置的框；另一个边框是先验框，即提前在图像上预设好的不同大小、不同宽高比的框，用于定位输入图像中的目标，先验框由框的宽和高来定义[17]。YOLOv5s中训练过程的先验框用来与真实框计算IoU，选择与真实框IoU最大的先验框计算偏移量；检测过程的先验框则是利用偏移量得到预测框，即最终的检测结果。
YOLOv5s中针对COCO（common objects in context）数据集保存了预设先验框的值，每个检测层都有3个先验框，即保留了9个先验框的值。COCO数据集的训练过程可以直接调用预设值，简单方便且检测效果良好，若其他数据集的预设值低于阈值，YOLOv5s会采用K-means聚类方法对该数据集进行聚类，利用聚类出的新的结果更新先验框的值[18]。采用的交通标志数据集是TT100K，目标与COCO数据集相比普遍比较小，预设值低于阈值，所以需要更新先验框的值。
K-means聚类方法随机选择初始聚类中心且没有对每一类的数量进行设置，会对聚类的结果带来影响，为了得到更适合的聚类结果，采用改进的ISODATA更新先验框的值。聚类前需要设定预期的聚类中心数目k0和每一类真实框数量的最小值Nmin。聚类时首先随机选择一个真实框作为聚类中心，并计算剩下所有的真实框与聚类中心的距离，此时假设两个框的中点重合，由它们的IoU来定义距离，IoU的值与距离成反比，由距离最远的真实框作为下一个聚类中心，重复以上操作，直到得到k0（此处k0=9）个聚类中心；然后计算剩余的真实框与每个聚类中心的距离，将它分配给距离最近的聚类中心，从而将真实框分为类内相似度高，而类间相似度低的9类；判断每一类真实框的数量N，若N＜Nmin，则舍弃该类，并将其中的真实框分配给其他距离最近的聚类中心，计算每一类所有真实框的均值，即将真实框宽和高的均值作为该类的聚类中心；反复操作，直到每一类中计算的宽和高的均值和原来该类的聚类中心的宽和高变化不大，将均值作为聚类中心后聚类结束。若结束后的聚类中心数量不满足要求，则更改Nmin的值后重新聚类，直到得到满足数量要求的结果结束聚类。
由于增加了一个检测层，因此共需要12个先验框。利用K-means和ISODATA两种聚类方法对TT100K数据集进行聚类各得到12个先验框，并将聚类结果的先验框进行比较，对比结果如表1所示。从表中可以看出，通过两种方法对TT100K数据集聚类得到的先验框与COCO数据集的原先验框相比，尺寸偏小且宽高的差异不大，更符合交通标志的尺寸要求，这样在训练的过程中可以一定程度上提升召回率，得到更好的训练效果。通过实验可以发现，采用原先验框进行训练时的召回率只有82.4%，而采用对TT100K数据集聚类得到的先验框1和2进行训练时，得到的召回率分别为97%和98%，训练效果更好。
表1先验框尺寸对比
Tab.1 Prior frame size comparison
2.2 增加小目标检测层
YOLOv5s在主干网络将输入图像通过8倍下采样、16倍下采样和32倍下采样得到3种不同尺度的特征图，即图1中的C3、C4和C5，并在检测模块将它们的特征信息进行融合，形成3种尺度的特征图用来检测目标[19]，即图1中预测模块中的P3、P4和P5，每个特征图构成一个检测层，按照大尺度特征图检测小目标、小尺度特征图检测大目标的原则对不同尺寸的目标进行检测。将图1的过程简化成图2，图2中C2是未利用的浅层特征图，Ci（i=3，4，5）对应的是图1主干网络中的特征图，Ci（i=3，4）进行卷积和下采样操作得到Fi，C5只进行卷积操作得到F5，而F（i+1）（i=5，4）进行上采样操作得到Fi，Fi到Pi进行的是卷积和通道融合操作。但是由于进行了多次下采样操作，下采样倍数比较大，从而丢失了小目标的很多特征信息，在训练过程中难以学习，所以YOLOv5s算法对小目标的检测精确率不高。
图2YOLOv5s检测层
Fig.2YOLOv5s detection layer
为了解决小目标特征信息丢失的问题，利用图2中的C2进行小目标的检测识别。首先对图2中的F3采用最近邻插值法继续进行上采样操作得到F2，以获取更详细的特征信息，并与图2中的C2进行融合，最终得到了一个新的特征图P2，即在预测模块中增加一个检测层，过程如图3所示。与图2相比，图3没有改变原YOLOv5s网络中的特征融合过程，只是利用原YOLOv5s网络中舍弃的C2，保留了原网络的检测精度。C2只进行了4倍下采样，保留了更多的细节信息，所以可以为小目标的检测提供更多的特征，F2比F1具有更高的分辨率，细节更清楚，融合后得到的P2具有更多的细节信息，可以更好地对小目标进行检测识别。通过实验可以发现，改进的方法与YOLOv5s算法相比，提高了2.4%的精度。
图3改进的检测层
Fig.3Improved detection layer
2.3 定位损失函数改进
定位损失函数是对预测框的中心坐标和宽高作损失，YOLOv5s中使用广义交并比[20]（generalized intersection over union，GIoU）来计算定位损失，公式如式（1）所示：
(1)
式中，A、B、C分别表示的是先验框、真实框和这两个框的最小闭包区域面积。从公式可以看出，GIoU的关注点不只是真实框与预测框之间的重叠面积，还有那些重叠之外的区域，因此GIoU可以很好地表征两个框之间的重合度。但是GIoU在训练过程中收敛较慢且没有考虑中心点的距离问题。Zheng等[21]在2020年提出了完全交并比（complete intersection over union，CIoU）的概念，随后便被应用到YOLOv5s网络中，公式如式（2）所示：
(2)
其中，b、 bgt分别表示的是预测框和真实框的中心点，ρ2（b，bgt）表示的是预测框和真实框中心点的欧氏距离，c表示的是C的对角线长度， w、 wgt分别表示的是预测框和真实框的宽度， h、 hgt分别表示的是预测框和真实框的高度。整个公式考虑了中心点距离问题，直接回归两个框中心点的欧氏距离，加速收敛，但是作为惩罚项的v只考虑了预测框和真实框的宽高比，而且其宽高比只是一个相对值，具有一定的模糊性，当预测框和真实框的宽高比相同但真实的宽高不同时，其惩罚项就会失去惩罚的作用。
为了解决惩罚项的失效问题，利用两个框之间的宽比和高比的差值代替两个框之间的宽高比的差值作为惩罚项，得到的新的CIoU公式如式（3）所示。从公式中可以看出，新公式既保留了CIoU公式的收敛速度和损失性能，又解决了惩罚项失去作用的问题，从而在检测识别的过程中能够更好地进行训练学习。通过实验可以发现，改进的损失函数在训练过程中可以提高0.8%的精度。
(3)
3 实验分析
3.1 数据集
为了保证道路交通安全有序、车辆运行平稳快速，交通部门在道路上设置了各种交通标志，这些交通标志一般为三角形、圆形或者是方形，每种交通标志具有特定的意义和指示信息[22]。数据集采用的是由清华大学与腾讯联合实验室发布的大规模交通标志基准数据集TT100K，该数据集以我国的交通标志作为对象，提供了不同光照和天气的100 000幅高分辨率图像，其中包含30 000个交通标志实例，共分成221个种类[23]，全部图像采用人工的方法进行标签的标注，标签共分为三大类，分别按照警告、禁令和指示标志[24]进行命名，用w、p和i表示，w是警告车辆、行人注意危险地点的标志，p是禁止或限制车辆、行人交通行为的标志，i是指示车辆、行人行进的标志，TT100K数据集如图4所示，然后将标注和交通标志一一对应进行具体的编号，例如图4（a）中的w8表示的是前方两侧道路变窄，图4（b）中的p5表示的是禁止掉头，图4（c）中的il*表示的是限速*等。
图4TT100K数据集
Fig.4TT100K data set
3.2 评价指标
实验过程中将使用精确率（P）、召回率（R）、精确率-召回率（P-R）、多类别平均精度均值（mean average precision，mAP）以及每秒传输帧数（frames per second，FPS）等评价指标对实验结果进行对比分析，每个指标都可以从一定程度上表征检测模型的效果，通过对每个模型的各指标进行比较，可以分析出模型的优缺点。
根据预测结果与实际结果之间的关系，可以将预测结果分为四种情况，分别是TP、FN、FP和TN，第一个字母T和F代表的是预测结果与实际结果是否一致，T代表一致，F代表不一致；第二个字母P和N代表的是预测结果为正样本或负样本，P代表正样本，N代表负样本，例如TP的含义为将正样本正确地预测为正样本，而FP的含义为将负样本错误地预测为正样本，由预测结果给出P值和R值的定义。P值指的是正确识别出的正样本和所有识别出的样本的比例，而R值指的则是正确识别出的正样本和所有正样本的比例[25]，公式分别如式（4）和式（5）所示，可以看出，P值和R值的分子都是正确预测出正样本的数量，可以在检测的正确性方面比较各个模型的效果。
(4)
(5)
虽然P值和R值都是越高越好，但是从定义可以看出，它们两个具有矛盾性，无法同时达到很高，所以通常以R值为横坐标、P值为纵坐标形成P-R曲线作为评价指标，由平衡点评价检测识别的效果。
P-R曲线所围成的面积，即为平均精度（average precision，AP），对多个类别求平均AP值，即mAP，mAP可以用来表示模型在多个类别上的效果好坏。
除了精度，速度也是重要的评价指标。FPS指的是模型进行检测识别时每秒处理图像的帧数，单位为帧/s，用来评价模型的运行速度。FPS的值越高，越能满足实时性的要求。
3.3 结果分析
采用YOLOv5s模型进行实验，实验系统为Windows10，GPU为NVIDIA RTX/Quadro，编程语言为Python，深度学习框架为Pytorch，集成开发环境（integrated development environment，IDE）为PyCharm，训练次数为300次。将改进算法、YOLOv5s算法、文献[8]和文献[26]的算法均采用12个先验框对TT100K数据集进行训练学习并得到它们的P值、R值、P-R值、mAP值和FPS值，各指标对比结果如表2所示。
从表2可以看出，改进算法在P值、R值、P-R值、mAP值方面均有提升，其中P-R值和mAP值均有大幅提高，分别提高了9.5%和9.55%，所以改进后的算法具有更好的效果，且能满足实时性要求。
表2指标对比
Tab.2 Index comparison
指标对比分析之后，使用每个算法的训练模型对道路交通图像进行检测识别实验。使用改进算法、YOLOv5s算法、文献[8]和文献[26]的算法训练的模型对相同的交通标志的图像进行检测识别，并将检测识别的结果图像进行比较分析，检测结果如图5所示。文献[8]的算法使用K-means++算法代替K-means算法对数据集进行聚类分析，得到适合的先验框；文献[26]的算法采用MobileNet轻量化网络提取特征，在降低模型的参数量的同时提高了检测速度[26]。
图5检测结果
Fig.5Test results
4 结论
针对交通环境复杂多变、交通标志检测识别精度低的问题，提出了一种改进YOLOv5s算法的目标检测识别方法。该方法对YOLOv5s算法的先验框和损失函数进行改进，并增加了一个新的检测层，提高了交通标志检测识别的精度，降低了漏检或误检现象发生的概率，具有更好的检测效果。在相同条件下进行检测识别，本文方法的P、R、P-R和mAP值都有所提高，与YOLOv5s算法相比分别提高了3.5%、1%、9.5%和9.55%，检测的正确率大幅提高，但由于增加了一个检测层，算法的FPS有些许降低，由114帧/s降到98帧/s，但是仍可以满足实时性要求。为了更好的检测效果，下一步的工作是研究提高FPS的方法，例如可以在进行特征提取时利用空洞卷积代替卷积和最大池化操作，降低模型的复杂度，从而提高FPS。
