基于一步法的高精度行人检测方法、系统、装置制造方法及图纸

本发明专利技术属于图像处理与模式识别技术领域，具体涉及了一种基于一步法的高精度行人检测方法、系统、装置，旨在解决现有技术在复杂场景下无法兼顾行人检测效率与精度的问题。本发明专利技术包括：基于一步法ALFNet构建行人检测模型，定义锚点框尺寸并关联网络层、定义窗口回归目标以及锚点框匹配方法；对训练图像进行增广和困难样本挖掘，并通过软标签生成训练样本；依次通过训练样本训练行人预测模型直至模型收敛或训练次数达到设定值；将待检测行人图像输入模型进行前传计算，并通过基于余弦的非极大值抑制方法滤除重复预测的冗余行人预测窗口，获得最终行人检测标注图。本发明专利技术在复杂场景下，行人检测效率高、精度高，模型鲁棒性好，适用范围广。

High precision pedestrian detection method, system and device based on one-step method

【技术实现步骤摘要】
基于一步法的高精度行人检测方法、系统、装置
本专利技术属于图像处理与模式识别
，具体涉及了一种基于一步法的高精度行人检测方法、系统、装置。
技术介绍
行人检测是一种利用计算机视觉技术对图像或视频序列中出现的所有行人使用矩形框进行精准定位的技术，在基于行人的计算机视觉、模式识别等领域有着极为广泛的应用，例如自动驾驶，视频监控和生物特征识别等。并且对于大部分与行人相关的应用，都首先要求对行人进行精确的检测。在实际应用场景中，行人的高效检测问题是目前行人检测算法所面临的最大挑战之一。现有的高精度行人检测算法都是基于二步法检测器FasterR-CNN进行扩展得到的，这类方法虽然拥有较高的检测精度，但算法效率较差，无法满足实际应用的实时性需求。另一方面，一步法检测器如SSD虽然拥有较好的实时性，但单阶段的回归方式无法很好地解决因背景信息复杂而带来的错检、漏检问题，特别是对于存在大量遮挡情况的行人应用场景，检测算法的检测精度更是差强人意。因此针对复杂场景下的行人检测问题，设计出高效且精确的行人检测算法仍是一个核心研究难点，有着极为广泛的研究意义和实用价值。针对该问题，尽管有着一系列研究工作致力于提升行人检测算法在复杂场景下的检测精度，但这些工作的核心重点都是在于提升遮挡场景下的行人检测精度，且模型架构仍然是基于二步法FasterR-CNN，依然没有从本质上解决行人检测算法效率低下的问题。设计出高精度的实时行人检测算法以满足实际的行人应用需求，仍需要更多的探索和研究。总的来说，行人检测方法中基于二步法检测器的检测方法效率较差，无法满足实际应用中的实时性需求，而基于一步法检测器的检测方法无法解决因背景信息复杂带来的错检、漏检问题，检测精度低。
技术实现思路
为了解决现有技术中的上述问题，即现有技术在复杂场景下无法兼顾行人检测效率与精度的问题，本专利技术提供了一种基于一步法的高精度行人检测方法，该高精度行人检测方法包括：步骤A10，通过训练好的行人检测模型对获取的待检测行人图像进行前传计算，获取带行人标注框的图像；步骤A20，基于所述带行人标注框的图像，通过基于余弦的非极大值抑制方法滤除重复的冗余行人标注框，获得行人检测标注图像；其中，所述行人检测模型基于一步法ALFNet构建，并通过基于软标签的样本训练后进行模型测试，其方法为：步骤S10，基于一步法ALFNet构建行人检测模型，定义所述行人检测模型中锚点框尺寸并关联网络层、定义所述行人检测模型中窗口回归目标以及定义所述行人检测模型中锚点框匹配方法；步骤S20，依次基于获取的训练样本集合中每一个样本，对所述行人检测模型训练直至模型收敛或达到预设训练次数，获得训练好的行人检测模型。在一些优选的实施例中，步骤S10中“定义所述行人检测模型中锚点框尺寸并关联网络层”，其方法为：定义四个锚点框，并分别将所述锚点框依次与所述行人检测模型的conv4_3层、conv5_3层、conv6_3层、conv7_3特征层关联。在一些优选的实施例中，所述四个锚点框，其尺度分别为：分别为：(16,24)、(32,48)、(64,96)、(128,192)。在一些优选的实施例中，所述行人检测模型中窗口回归目标为集中式IoU回归损失函数；所述集中式IoU回归损失函数为：其中，Bgt和Bpref分别为标注和预测的检测窗口，窗口C表示同时包围Bgt和Bpred的最小矩形框，|C\(Bgt∩Bpred)|表示窗口C中去除Bgt和Bpred交集的部分，ti和分别为参数化后的标注和预测窗口的中心点坐标，smoothL1为平滑之后的L1(x)范数。在一些优选的实施例中，所述smoothL1函数为：其中，σ∈[0，1)，为用于调整所述集中式IoU回归损失函数关于边界的敏感性的平滑因子。在一些优选的实施例中，步骤S10中“定义所述行人检测模型中锚点框匹配方法”，其方法为：对于所述待检测行人图像，获取完整行人矩形标注框、行人可见区域矩形标注框，以所述行人可见区域标注框面积与完整行人矩形标注框面积之比作为行人可见度，并执行：行人可见度低于0.5时，以其对应的行人可见区域矩形标注框进行锚点框的匹配；行人可见度高于0.5时，以其对应的完整行人矩形标注框进行锚点框的匹配。在一些优选的实施例中，所述训练样本，其获取方法为：步骤B10，分别获取训练图像集中每一个图像的当前锚点框与标注框的交并比；步骤B20，基于所述交并比，通过预设的软标签计算方法以及预设的正样本标签阈值、负样本标签阈值，获取每一个训练图像及其对应的标签作为训练样本。在一些优选的实施例中，所述预设的软标签计算方法为：其中，IoU表示当前锚点框与标注框的交并比，Tpos和Tneg分别为预设的正样本标签阈值和负样本标签阈值。在一些优选的实施例中，所述基于余弦的非极大值抑制方法为：其中，Nt为预设的IoU阈值，IoU(M，bi)表示预测窗口bi和M之间的交并比，为用于对bi的得分si进行重新评分的权值函数。本专利技术的另一方面，提出了一种基于一步法的高精度行人检测系统，该高精度行人检测系统包括输入模块、行人预测模块、冗余窗口过滤模块、输出模块；所述输入模块，配置为获取待检测行人图像并输入；所述行人预测模块，配置为通过训练好的行人检测模型对获取的待检测行人图像进行前传计算，获取带行人标注框的图像；所述冗余窗口过滤模块，配置为基于所述待行人标注框的图像，通过基于余弦的非极大值抑制方法滤除重复的冗余行人标注框，获得行人检测标注图像；所述输出模块，配置为输出获取的行人检测标注图像作为行人检测结果；其中，所述行人预测模块包括模型构建模块、参数定义模块、模型训练模块；所述模型构建模块，配置为基于一步法ALFNet构建行人检测模型；所述参数定义模块，配置为定义所述行人检测模型中锚点框尺寸并关联网络层、定义所述行人检测模型中窗口回归目标以及定义所述行人检测模型中锚点框匹配方法；所述模型训练模块，配置为依次基于获取的训练样本集合中每一个样本，对所述行人检测模型训练直至模型收敛或达到预设训练次数，获得训练好的行人检测模型。本专利技术的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于一步法的高精度行人检测方法。本专利技术的第四方面，提出了一种处理装置，包括处理器、存储装置；所述处理器，适于执行各条程序；所述存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于一步法的高精度行人检测方法。本专利技术的有益效果：(1)本专利技术基于一步法的高精度行人检测方法，模型的不同设定层关联不同的锚点框尺度，并结合基于坐标点回归与IoU回归两种窗口回归方式，实现了模型对不同尺度行人的检测，提高了模型检测的窗口定位精度，最终提高模型行人检测的精度。(本文档来自技高网...

【技术保护点】
1.一种基于一步法的高精度行人检测方法，其特征在于，该高精度行人检测方法包括：/n步骤A10，通过训练好的行人检测模型对获取的待检测行人图像进行前传计算，获取带行人标注框的图像；/n步骤A20，基于所述带行人标注框的图像，通过基于余弦的非极大值抑制方法滤除重复的冗余行人标注框，获得行人检测标注图像；/n其中，所述行人检测模型基于一步法ALFNet构建，并通过基于软标签的样本训练后进行模型测试，其方法为：/n步骤S10，基于一步法ALFNet构建行人检测模型，定义所述行人检测模型中锚点框尺寸并关联网络层、定义所述行人检测模型中窗口回归目标以及定义所述行人检测模型中锚点框匹配方法；/n步骤S20，依次基于获取的训练样本集合中每一个样本，对所述行人检测模型训练直至模型收敛或达到预设训练次数，获得训练好的行人检测模型。/n

【技术特征摘要】
1.一种基于一步法的高精度行人检测方法，其特征在于，该高精度行人检测方法包括：
步骤A10，通过训练好的行人检测模型对获取的待检测行人图像进行前传计算，获取带行人标注框的图像；
步骤A20，基于所述带行人标注框的图像，通过基于余弦的非极大值抑制方法滤除重复的冗余行人标注框，获得行人检测标注图像；
其中，所述行人检测模型基于一步法ALFNet构建，并通过基于软标签的样本训练后进行模型测试，其方法为：
步骤S10，基于一步法ALFNet构建行人检测模型，定义所述行人检测模型中锚点框尺寸并关联网络层、定义所述行人检测模型中窗口回归目标以及定义所述行人检测模型中锚点框匹配方法；
步骤S20，依次基于获取的训练样本集合中每一个样本，对所述行人检测模型训练直至模型收敛或达到预设训练次数，获得训练好的行人检测模型。


2.根据权利要求1所述的基于一步法的高精度行人检测方法，其特征在于，步骤S10中“定义所述行人检测模型中锚点框尺寸并关联网络层”，其方法为：
定义四个锚点框，并分别将所述锚点框依次与所述行人检测模型的conv4_3层、conv5_3层、conv6_3层、conv7_3特征层关联。


3.根据权利要求2所述的基于一步法的高精度行人检测方法，其特征在于，所述四个锚点框，其尺度分别为：
(16,24)、(32,48)、(64,96)、(128,192)。


4.根据权利要求1所述的基于一步法的高精度行人检测方法，其特征在于，所述行人检测模型中窗口回归目标为集中式IoU回归损失函数；
所述集中式IoU回归损失函数为：



其中，Bgt和Bpred分别为标注和预测的检测窗口，窗口C表示同时包围Bgt和Bpred的最小矩形框，|C\(Bgt∩Bpred)|表示窗口C中去除Bgt和Bpred交集的部分，ti和分别为参数化后的标注和预测窗口的中心点坐标，smoothL1为平滑之后的L1(x)范数。


5.根据权利要求4所述的基于一步法的高精度行人检测方法，其特征在于，所述smoothL1函数为：



其中，σ∈[0，1)，为用于调整所述集中式IoU回归损失函数关于边界的敏感性的平滑因子。


6.根据权利要求1所述的基于一步法的高精度行人检测方法，其特征在于，步骤S10中“定义所述行人检测模型中锚点框匹配方法”，其方法为：
对于所述待检测行人图像，获取完整行人矩形标注框、行人可见区域矩形标注框，以所述行人可见区域标注框面积与完整行人矩形标注框面积之比作为行人可见度，并执行：
行人可见度低于0.5时，以其对应的行人可见区域矩形标注框进行锚点框的匹配...

【专利技术属性】
技术研发人员：雷震，庄楚斌，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：北京;11