【技术实现步骤摘要】
本专利技术属于计算机视觉，涉及计数方法，具体涉及一种基于强化学习的目标计数方法。
技术介绍
1、随着计算机技术、网络通信技术和电子技术的高速发展以及对社会公共安全要求的逐渐升高，基于智能分析技术的智能监控系统得到了广泛的应用。作为智能分析技术的关键工具，计算机视觉通过对摄像机采集图像或视频序列进行处理，以获取所需的场景中的感知信息。其中，目标检测是计算机视觉的基础任务，也是其他任务的基础。而目标计数是目标检测任务的子任务，旨在识别和计数图像或视频中特定目标的数量。人群计数算法作为其中重要的一部分，在维护社会秩序和提升生活质量方面发挥着重要作用。此外，人群计数算法能迁移到其他相关领域包括生命科学、智慧农业等。
2、目前，人群技术算法在实际应用中仍面临着一系列挑战。由于人群聚集可能发生在任意封闭、半封闭、开放场景下，而行人个体乃至人群群体都会呈现出丰富的视觉变化，这给人群计数带来了很大的困难，比如，遮挡(物体遮挡或人群遮挡)、非均匀人群分布、复杂背景、视点变化、光照变化以及天气因素等。所以这些复杂的变化因素使得人群计数方法需要较强的鲁棒性和适应。虽然在过去数十年中深度神经网络在物体分类、检测和分割等不同的计算机视觉任务中取得了令人印象深刻的成果，这些神经网络也为精确估计人群数量提供了更好的解决方案。但在实际应用场景需求以及固有难点问题的推动下，人群计数成为了人工智能领域中的研究热点。
3、特别是由于人群的自由流动性较大，在不同甚至同一场景中人群分布大多是杂乱无章的，人群图像中某些区域出现大量的人群聚集，而在其
技术实现思路
1、针对现有技术存在的不足，本专利技术的目的在于，提供一种基于强化学习的目标计数方法，解决现有技术中在不均匀分布场景下导致人数计数误差率有待进一步降低的技术问题。
2、为了解决上述技术问题，本专利技术采用如下技术方案予以实现：
3、一种基于强化学习的目标计数方法，该方法按照以下步骤进行：
4、步骤s1，图像预处理：
5、对采集到的图像进行预处理，所述的预处理为裁剪尺寸大小进行对齐标准化处理，且获取图像中待计数的目标检测结果。
6、步骤s2，映射至网格：
7、将步骤s1中得到的检测结果映射到图像划分的网格中，每个网格大小都是32*32。
8、步骤s3，获取密集区域：
9、按照划分策略，根据步骤s2中的映射情况获取图像中对应的密集区域。
10、所述的划分策略为将步骤s1所检测到的目标信息bbx投影到原始图像中的32×32的网格中去，设定初始的密集区域和非密集区域：
11、步骤s4，获取最佳密集区域划分：
12、采用regionnet进行步骤s3中获得的密集区域的边缘细化，设定相应的状态函数、动作选择以及奖励函数，获取最佳密集区域划分。
13、所述的regionnet的核心是dqn网络，所述的regionnet包含一个q网络和一个目标网络。
14、所述的q网络的要素包括状态、动作、q值和奖励函数。
15、所述的奖励函数包括结束奖励函数、强制结束奖励函数和中间奖励函数。
16、所述的中间奖励函数为引导奖励函数。
17、所述的引导奖励函数定义为：
18、
19、
20、式中：
21、rg(et,et-1,at,a′t)表述引导奖励函数；
22、g表示引导奖励；
23、et表示在步骤t时真值计数g(i)与预测数量num之间的绝对值误差；
24、et-1表示在步骤t-1时真值计数g(i)与预测数量num之间的绝对值误差；
25、a表示动作池；
26、at表示步骤t中选择的行动；
27、a′t表示最优行动；
28、g(i)表示图像的真实人数值；
29、num表示预测图像中的人数值；
30、ηg表示当选择最优动作时，给出的奖励值；
31、η+表示虽然当前选择的动作并不是最优动作，但是预测值与真实值之间的误差更小了，给出的奖励值；
32、η-表示当前动作导致预测值与真实值之间的误差更大，给出的奖励值；
33、步骤s5，获取图像中的人数：
34、根据步骤s4中得到的最佳密集区域划分，获取不同区域中的人数，并对所有区域中的人数进行求和，获取图像中的人数。
35、本专利技术与现有技术相比，具有如下技术效果：
36、(ⅰ)本专利技术的方法尝试探索利用强化学习的思想对图像人群分布不均匀的区域按照人员聚集程度进行划分，将划分后的人群非密集区和密集区分别采用基于检测的人数计数和基于密度的人数计数的方法对区域中的目标进行估计，从而解决在不均匀分布场景下导致人数计数误差率较高的问题，进一步提高人群计数方法的准确率和模型的鲁棒性。
37、(ⅱ)本专利技术的基于强化学习的人数计数方法，引入强化学习的思想解决人群分布不均匀的计数问题。首先采用检测模型对图像进行检测，获取目标信息，并根据目标信息初步判断图像中的密集区域和非密集区域。初次选定的非密集区域和密集区域分别采用yolo和famnet的方法来进行区域计数，并统计整张图像的目标数量。采用强化学习的方法，设定选择的密集区域特征和统计的图像的目标数量作为初始状态，选择合适的调整动作来对选定的密集区域的范围进行扩大或缩小，最后选择合适的密集区域范围对整个图像进行计数，以此克服采用单一的检测或密度估计网络造成的误差率过大的不足。
38、(ⅲ)与现有技术对比，本专利技术的方法创新在于：使用强化学习的方法，对图像中区域的划分采用合理的区域选择和优化策略，获取更可靠的区域划分；对整个图像进行区域划分，按照不同的区域采用不同的计数方法来进行目标计数，最终获取更准确地计数结果。使用本专利技术所述方法克服了单一检测或密度估计计数的不足，提升了模型的计数准确率和鲁棒性，可广泛应用于不均匀分布的目标计数领域中。
本文档来自技高网...【技术保护点】
1.一种基于强化学习的目标计数方法，其特征在于，该方法按照以下步骤进行：
2.如权利要求1所述的一种基于强化学习的目标计数方法，其特征在于，步骤S1中，所述的图像预处理的具体包括以下步骤：
3.如权利要求1所述的基于强化学习的目标计数方法，其特征在于，步骤S3中，所述的设定初始的密集区域和非密集区域的方法为：
4.如权利要求1所述的基于强化学习的目标计数方法，其特征在于，步骤S4中，所述的状态是指选择的密集区域grid经过处理为相同大小的图像后，使用Resnet50主干的前四层卷积获取各密集区域的特征并将各密集区域的特征进行拼接得到对应的特征Fi和此时图像中的计数结果Num；
5.如权利要求1所述的基于强化学习的目标计数方法，其特征在于，步骤S4中，在Q网络中，动作设计为改变选择的密集区域的边界范围，因此设计一个动作池a，动作池a中包括四个值操作和一个结束操作，给定一个新的动作at,边界范围将被一个更新操作符修改，根据密集区域的修改，对图像中的目标数量重新进行计算；
6.如权利要求1所述的基于强化学习的目标计数方法，其特
7.如权利要求1所述的基于强化学习的目标计数方法，其特征在于，步骤S4中，所述的RegionNet的任务定义为：
...【技术特征摘要】
1.一种基于强化学习的目标计数方法，其特征在于，该方法按照以下步骤进行：
2.如权利要求1所述的一种基于强化学习的目标计数方法，其特征在于，步骤s1中，所述的图像预处理的具体包括以下步骤：
3.如权利要求1所述的基于强化学习的目标计数方法，其特征在于，步骤s3中，所述的设定初始的密集区域和非密集区域的方法为：
4.如权利要求1所述的基于强化学习的目标计数方法，其特征在于，步骤s4中，所述的状态是指选择的密集区域grid经过处理为相同大小的图像后，使用resnet50主干的前四层卷积获取各密集区域的特征并将各密集区域的特征进行拼接得到对应的特征fi和此时图像中的计数结果num；<...
【专利技术属性】
技术研发人员：许鹏飞，王静雯，郭竞，谷晓康，廖飞，李成，沈征宇，
申请(专利权)人：西北大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。