一种基于边端协同的目标检测方法、系统及存储介质技术方案

本发明专利技术提供了一种基于边缘协同的目标检测方法、系统及存储介质，应用于基于边端协同的目标检测系统，基于边端协同的目标检测系统包括移动端和边缘云，包括：由移动端获取待检测图像，对待检测图像进行粗粒度分类，获得包含第一分类结果的第一结果图像，将第一分类结果或第一结果图像作为第一目标检测结果；由移动端判断移动端和边缘云是否符合预设条件；若是，则由移动端将待检测图像发送给边缘云，由边缘云将待检测图像进行细粒度分类，获得包含第二分类结果的第二结果图像，将第二分类结果或第二结果图像发送给移动端，由移动端基于第二分类结果或第二结果图像获得第二目标检测结果，保证在快速响应检测任务的基础上获得最优的目标检测结果。

【技术实现步骤摘要】
一种基于边端协同的目标检测方法、系统及存储介质
本专利技术涉及图像识别
，具体而言，涉及一种基于边端协同的目标检测方法、系统及存储介质。
技术介绍
人工智能的发展，为可穿戴计算设备智能化发展带来重大机遇，智能移动终端成为当前科技发展的热点领域。智能化可穿戴设备使用户的感知能力得到极大延伸，结合人工智能与计算机视觉等技术开发可穿戴智能应用，将使用户的任务遂行能力、协同能力等得到极大提升。随着深度学习理论的完善和在计算机视觉方面应用的发展，深度神经网络应用于目标检测的研究越来越热门，虽然深度神经网络与目标检测融合方面取得了一定的成果，但其仍存在着占用大量内存和计算资源的问题。现有的目标检测系统主要搭载在本地服务器或远程的云端服务器上，大型云计算服务器处于终端产生数据和应用模型的远端，这使得检测模型无法快速地发布和应用到终端检测设备；若将目标检测系统搭载在移动端，会占用大量内存和计算资源，移动端算力不足又会导致检测精度下降。
技术实现思路
本专利技术解决的问题是如何在快速得出目标检测结果的前提下平衡检测精度与检测速度。为解决上述问题，本专利技术提供一种基于边端协同的目标检测方法，应用于基于边端协同的目标检测系统，所述基于边端协同的目标检测系统包括移动端和边缘云，包括：由所述移动端获取待检测图像，对所述待检测图像进行粗粒度分类，获得包含第一分类结果的第一结果图像，将所述第一分类结果或所述第一结果图像作为第一目标检测结果；由所述移动端判断所述移动端和所述边缘云是否符合预设条件；若是，则由所述移动端将所述待检测图像发送给所述边缘云，由所述边缘云将所述待检测图像进行细粒度分类，获得包含第二分类结果的第二结果图像，将所述第二分类结果或者所述第二结果图像发送给所述移动端，由所述移动端基于所述第二分类结果或者所述第二结果图像获得第二目标检测结果。相对于现有技术，在判断移动端和边缘云是否符合预设条件之前进行粗粒度分类，有利于充分利用移动端的计算资源，保证能快速地获得初步的检测结果；通过判断移动端和边缘云是否符合预设条件，确定图像的处理方式，保证在快速获得图像检测结果的情况下合理利用资源以获得最好的目标检测结果；通过将细粒度分类分配至边缘云进行，解决了移动端的计算能力和功耗受限的问题，并且在移动端独立完成对待检测图像的粗粒度分类，保证检测任务的快速响应，也可以保证第一结果图像能够在移动端上不间断地显示。可选地，所述预设条件包括以下至少一者：网络速度大于预设速度、网络延迟小于预设网络延迟、网络连接质量优于预设网络连接质量、边缘云资源占用情况小于预设比例。由此，保证可以从移动端所处的网络环境和/或边缘云资源占用情况等多方面立体地判断是否适合将待检测图像传输至边缘云进行细粒度分类。可选地，所述由所述移动端基于所述第二分类结果或者所述第二结果图像获得第二目标检测结果包括：将所述第二分类结果映射在所述第一结果图像，得到映射图像，将所述映射图像作为所述第二目标检测结果。由此，可不传输第二结果图像，仅传输第二分类结果到移动端，文件较小，可以保证传输的时效性，同时，第二分类结果映射在第一结果图像可以使最终显示输出的第二目标检测结果更为直观，兼顾了目标结果输出效率与显示效果。可选地，所述由所述边缘云将所述待检测图像进行细粒度分类，获得包含第二分类结果的第二结果图像包括：由所述边缘云通过第一目标检测模型将所述待检测图像进行目标的位置检测，并根据位置检测结果提取所述目标，获得目标图像子块，将所述目标图像子块作为第二目标检测模型的输入图像，通过所述第二目标检测模型对所述目标图像子块进行处理，获得所述第二结果图像，其中，所述第一目标检测模型为YOLOv3-tiny模型，所述第二目标检测模型为B-CNN模型。由此，细粒度分类包括识别图像中的目标并框选，使用B-CNN模型进一步识别目标的类别，保证识别的结果更为详细。可选地，在移动端获取待检测图像，对所述待检测图像进行粗粒度分类之前，还包括：获取训练图像；由所述训练图像构建数据集，所述数据集包括训练集、测试集和验证集，其中，所述数据集包括第一数据集和第二数据集，所述第一数据集包括第一训练集、第一测试集和第一验证集，所述第二数据集包括第二训练集、第二测试集和第二验证集；基于所述第一数据集和所述第二数据集分别获得第一目标检测模型和第二目标检测模型，其中，所述第一目标检测模型进行所述粗粒度分类，所述第二目标检测模型进行所述细粒度分类。由此，保证训练出的目标检测模型符合训练要求。可选地，所述由所述训练图像构建数据集，所述数据集包括训练集、测试集和验证集包括：对所述训练图像进行目标类别标注、目标位置标注，将标注后的图像作为第一数据集的图像，其中，所述目标位置标注将待检测目标的位置用矩形框标注；对所述训练图像进行裁剪处理，获得图像子块，所述图像子块包含目标对象，将所述图像子块作为所述第二数据集的图像。由此，保证训练目标与训练结果相匹配。可选地，所述基于所述第一数据集和所述第二数据集分别获得第一目标检测模型和第二目标检测模型包括：基于所述第一训练集获得第一机器学习模型；基于所述第一测试集判断所述第一机器学习模型的检测情况是否满足第一预设要求，其中，所述第一预设要求包括所述第一机器学习模型的检测速度和检测正确率；若所述第一机器学习模型未满足所述第一预设要求，则判断所述第一机器学习模型的训练次数是否达到预设最大次数，若未达到所述预设最大次数，则再次训练预设次数，返回所述基于第一测试集判断所述第一机器学习模型的检测情况是否满足第一预设要求的步骤；基于所述第二训练集获得第二机器学习模型；基于所述第二测试集判断所述第二机器学习模型的检测情况是否满足第二预设要求，其中，所述第二预设要求包括所述第二机器学习模型的检测速度和检测正确率；若所述第二机器学习模型未满足所述第二预设要求，则判断所述第二机器学习模型的训练次数是否达到所述预设次数，若未达到所述预设次数，则再次训练预设次数后，返回执行所述基于第二测试集判断所述第二机器学习模型的检测情况是否满足第二预设要求的步骤。由此，保证训练出的目标检测模型符合训练目标，且在训练次数达到预期时结束训练，可以有效地节约训练资源。可选地，所述基于所述第一数据集和所述第二数据集分别获得第一目标检测模型和第二目标检测模型还包括：基于所述第一测试集或所述第二测试集的结果调整模型参数，获得符合预设检测速度区间和预设检测精度区间的目标检测模型。由此，可以保证目标检测模型的检测速度与检测精度的平衡。本专利技术还提供一种基于边端协同的目标检测系统，包括：移动端和边缘云；由所述移动端获取待检测图像，对所述待检测图像进行粗粒度分类，获得包含第一分类结果的第一结果图像，将所述第一分类结果或所述第一结果图像作为第一目标检测结果；由所述移动端判断所述移动端和所述边缘云是否符合预设条件；若是，则由所述移动端将所述待检测图像发送给所述边缘云，由所述边缘云将所述待检测图本文档来自技高网...

【技术保护点】
1.一种基于边端协同的目标检测方法，其特征在于，应用于基于边端协同的目标检测系统，所述基于边端协同的目标检测系统包括移动端和边缘云，包括：/n由所述移动端获取待检测图像，对所述待检测图像进行粗粒度分类，获得包含第一分类结果的第一结果图像，将所述第一分类结果或所述第一结果图像作为第一目标检测结果；/n由所述移动端判断所述移动端和所述边缘云是否符合预设条件；/n若是，则由所述移动端将所述待检测图像发送给所述边缘云，由所述边缘云将所述待检测图像进行细粒度分类，获得包含第二分类结果的第二结果图像，将所述第二分类结果或者所述第二结果图像发送给所述移动端，由所述移动端基于所述第二分类结果或者所述第二结果图像获得第二目标检测结果。/n

【技术特征摘要】
1.一种基于边端协同的目标检测方法，其特征在于，应用于基于边端协同的目标检测系统，所述基于边端协同的目标检测系统包括移动端和边缘云，包括：
由所述移动端获取待检测图像，对所述待检测图像进行粗粒度分类，获得包含第一分类结果的第一结果图像，将所述第一分类结果或所述第一结果图像作为第一目标检测结果；
由所述移动端判断所述移动端和所述边缘云是否符合预设条件；
若是，则由所述移动端将所述待检测图像发送给所述边缘云，由所述边缘云将所述待检测图像进行细粒度分类，获得包含第二分类结果的第二结果图像，将所述第二分类结果或者所述第二结果图像发送给所述移动端，由所述移动端基于所述第二分类结果或者所述第二结果图像获得第二目标检测结果。


2.根据权利要求1所述的基于边端协同的目标检测方法，其特征在于，所述预设条件包括以下至少一者：网络速度大于预设速度、网络延迟小于预设网络延迟、网络连接质量优于预设网络连接质量、边缘云资源占用情况小于预设比例。


3.根据权利要求2所述的基于边端协同的目标检测方法，其特征在于，所述由所述移动端基于所述第二分类结果或者所述第二结果图像获得第二目标检测结果包括：
将所述第二分类结果映射在所述第一结果图像，得到映射图像，将所述映射图像作为所述第二目标检测结果。


4.根据权利要求3所述的基于边端协同的目标检测方法，其特征在于，所述由所述边缘云将所述待检测图像进行细粒度分类，获得包含第二分类结果的第二结果图像包括：
由所述边缘云通过第一目标检测模型将所述待检测图像进行目标的位置检测，并根据位置检测结果提取所述目标，获得目标图像子块，将所述目标图像子块作为第二目标检测模型的输入图像，通过所述第二目标检测模型对所述目标图像子块进行处理，获得所述第二结果图像，其中，所述第一目标检测模型为YOLOv3-tiny模型，所述第二目标检测模型为B-CNN模型。


5.根据权利要求4所述的基于边端协同的目标检测方法，其特征在于，在所述由所述移动端获取待检测图像，对所述待检测图像进行粗粒度分类之前，还包括：
获取训练图像；
由所述训练图像构建数据集，所述数据集包括训练集、测试集和验证集，其中，所述数据集包括第一数据集和第二数据集，所述第一数据集包括第一训练集、第一测试集和第一验证集，所述第二数据集包括第二训练集、第二测试集和第二验证集；
基于所述第一数据集和所述第二数据集分别获得第一目标检测模型和第二目标检测模型，其中，所述第一目标检测模型用于进行所述粗粒度分类，所述第二目标检测模型用于进行所述细粒度分类。


6.根据权利要求5所述的基于边端协同的目标检测方法，其特征在于，所述由所述训练图像构建数据集包括：
对所述训练图像...

【专利技术属性】
技术研发人员：张展，左德承，冯懿，封威，刘宏伟，胡馨月，卢海斌，刘强，温东新，董剑，舒燕君，罗丹彦，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：黑龙江;23