一种基于YOLOv3与自优化的河道异物检测方法及装置制造方法及图纸

本发明专利技术公开一种基于YOLOv3与自优化的河道异物检测方法及装置。本发明专利技术涉及深度学习和计算机视觉技术领域，解决现有的河道异物检测方法不能通过自发优化的方法，提高异物检测模型准确率的问题。本发明专利技术采用无人机实时拍摄传回视频作为数据来源，减少了人工干预，同时将检测结果生成的异物图像实时反馈到给社会治理平台服务端，实现异物“早发现，早治理”目标。本发明专利技术基于YOLOv3网络，性能上较YOLOv2有所提升，且增加了自优化功能，能够将识别结果加以人工干预生成困难样本，当收集到的困难样本超过一定数量时，自优化会自动开启，随着测试过程的积累，不断触发自优化进程，提升模型准确率。

【技术实现步骤摘要】
一种基于YOLOv3与自优化的河道异物检测方法及装置
本专利技术涉及深度学习和计算机视觉
，尤其涉及一种基于YOLOv3与自优化的河道异物检测方法及装置。
技术介绍
无人机的应用在现代生活中涉及的领域很广，它适应于各种地形，不拘泥于山川湖海、城市乡村，在各个领域都能有一席之地，而且对于一些人类难以完成的任务，无人机能完成的很好，因此在河道检测方面，应用无人机参与社会治理项目是一个创新大胆的尝试。所谓社会治理，就是政府、社会组织、企事业单位、社区以及个人等诸行为者，通过平等的合作型伙伴关系，依法对社会事务、社会组织和社会生活进行规范和管理，最终实现公共利益最大化的过程。在人工智能时代，社会治理需要大量的智能处理单元代替人力治理，由人治转变为“智”治。社会治理平台是社会治理项目的服务端，可将需要治理的资源至于社会治理平台中，由平台统一处理分析，将分析结果上报到处理人员。本专利技术将河道异物检测识别服务置于社会治理平台中，达到“治理联动，平台上报”的目的。河道中常见的异物有浮萍、垃圾、落叶，这些异物会加剧水体污染，使水体富营养化，破坏水体生态环境以及其他物种的生存环境；此外，在河道中游泳、垂钓，冬季在冰面溜冰、奔跑等，若不及时处理，可能会威胁城市居民生命财产安全。目前河道治理多以人工为主，河面异物由专人定期处理，行为不规范的人群由专人劝阻，这些安排虽然解决了河道治理问题，但在河道治理效率方面还需要较大提升。而通过深度学习介入社会治理，将大大提升社会治理的效率，解放一部分人力，及时准确地定位河道异物，减少河道污染以及因河道游泳与垂钓带来的安全隐患。现有河道异物检测方法大多基于传统算法与YOLOv2算法且模型不能自发优化，从长远来看，模型准确率不高，且无法提升。
技术实现思路
本专利技术提供一种基于YOLOv3与自优化的河道异物检测方法及装置，以解决现有的河道异物检测方法不能自发优化，模型准确率不高的问题。第一方面，本专利技术提供一种基于YOLOv3与自优化的河道异物检测方法，所述方法包括：获取无人机拍摄的河道视频数据；对所述河道视频数据按帧截取图片，得到初始数据集；对所述始数据集进行预处理，得到河道图片数据集Q；将所述河道图片数据集Q按预设比例分为训练集，验证集和测试集；将所述训练集，验证集和测试集中的图片数据按照异物策略中制定的异物类别进行标记，得到与所述图片数据一一对应的标记数据集，所述标记数据集包括异物标注框坐标和异物类别信息；对所述训练集及相应的标记数据集进行数据增强处理；利用YOLOv3网络对数据增强处理后的训练集以及相应的标记数据集进行模型训练，得到多个权重的河道异物检测模型；将所述验证集和验证集的标记数据集输入YOLOv3网络，在模型训练的同时对模型进行验证，获得模型当前的准确率，以便于及时调整模型参数，获得最优权重模型；在模型训练完成后，利用测试集和测试集标记数据集对最优权重模型进行测试；获取无人机拍摄的实时河道视频数据；将所述实时河道视频数据输入所述最优权重模型进行河道异物检测，获得河道异物检测结果；将河道异物检测结果以截图的形式返回给社会治理平台服务端相关人员进行人工审核；根据人工审核结果判断所述河道异物检测结果是否正确；如果所述河道异物检测结果正确，发出河道异物警告信息，以通知相关人员进行处理；如果所述河道异物检测结果不正确，接收相关人员对异物类别信息的修改信息，将修改后的图片样本作为困难样本；判断困难样本的数量是否超过预设阈值；如果困难样本的数量超过预设阈值，自动开启自优化进程，对所述困难样本进行去重处理；将去重处理后的困难样本与训练集合并为新的训练集，以利用YOLOv3网络根据所述新的训练集进行模型训练，得到训练迭代后的河道异物检测模型。结合第一方面，在第一方面的第一种可实现方式中，对所述始数据集进行预处理，得到河道图片数据集Q的步骤中，对失真、变形、模糊的图片数据进行筛选和校正，得到所述得到河道图片数据集Q。结合第一方面，在第一方面的第二种可实现方式中，将所述河道图片数据集Q按预设比例分为训练集，验证集和测试集的步骤中，按照8:1:1的比例分将所述河道图片数据集Q为训练集，验证集和测试集。结合第一方面，在第一方面的第三种可实现方式中，将所述训练集，验证集和测试集中的图片数据按照异物策略中制定的异物类别进行标记，得到与所述图片数据一一对应的标记数据集包括：对所述训练集，验证集和测试集的每一张图片中的每一个在异物类别中的物体用矩形框框选物体，并存储矩形框在图片中的位置，所述位置包括矩形框左上角与右下角坐标信息，同时对所述物体的类别进行标记，将标记后的信息生成XML文件，形成与标记的图片一一对应的标记数据集。结合第一方面的第三种可实现方式，在第一方面的第四种可实现方式中，所述异物类别包括桥梁、水草、船、浮萍、落叶、牛奶盒、树枝、瓶子、塑料垃圾、塑料袋、球形物体和人。结合第一方面，在第一方面的第五种可实现方式中，对所述训练集及相应的标记数据集进行数据增强处理的步骤中，将标记好的训练集图片通过数据增强的方式增加至原始训练数据的2～10倍。结合第一方面，在第一方面的第六种可实现方式中，对所述训练集及相应的标记数据集进行数据增强处理包括：采用翻转变换、随机修剪、色彩抖动、平移变换、尺度变换、对比度变换、噪声扰动、旋转变换或反射变换，以及SamplePairing方法进行数据增强处理，所述SamplePairing方法为随机选择两个样本xa和xb，这两个样本对应的标签分别为ya和yb，从ya和yb中随机选择一个标签为y，则得出以下结论：(xa+xb)/2＝Z，Z为新样本，其标签为y。结合第一方面，在第一方面的第七种可实现方式中，利用YOLOv3网络对数据增强处理后的训练集以及相应的标记数据集进行模型训练，得到多个权重的河道异物检测模型的步骤中，将标记好的图片样本与背景图片样本一起送入YOLOv3网络，标记好的图片为正样本，背景图片不含有异物类别中的物体，不做标注，未标注的背景图片为负样本，正负样本一起在YOLOv3网络中训练，通过迭代训练获得多个权重的河道异物检测模型。结合第一方面，在第一方面的第八种可实现方式中，对所述困难样本进行去重处理包括：根据图像像素直方图分布计算困难样本之间的相似度，采用下式：式中，P为相似度，gi，si分别为两张困难样本图片各自直方图曲线的第i个点，N为各自直方图曲线顶点的序号；判断两个困难样本的相似度P是否大于0.8；如果所述相似度P大于0.8，删除两个困难样本图片中任意一张图片。第二方面，本专利技术提供一种基于YOLOv3与自优化的河道异物检测装置，所述装置包括：第一获取单元，用于获取无人机拍摄的河道视频数据；截取单元，用于对所述河道视频数据按帧截取图片，得到初始数据集；预处理单元，用于对所述始数据集本文档来自技高网...

【技术保护点】
1.一种基于YOLOv3与自优化的河道异物检测方法，其特征在于，所述方法包括：/n获取无人机拍摄的河道视频数据；/n对所述河道视频数据按帧截取图片，得到初始数据集；/n对所述始数据集进行预处理，得到河道图片数据集Q；/n将所述河道图片数据集Q按预设比例分为训练集，验证集和测试集；/n将所述训练集，验证集和测试集中的图片数据按照异物策略中制定的异物类别进行标记，得到与所述图片数据一一对应的标记数据集，所述标记数据集包括异物标注框坐标和异物类别信息；/n对所述训练集及相应的标记数据集进行数据增强处理；/n利用YOLOv3网络对数据增强处理后的训练集以及相应的标记数据集进行模型训练，得到多个权重的河道异物检测模型；/n将所述验证集和验证集的标记数据集输入YOLOv3网络，在模型训练的同时对模型进行验证，获得模型当前的准确率，以便于及时调整模型参数，获得最优权重模型；/n在模型训练完成后，利用测试集和测试集标记数据集对最优权重模型进行测试；/n获取无人机拍摄的实时河道视频数据；/n将所述实时河道视频数据输入所述最优权重模型进行河道异物检测，获得河道异物检测结果；/n将河道异物检测结果以截图的形式返回给社会治理平台服务端相关人员进行人工审核；/n根据人工审核结果判断所述河道异物检测结果是否正确；/n如果所述河道异物检测结果正确，发出河道异物警告信息，以通知相关人员进行处理；/n如果所述河道异物检测结果不正确，接收相关人员对异物类别信息的修改信息，将修改后的图片样本作为困难样本；/n判断困难样本的数量是否超过预设阈值；/n如果困难样本的数量超过预设阈值，自动开启自优化进程，对所述困难样本进行去重处理；/n将去重处理后的困难样本与训练集合并为新的训练集，以利用YOLOv3网络根据所述新的训练集进行模型训练，得到训练迭代后的河道异物检测模型。/n...

【技术特征摘要】
1.一种基于YOLOv3与自优化的河道异物检测方法，其特征在于，所述方法包括：
获取无人机拍摄的河道视频数据；
对所述河道视频数据按帧截取图片，得到初始数据集；
对所述始数据集进行预处理，得到河道图片数据集Q；
将所述河道图片数据集Q按预设比例分为训练集，验证集和测试集；
将所述训练集，验证集和测试集中的图片数据按照异物策略中制定的异物类别进行标记，得到与所述图片数据一一对应的标记数据集，所述标记数据集包括异物标注框坐标和异物类别信息；
对所述训练集及相应的标记数据集进行数据增强处理；
利用YOLOv3网络对数据增强处理后的训练集以及相应的标记数据集进行模型训练，得到多个权重的河道异物检测模型；
将所述验证集和验证集的标记数据集输入YOLOv3网络，在模型训练的同时对模型进行验证，获得模型当前的准确率，以便于及时调整模型参数，获得最优权重模型；
在模型训练完成后，利用测试集和测试集标记数据集对最优权重模型进行测试；
获取无人机拍摄的实时河道视频数据；
将所述实时河道视频数据输入所述最优权重模型进行河道异物检测，获得河道异物检测结果；
将河道异物检测结果以截图的形式返回给社会治理平台服务端相关人员进行人工审核；
根据人工审核结果判断所述河道异物检测结果是否正确；
如果所述河道异物检测结果正确，发出河道异物警告信息，以通知相关人员进行处理；
如果所述河道异物检测结果不正确，接收相关人员对异物类别信息的修改信息，将修改后的图片样本作为困难样本；
判断困难样本的数量是否超过预设阈值；
如果困难样本的数量超过预设阈值，自动开启自优化进程，对所述困难样本进行去重处理；
将去重处理后的困难样本与训练集合并为新的训练集，以利用YOLOv3网络根据所述新的训练集进行模型训练，得到训练迭代后的河道异物检测模型。


2.如权利要求1所述的方法，其特征在于，对所述始数据集进行预处理，得到河道图片数据集Q的步骤中，对失真、变形、模糊的图片数据进行筛选和校正，得到所述河道图片数据集Q。


3.如权利要求1所述的方法，其特征在于，将所述河道图片数据集Q按预设比例分为训练集，验证集和测试集的步骤中，按照8:1:1的比例将所述河道图片数据集Q分为训练集，验证集和测试集。


4.如权利要求1所述的方法，其特征在于，将所述训练集，验证集和测试集中的图片数据按照异物策略中制定的异物类别进行标记，得到与所述图片数据一一对应的标记数据集包括：
对所述训练集，验证集和测试集的每一张图片中的每一个在异物类别中的物体用矩形框框选物体，并存储矩形框在图片中的位置，所述位置包括矩形框左上角与右下角坐标信息，同时对所述物体的类别进行标记，将标记后的信息生成XML文件，形成与标记的图片一一对应的标记数据集。


5.如权利要求4所述的方法，其特征在于，所述异物类别包括桥梁、水草、船、浮萍、落叶、牛奶盒、树枝、瓶子、塑料垃圾、塑料袋、球形物体和人。


6.如权利要求1所述的方法，其特征在于，对所述训练集以及相应的标记数据集进行数据增强处理的步骤中，将标记好的训练集图片通过数据增强的方式增加至原始训练数据的2～10倍。


7.如权利要求1所述的方法，其特征在于，对所述训练集以及相应的标记数据集进行数据增强处理包括：
采用翻转变换、随机修剪、色彩抖动、平移变换、尺度变换、对比度变换、噪声扰动、旋转变换或反射变换...

【专利技术属性】
技术研发人员：缑秦征，周勇，黄笑，刘加，周婧，
申请(专利权)人：中国电子系统技术有限公司，
类型：发明
国别省市：北京;11