一种基于深度神经网络的司法图像质量度量方法技术

本发明专利技术提出了一种基于深度神经网络的司法图像质量度量方法，用于帮助司法工作人员对获得的司法图像进行质量度量，量化图像质量，以帮助司法人员在工作时对图片质量进行预估，减少低质量材料的流入，提高工作效率。该发明专利技术的主要创新在于(1)使用裁剪技术将图片处理成符合卷积神经网络的输入，避免对图像质量造成进一步损失；(2)使用深度神经网络提取图像深层次特征；(3)利用SVR对图像质量进行量化；(4)使用统计方法得到司法图像的质量分数。

【技术实现步骤摘要】
一种基于深度神经网络的司法图像质量度量方法
本专利技术属于图像质量评估的无参考图像质量评估领域，通过搭建深度神经网络提取司法图像特征，并使用回归、统计相关方法对司法图像质量进行度量，量化案件图片质量。例如，在我国司法领域，司法图像质量参差不齐，可以使用本专利在获取司法图像时不接收低质量图像，保证司法图像质量。本专利也可以量化司法图像质量，给图片证据可信度提供参考。
技术介绍
目前，图片证据在司法活动过程中是十分重要的一类证据，而图片证据的质量评估工作主要由人工判断为主，需要消耗大量人力。同时，由于司法从业者年龄、工作经验、教育背景等差异，对于同一张图片的评估结果也存在差异。因此，需要一个针对司法图像的质量度量方法。基于这一问题，本系统搭建深度神经网络提取司法图像特征，通过回归计算图像局部质量分数；进一步地，综合图像多个局部质量，计算得出图像整体质量分数。图像特征提取选择预训练好的VGG16卷积神经网络，并使用司法图像对该模型进行fine-tune。卷积神经网络将多个特征图作为输入，通过卷积操作，使用卷积核对图像进行局部感知，提取图像特征；通过池化操作，降低数据维度，避免过拟合。卷积、池化层的多层叠加，最终得到图像高层次特征。VGG16卷积神经网络包含了16个隐藏层，其中有13个卷积层和3个全连接层，虽然层数较多，但是其结构简单，使用的均为3×3的卷积和2×2的池化。同时，多个卷积层与非线性的激活层交替，比单一的卷积层结构更能提取处深层次的更好的特征。VGG16模型主要是为了解决图片分类问题。该卷积神经网络的输入大小是224×224×3，即图片大小为224×224像素，并含有RGB三个通道，每个通道上的颜色提取出来形成一个矩阵，最终叠加变成224×224×3大小的输入。其输出结果为1×1000，每一维分别表示图片属于该类的可能性大小。预训练好的VGG16模型使用ImageNet数据集进行分类训练，将图片分成1000个类别。fine-tune是迁移学习的一种方式，旨在利用训练好的卷积神经网络部分参数，提取图像低层次特征，从而避免从头开始训练模型，需要消耗大量的数据集和时间。对模型进行fine-tune主要是使用没有经过训练的参数替换训练好的模型的后面几层的参数，搭建自己的模型，使其满足需要的输出，并使用自己的数据集对模型进行训练。在训练过程中，冻结前面已经训练好的部分参数，主要是通过训练对后面全新的参数进行调整，从而获得我们所需要的模型。本系统主要将卷积神经网络用于提取局部图像的特征，结合人对事物的评价倾向于定性描述而非定量描述的习惯，将卷积神经网络的输出分成5类：好、较好、一般、较差、差，形成特征向量，共有5个维度，分别代表图像质量属于这5类的概率。
技术实现思路
本专利技术要解决的问题是：提出一种基于深度神经网络的司法图像质量度量方法。本专利技术的技术方案为：1)处理图片大小，将图像随机切割成30个224×224大小的图像块。2)将图像块放到卷积神经网络中提取特征，将图像分成好、较好、一般、较差、差5类，形成含有5个维度特征向量。3)对特征向量进行回归分析，得到局部图像块的质量分数。4)对于单张图像切割得到的30个局部图像块，将局部图像质量分数的平均数作为该司法图像最终的质量分数。本专利技术的有益效果是：对司法图像质量进行度量，使得司法工作人员在获得相关材料的时候使用本方法对图像质量进行评估，将低质量的图像拒之门外，以此保证司法机关在工作过程中使用材料的质量，提高工作效率。附图说明图1系统业务流程图图2卷积神经网络特征变换图具体实施方法本方法是基于深度神经网络对图片质量进行度量，因此首先建立卷积神经网络模型，选择预训练好的VGG16模型，使用司法图像对模型进行fine-tune。通过该模型提取图像特征，并将特征放到回归模型中，得到图像局部质量分数，最终对单张图像多个局部图像块的质量分数进行处理，得到图像最终质量分数。本方法具体执行流程见图1。在该系统中，首先对图像大小进行处理，使得图像满足卷积神经网络所需要的输入大小：224×224。对于图像质量来说，在度量过程不能使用任何方式改变要求度量的图像质量，因此没有采取直接将司法图像调整至224×224，而是选择通过裁剪得到满足条件的图像大小。由于目前司法图像的主要拍摄设备：手机，其拍摄出来的图片大多远大于224×224，而司法图像的拍摄强目的性决定了图像主要内容在图片中央位置。在图像大小处理过程中，如果图像远大于，选择图片居中64％部分，即四边各去除10％，在裁剪后的部分中继续随机裁剪30个224×224大小的图像块；如果图片居中64％部分不足224×224，即图片原始大小不足280×280，则直接将图像随机裁剪成30个224×224大小的图像块；如果图片大小不足224×224，则将图片用边缘色填充到224×224大小，并且对该类图片的处理不需要进行最后一步，回归模型的输出即为图片的质量分数。选择预训练并且fine-tune好的VGG16卷积神经网络模型，将统一224×224大小的图像块作为输入，读取在RGB三个通道的值，形成224×224×3大小的数组输入到模型中。通过13个卷积层、5个最大池化层和2个全连接层，得到一个5维特征向量，分别代表该输入图像在好、较好、一般、较差、差这5类上的表现。具体特征变换见图2。对于图像特征向量，通过回归模型将其转换成单个质量分数，以此代表224×224大小的局部图像质量。如果图像较大，在前面过程中被随机裁剪成了30个224×224大小的图像块，最后需要对30个局部图像质量分数进行处理，选择一个代表整张图片对质量分数。在本方法中，选择将30个局部质量分数的平均数作为整张图片的质量分数，即综上，本方法通过对图片进行裁剪，避免了对图片质量的进一步破坏，并通过卷积神经网络提取图像特征，通过回归模型得到图像局部质量质量分数，对局部质量整合之后可以有效地对司法图像质量进行度量，给出一张司法图像的质量分数。本文档来自技高网...

【技术保护点】
1.一种基于深度神经网络的司法图像质量度量方法，其特征是：(1)案件图片为彩色图片，具有RGB三个通道，(2)对案件图片进行大小处理，将图片裁剪成卷积神经网络的输入大小，(3)利用卷积神经网络提取图像深层次特征，得到图像的特征向量，(4)利用SVR(支持向量回归)将特征向量转换成质量分数。/n

【技术特征摘要】
1.一种基于深度神经网络的司法图像质量度量方法，其特征是：(1)案件图片为彩色图片，具有RGB三个通道，(2)对案件图片进行大小处理，将图片裁剪成卷积神经网络的输入大小，(3)利用卷积神经网络提取图像深层次特征，得到图像的特征向量，(4)利用SVR(支持向量回归)将特征向量转换成质量分数。


2.据权利要求1所述的基于深度神经网络的司法图像质量度量方法，其特征是上传图片，通过对原始图片的裁剪，使得图片大小符合VGG16模型的输入大小，并加载图片。将图片放到训练好的卷积神经网络中，通过计算得到图片的特征向量，使用SVR将特征向量转换成图片质量分数。


3.据权利要求1，2所述的基于深...

【专利技术属性】
技术研发人员：刘嘉，顾琦琪，何铁科，廉昊，陈振宇，
申请(专利权)人：南京大学，
类型：发明
国别省市：江苏;32