多类型样本数据制作装置及方法制造方法及图纸

本发明专利技术提供一种多类型样本数据制作装置，其特征在于，用于对导入的视频数据进行自动地目标检测以及多类型处理从而生成样本数据，包括：视频处理部，用于对视频数据进行预处理从而去除视频数据中模糊、无目标物体的帧并得到作为原始样本集的多个预处理帧；分辨率处理部，用于根据预设的放缩比例并利用双线性差值算法对预处理帧进行分辨率的放缩从而得到作为多尺度样本集的多个不同尺度的图像帧；对比度处理部，用于对预处理帧进行降低对比度处理从而得到作为低对比度样本集的多个不同对比度的图像帧；噪声处理部，用于对预处理帧进行添加噪声处理从而得到作为噪声样本集的多个被添加随机噪声的图像帧；数据命名存储部，用于对图像帧进行统一命名并存储为样本数据。

Device and method for making multi type sample data

【技术实现步骤摘要】
多类型样本数据制作装置及方法
本专利技术属于计算机视觉、图像处理
，具体涉及一种实现多类型行人样本数据的数据集制作装置及方法。
技术介绍
目前，在计算机视觉研究领域中，基于深度学习的算法在各个方向都有着良好的表现，其中大部分算法是根据卷积神经网络进行设计，通过采用预先准备好的数据集进行预训练，从而使得训练后的卷积神经网络能够根据训练的完成任务。然而，基于深度学习的算法的优化及改进离不开大量的数据支持及验证。现存的大部分数据集都具有数据质量高低不等、数据标注内容不够丰富、数据场景过于单一、数据格式不统一等问题。特别是在图像数据类型上，目前已有的行人样本数据图像数据类型单一，同样的样本数据尺度单一，缺少低质量的样本数据。而多尺度和低质量数据对算法训练和测试来说必不可少，若缺少了数据集，基于图像数据的卷积神经网络就难以发挥较好的识别效果，也难以对该卷积神经网络进行优化，从而在使用中容易产生误识别、无法识别等问题。
技术实现思路
为解决上述问题，提供一种能够规范地半自动化实现行人检测级行人重识别的大型数据集制作的装置及方法，本专利技术采用了如下技术方案：本专利技术提供了一种多类型样本数据制作装置，其特征在于，用于对导入的视频数据进行自动地目标检测以及多类型处理从而生成样本数据，包括：视频处理部，用于对视频数据进行预处理从而去除视频数据中模糊、无目标物体的帧并得到作为原始样本集的多个预处理帧；分辨率处理部，用于根据预设的放缩比例并利用双线性差值算法对预处理帧进行分辨率的放缩从而得到作为多尺度样本集的多个不同尺度的图像帧；对比度处理部，用于对预处理帧进行降低对比度处理从而得到作为低对比度样本集的多个不同对比度的图像帧；噪声处理部，用于对预处理帧进行添加噪声处理从而得到作为噪声样本集的多个被添加随机噪声的图像帧；数据命名存储部，用于对多尺度样本集、低对比度样本集以及噪声样本集中的图像帧进行统一命名并存储为样本数据。本专利技术提供的多类型样本数据制作装置，还可以具有这样的技术特征，其中，预处理包括：使用帧间差分法去除视频数据中模糊且无目标的帧；从处理后的视频数据中每五帧抽取一帧作为预处理帧。本专利技术提供的多类型样本数据制作装置，还可以具有这样的技术特征，其中，放缩比例的取值在0.5至3间。本专利技术提供的多类型样本数据制作装置，还可以具有这样的技术特征，其中，添加噪声处理为在预处理图像帧中随机增加椒盐噪声与高斯噪声。本专利技术还提供了一种多类型样本数据制作方法，其特征在于，包括如下步骤：步骤S1，对视频数据进行预处理从而去除视频数据中模糊、无目标物体的帧并得到作为原始样本集的多个预处理帧；步骤S2，根据预设的放缩比例并利用双线性差值算法对预处理帧进行分辨率的放缩从而得到作为多尺度样本集的多个不同尺度的图像帧；步骤S3，对预处理帧进行降低对比度处理从而得到作为低对比度样本集的多个不同对比度的图像帧；步骤S4，对预处理帧进行添加噪声处理从而得到作为噪声样本集的多个被添加随机噪声的图像帧；步骤S5，对多尺度样本集、低对比度样本集以及噪声样本集中的图像帧进行统一命名并存储为样本数据。专利技术作用与效果根据本专利技术的多类型样本数据制作装置及方法，由于通过帧间差分对输入的视频数据进行预处理，因此有效地去除了视频数据中无目标以及模糊的帧。同时，由于结合了多种类型的图像处理方法分别对预处理后的视频帧进行处理，生成了多种类型的样本集，从而解决了数据类型单一的问题。进一步，由于通过双线性插值方法处理得到多尺度的图像，还通过降低对比度以及模拟高斯分布将视频帧处理为低质量图像，从而有助于在利用本实施例构建的样本数据对卷积神经网络进行训练时，能够因为训练集中富含低质量图像以及多尺度图像从而最终得到稳定性及识别率更高的卷积神经网络。因此，通过本实施例的多类型样本数据制作装置及方法，能够得到格式统一、多尺度、多类型的样本数据，不仅方便了用户根据实际需要构建相应的样本数据，还方便了用户通过该样本数据构建训练数据集从而对卷积神经网络进行训练。附图说明图1是本专利技术实施例中多类型样本数据制作装置的结构框图；图2是本专利技术实施例中双线性插值算法的原理示意图；以及图3是本专利技术实施例中多类型样本数据制作方法的流程图。具体实施方式为了使本专利技术实现的技术手段、创作特征、达成目的与功效易于明白了解，以下结合实施例及附图对本专利技术的多类型样本数据制作装置及方法作具体阐述。<实施例>本专利技术的硬件平台采用一台计算机完成程序的运行，该计算机设一个NVIDIATITANX显卡用以GPU加速。本实施例中，采用了现有的caltech行人检测数据集以及citypersons行人检测数据集用作训练以及测试。其中，caltech行人检测数据集是加州理工大学于2012年推出的大型公开行人数据集，使用车载相机进行拍摄，有超过350000个行人目标。Citypersons数据集是基于cityscape数据集对行人部分进行额外标注的数据集，具有更加细分的标注类别。图1是本专利技术实施例中多类型样本数据制作装置的结构框图。如图1所示，多类型样本数据制作装置100包括视频处理部1、分辨率处理部2、对比度处理部3、噪声处理部4以及数据命名存储部5、装置通信部6以及控制上述各部的装置控制部7。其中，装置通信部6用于进行多类型样本数据制作装置100的各个构成部件之间以及多类型样本数据制作装置100与其他系统之间的数据通信。装置控制部7存储有用于对多类型样本数据制作装置100的各个构成部件的工作进行控制的计算机程序。视频处理部1用于对需要标注的视频数据进行预处理，去处模糊、无目标物体的帧。本实施例中，用户在需要进行样本数据的制作时，将视频数据导入多类型样本数据制作装置100即可进行对类型行人样本数据的制作过程。该视频数据可以是监控视频等针对行人拍摄的视频。本实施例中，视频处理部1的处理对象为视频数据中的原始视频帧，视频处理部1采用帧间差分对各个原始视频帧进行预处理。具体为：首先，对原始视频帧进行3×3中值滤波预处理，去掉图像随机噪声(用于减少以后运算的复杂度，克服噪声对图像处理结果的干扰)。其次，根据视频序列采用帧间差分依次对视频数据中各个帧进行处理，其中，将pk(x,y)表示当前帧图像，将pk-1(x,y)表示前一帧图像，若不存在前一帧图像则表示当前帧图像为视频数据的起始，进一步将后一帧作为当前帧图像并进行处理。计算当前帧与背景帧的差得FD(x,y)，从图像中提取出完整的目标，计掉当前1帧的差得FG(x,y)，得到目标的变化量；求帧差FD(x,y)与FG(x,y)的交集从而得到运动目标粗糙的运动区域，并进行形态学处理。进一步，将视频数据中无目标且模糊的视频帧删去。最后，从处理后的视频数据中每五帧抽取一帧作为预处理帧。分辨率处理部2用于根据预设的放缩比例对预处理帧进行尺度放缩，具体利用双线性插值算法对预处理帧进行分辨率本文档来自技高网...

【技术保护点】
1.一种多类型样本数据制作装置，其特征在于，用于对导入的视频数据进行自动地目标检测以及多类型处理从而生成样本数据，包括：/n视频处理部，用于通过帧间差分法对所述视频数据进行预处理从而去除所述视频数据中模糊、无目标物体的帧并得到作为原始样本集的多个预处理帧；/n分辨率处理部，用于根据预设的放缩比例并利用双线性差值算法对所述预处理帧进行分辨率的放缩从而得到作为多尺度样本集的多个不同尺度的图像帧；/n对比度处理部，用于对所述预处理帧进行降低对比度处理从而得到作为低对比度样本集的多个不同对比度的图像帧；/n噪声处理部，用于对所述预处理帧进行添加噪声处理从而得到作为噪声样本集的多个被添加随机噪声的图像帧；以及/n数据命名存储部，用于对所述原始样本集、所述多尺度样本集、所述低对比度样本集以及所述噪声样本集中的图像帧进行统一命名并存储为所述样本数据。/n

【技术特征摘要】
1.一种多类型样本数据制作装置，其特征在于，用于对导入的视频数据进行自动地目标检测以及多类型处理从而生成样本数据，包括：
视频处理部，用于通过帧间差分法对所述视频数据进行预处理从而去除所述视频数据中模糊、无目标物体的帧并得到作为原始样本集的多个预处理帧；
分辨率处理部，用于根据预设的放缩比例并利用双线性差值算法对所述预处理帧进行分辨率的放缩从而得到作为多尺度样本集的多个不同尺度的图像帧；
对比度处理部，用于对所述预处理帧进行降低对比度处理从而得到作为低对比度样本集的多个不同对比度的图像帧；
噪声处理部，用于对所述预处理帧进行添加噪声处理从而得到作为噪声样本集的多个被添加随机噪声的图像帧；以及
数据命名存储部，用于对所述原始样本集、所述多尺度样本集、所述低对比度样本集以及所述噪声样本集中的图像帧进行统一命名并存储为所述样本数据。


2.根据权利要求1所述的多类型样本数据制作装置，其特征在于：
其中，所述预处理包括：
使用帧间差分法去除所述视频数据中模糊且无目标的帧；
从处理后的所述视频数据中每五帧抽取一帧...

【专利技术属性】
技术研发人员：杨曼艺，冯瑞，
申请(专利权)人：复旦大学，
类型：发明
国别省市：上海;31