一种基于大数据的目标识别的数据处理系统技术方案

本申请公开了一种基于大数据的目标识别的数据处理系统，该数据处理系统中的数据获取模块用于获取目标先验知识；数据划分模块用于按预设比例随机将目标先验知识划分为训练数据集和验证数据集；模型构建模块用于根据训练数据集的数据类型，确定图像特征提取方式，并基于图像特征提取方式，提取训练数据集中的图像特征，并基于图像特征构建超图模型；模型判定模块用于利用验证数据集对超图模型进行训练，当判定超图模型收敛时，将超图模型记作数据处理模型，数据处理模型用于输出待识别数据的数据标签。通过本申请中的技术方案，有助于简化机器学习模型的结构，并提高模型收敛效率，同时，还有助于提高预测数据标签的准确性。还有助于提高预测数据标签的准确性。还有助于提高预测数据标签的准确性。

【技术实现步骤摘要】
一种基于大数据的目标识别的数据处理系统


[0001]本申请涉及数据处理的
，具体而言，涉及一种基于大数据的目标识别的数据处理系统。

技术介绍

[0002]随着网络的飞速发展以及各种数据信息的爆炸增长，极大程度地推动了人工智能技术的发展，其中，图像目标识别技术是很多应用技术（如汽车自动驾驶、机械臂抓取物体）的基础，因此，对物体图像进行类型识别，是人工智能中的一个必不可少的环节。
[0003]而随着机器学习算法的不断发展、优化，利用其对物体进行目标自动识别已经能够保证一定的准确性。但此类机器学习的模型结构通常较为复杂，且有较深的深度，导致模型训练难度较大，且存在模型不能收敛的问题。因此，如何简化模型结构、提高模型收敛速率，是机器学习用于图像目标识别过程中亟待解决的问题。

技术实现思路

[0004]本申请的目的在于：如何简化机器学习模型的结构，并提高模型收敛效率。
[0005]本申请的技术方案是：提供了一种基于大数据的目标识别的数据处理系统，该数据处理系统包括：数据获取模块，数据划分模块，模型构建模块以及模型判定模块；数据获取模块用于获取目标先验知识，其中，目标先验知识中包括样本图像数据和样本标签数据；数据划分模块用于按预设比例随机将目标先验知识划分为训练数据集和验证数据集；模型构建模块用于根据训练数据集的数据类型，确定图像特征提取方式，并基于图像特征提取方式，提取训练数据集中的图像特征，并基于图像特征构建超图模型，其中，超图模型中设置有标签传递损失函数，标签传递损失函数由特征相似度、标签敏感度以及经验损失项的和值组成；模型判定模块用于利用验证数据集对超图模型进行训练，当判定超图模型收敛时，将超图模型记作数据处理模型，数据处理模型用于输出待识别数据的数据标签。
[0006]上述任一项技术方案中，进一步地，模型构建模块具体包括：度量值计算单元以及超边构建单元；度量值计算单元用于以训练数据集中每个样本图像数据的图像特征为节点，计算任两个节点之间的邻近度量值；超边构建单元用于当判定任两个节点之间的邻近度量值小于邻近阈值时，将节点放入节点的超边集合，并根据超边集合构建超图模型的超边。
[0007]上述任一项技术方案中，进一步地，度量值计算单元计算任两个节点之间邻近度量值的计算公式为：
式中，为节点与节点之间的邻近度量值，为欧氏距离函数，和分别为节点与节点的缩放常数，和分别为节点与节点的图像特征。
[0008]上述任一项技术方案中，进一步地，模型构建模块中标签传递损失函数的计算公式为：式中，为标签的经验损失项，为第一权重系数，为第二权重系数，为特征相似度函数，为敏感度函数，为判别函数，为第i个节点，为与节点在同一个超边中第j个节点，为预测标签，为标签向量。
[0009]上述任一项技术方案中，进一步地，特征相似度函数的计算公式为：的计算公式为：式中，为特征差函数，为预设阈值。
[0010]上述任一项技术方案中，进一步地，系统还包括：数据传输模块；数据传输模块用于接收目标先验知识，并将目标先验知识传输至数据获取模块。
[0011]本申请的有益效果是：本申请中的技术方案，利用缩放后的图像特征，计算相邻两个节点间的邻近度量值，以便加快、优化超图模型中超边的构建过程，并在超图模型中引入由特征相似度、标签敏感度以及经验损失项的和值组成的标签传递损失函数，以加快超图模型的训练和收敛速率，并有助于提高模型输出预测数据标签的准确度，降低模型复杂程度。
[0012]在本申请的优选实现方式中，利用特征相似度、标签敏感度以及经验损失项三者共同组成超图模型的损失函数，将图像特征和预测数据标签共同作为损失函数的输入量，有助于提高损失函数的合理性，优化数据处理模型的整体性能。
附图说明
[0013]本申请的上述和/或附加方面的优点在结合下面附图对实施例的描述中将变得明显和容易理解，其中：图1是根据本申请的一个实施例的基于大数据的目标识别的数据处理系统的示意框图；图2是根据本申请的一个实施例的数据处理过程的示意图。
具体实施方式
[0014]为了能够更清楚地理解本申请的上述目的、特征和优点，下面结合附图和具体实施方式对本申请进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互结合。
[0015]在下面的描述中，阐述了很多具体细节以便于充分理解本申请，但是，本申请还可以采用其他不同于在此描述的其他方式来实施，因此，本申请的保护范围并不受下面公开的具体实施例的限制。
[0016]如图1和图2所示，本实施例提供了一种基于大数据的目标识别的数据处理系统100，该数据处理系统100包括：数据传输模块10，数据获取模块20，数据划分模块30，模型构建模块40以及模型判定模块50。
[0017]本实施例中，数据传输模块10用于与外部数据进行互通，接收所述目标先验知识，并将所述目标先验知识传输至所述数据获取模块20，待数据传输模块10接收到目标先验知识后，将目标先验知识传输至数据获取模块20。
[0018]本实施例中，数据获取模块20用于获取目标先验知识，该目标先验知识中包括样本图像数据和样本标签数据。
[0019]具体的，由于互联网中的数据信息是一种开放形态的数据，其通常存在标准不统一、归属不明确、标注成本代价高等问题，因此，利用数据传输模块10和数据获取模块20，收集标注丰富且尽可能相关的数据集作为目标先验知识，该目标先验知识中包括样本图像数据和样本标签数据。
[0020]本实施例中，所述数据划分模块30用于按预设比例随机将所述目标先验知识划分为训练数据集和验证数据集；具体的，本实施例中采用随机抽样的方式，按8：2的比例，将获取到的目标先验知识分为训练数据集和验证数据集，具体过程不再赘述。
[0021]本实施例中，所述模型构建模块40用于根据所述训练数据集的数据类型，确定图像特征提取方式，并基于所述图像特征提取方式，提取所述训练数据集中的图像特征，并基于所述图像特征构建超图模型，其中，所述超图模型中设置有标签传递损失函数，所述标签传递损失函数由特征相似度、标签敏感度以及经验损失项的和值组成；具体的，一个样本图像数据对应一个图像特征，其特征提取的方法由样本图像数据的数据类型和特征决定，因此，在提取训练数据集中的图像特征之前，需要根据训练数据集的数据类型，确定图像特征提取方式。
[0022]在构建超图模型之前，对训练数据集中的样本图像数据进行特征提取。由于训练数据集中的数据类型并不统一，可能是三维图像也可能是二维图像，因此，首先需要判断训练数据集的数据类型，然后确定相应的特征提取方法，如训练数据集为三维图像数据时，可以通过多视图卷积机器学习提取其图像特征。最后，再利用相应的提取方法，提取到勇敢与构建超图模型的图像特征。
[0023]本实施例中，以训练数据集中每个样本图像数据的图像特征作为超图模型的节点，其结构描述为：
式中，节点集合中的每个节点代表一个样本图像数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于大数据的目标识别的数据处理系统，其特征在于，所述系统包括：数据获取模块（20），数据划分模块（30），模型构建模块（40）以及模型判定模块（50）；所述数据获取模块（20）用于获取目标先验知识；所述数据划分模块（30）用于按预设比例随机将所述目标先验知识划分为训练数据集和验证数据集，其中，所述目标先验知识中包括样本图像数据和样本标签数据；所述模型构建模块（40）用于根据所述训练数据集的数据类型，确定图像特征提取方式，并基于所述图像特征提取方式，提取所述训练数据集中的图像特征，并基于所述图像特征构建超图模型，其中，所述超图模型中设置有标签传递损失函数，所述标签传递损失函数由特征相似度、标签敏感度以及经验损失项的和值组成；所述模型判定模块（50）用于利用所述验证数据集对所述超图模型进行训练，当判定所述超图模型收敛时，将所述超图模型记作数据处理模型，所述数据处理模型用于输出待识别数据的数据标签。2.如权利要求1所述的基于大数据的目标识别的数据处理系统，其特征在于，所述模型构建模块（40）具体包括：度量值计算单元（41）以及超边构建单元（42）；所述度量值计算单元（41）用于以训练数据集中每个样本图像数据的图像特征为节点，计算任两个节点之间的邻近度量值；所述超边构建...

【专利技术属性】
技术研发人员：庞诚，郑伟，舒轶昊，韦博，何东兴，刘斌，崔雨波，王理，
申请(专利权)人：北京云恒科技研究院有限公司，
类型：发明
国别省市：