【技术实现步骤摘要】
本专利技术涉及三维图像识别领域，具体地，涉及一种多通道cnn和分patch小图训练的三维目标识别方法及系统。
技术介绍
1、随着三维成像技术的不断发展，对于三维图像目标识别算法的需求也在不断增加，相关三维图像目标识别技术也在不断改进和发展。其发展现状主要包括：采用点云处理技术对目标的点云数据进行特征提取、配准和分类，从而实现对三维物体的识别和分析；采用深度学习与光学技术结合，光学成像辅助三维目标识别；采用多模态数据融合，利用多传感器获取的数据进行融合分析以确定目标位置；而以上算法在处理复杂场景和目标时存在一定的局限性，特别是在分辨率较高的三维图像中。
2、三维目标识别领域普遍存在着复杂环境中目标收到遮挡、反射等因素的影响导致识别精度下降，数据采集和标注困难，已有目标无法满足系统实时性的要求等问题。随着深度学习与神经网络技术的发展，有学者采用基于注意力机制的三维目标检测系统，通过跨模型特征融合模块单通道特征提取和融合，但识别精度较低、且模型对算力要求较较高。此外，有学者采用多尺度神经网络进行特征提取，但相对于多通道神经网络并行特征提取和深度特征融合的操作特征来讲，采用多尺度缩放操作会造成目标原始样本像素的损失，进一步加深三维目标识别存在的目标小、正负样本不均衡、数据量有限的问题。因此，有必要提出一种基于多通道卷积神经网络(mult i-channel convolutional neural network,mc-cnn)和多三维立方块(patch)小图训练的高分辨三维目标识别方法，结合多传感器阵列进行高精度的三维成像
技术实现思路
1、针对现有技术中的缺陷，本专利技术的目的是提供一种多通道cnn和分patch小图训练的三维目标识别方法及系统。
2、根据本专利技术提供的一种多通道cnn和分patch小图训练的三维目标识别方法，包括：
3、步骤s1：进行三维图像的预处理；
4、步骤s2：将整张三维图像切分成多个三维立体块；
5、步骤s3：将划分后的三维立体块输入到多通道卷积神经网络中进行局部特征提取；
6、步骤s4：将多通道输出的特征三维立体块进行拼接操作，输出目标检测识别后的结果；
7、步骤s5：选择评价标准，通过多标签分类的损失函数训练模型。
8、优选地，在所述步骤s1中：
9、加载三维图像数据，进行归一化将像素值缩放到预设范围；归一化后的像素值paf与原像素值pex之间的关系为：
10、paf＝pex/255
11、归一化公式采用：
12、
13、其中，min_value是像素值的最小允许范围，max_value是像素值的最大允许范围；original_pixel为像素初始值，normalized_pixel为归一化后的像素值。
14、根据具体应用进行降噪、裁剪或调整图像尺寸满足模型输入要求，并进行数据增强操作；对于预设的任务，进行额外的预处理，包括骨架提取或生成标签。
15、优选地，在所述步骤s2中：
16、将整张尺度为d*w*h的三维数据切分成多个三维立体块,每个三维立体块的标记与整片的标签相同；划分后各个三维立体块的尺度为其中d,h,w分别表示划分的步长，则一共划分的patches个数n为：
17、
18、其中，表示向上取整，其值为大于本身的最小整数；卷积核在原始图像上能够移动的区域为d-d+1，w-w+1,h-h+1；对于深度、行、列的每一步，重叠overlap_size个像素区域，能够走的步长：
19、w＝patch_width-overlap_size
20、其中以左上角的坐标点为准，x:x+w，y:y+h和z:z+d表示一个3d立方patch块。
21、优选地，在所述步骤s3中：
22、将划分后的三维立体块输入到多通道卷积神经网络中进行局部特征提取，多通道卷积神经网络模块有n个通道，每个通道分别包含卷积层、池化层，多通道卷积神经网络模块每个通道按照三维卷积层、批归一化层排列，引入激活函数，三维卷积操作处理图像的深度特征信息，每个通道的三维卷积核尺度为(2n-1)*(2n-1)*(2n-1),其中n为正整数；
23、每一通道同时有一个同级通过获取该三维立体块的三维信息，包括位置空间相位，经过特征提取后的输出为不同尺度的三维特征图像数据，再将其输入到三维特征信息融合模块。
24、优选地，在所述步骤s4中：
25、将多个通道输出的特征三维立体块进行拼接操作，利用不同三维立体块之间的互补性，经过三维特征信息融合模块融合特征进而提高模型性能，输出目标检测识别后的结果。全局特征融合模块的原理基于后端融合，为特征融合算法，包括注意力机制、mask机制、主成分分析、反卷积、跳跃连接；
26、采用一种基于跨层连接和三维反卷积的特征融合模块，特征融合模块中的卷积层数和反卷积层数相同，二者成对称结构，同时在最后一层卷积层和反卷积层的每一层都添加一个跨层连接模块，跨层连接直接对同尺度三维特征块进行分类和回归任务。
27、优选地，在所述步骤s5中：
28、有n个三维立体块，每个三维立体块包含多个通道，用c表示通道数，对于每个三维立体块，假设有m个目标需要识别，用交叉熵损失函数计算目标的类别识别损失，表示为：
29、
30、其中，yijc表示第i个patch中第j个目标的第c个类别的真实标签，pijc表示模型输出的第i个patch中第j个目标的第c个类别的概率；
31、对于目标的位置和大小的定位损失，使用平滑的l1损失函数，，表示为：
32、
33、其中，tijc表示第i个patch中第j个目标的第c个类别的真实位置和大小标签，pijc表示模型输出的第i个patch中第j个目标的第c个类别的位置和大小；
34、将目标识别损失和目标定位损失进行加权求和，得到总的损失函数，表示为：
35、ltotal＝αlcls+βlloc
36、其中，α和β为损失的权重，二者均为常数，且α+β＝1。
37、根据本专利技术提供的一种多通道cnn和分patch小图训练的三维目标识别系统，包括：
38、模块m1：进行三维图像的预处理；
39、模块m2：将整张三维图像切分成多个三维立体块；
40、模块m3：将划分后的三维立体块输入到多通道卷积神经网络中进行局部特征提取；
41、模块m4：将多通道输出的特征三维立体块进行拼接操作，输出目标检测识别后的结果；
42、模块m5：选择评价标准，通过多标签分类的损失函数训练模型。
43、优选地，本文档来自技高网...
【技术保护点】
1.一种多通道CNN和分patch小图训练的三维目标识别方法，其特征在于，包括：
2.根据权利要求1所述的多通道CNN和分patch小图训练的三维目标识别方法，其特征在于，在所述步骤S1中：
3.根据权利要求1所述的多通道CNN和分patch小图训练的三维目标识别方法，其特征在于，在所述步骤S2中：
4.根据权利要求1所述的多通道CNN和分patch小图训练的三维目标识别方法，其特征在于，在所述步骤S3中：
5.根据权利要求1所述的多通道CNN和分patch小图训练的三维目标识别方法，其特征在于，在所述步骤S4中：
6.根据权利要求1所述的多通道CNN和分patch小图训练的三维目标识别方法，其特征在于，在所述步骤S5中：
7.一种多通道CNN和分patch小图训练的三维目标识别系统，其特征在于，包括：
8.根据权利要求7所述的多通道CNN和分patch小图训练的三维目标识别系统，其特征在于：
9.根据权利要求7所述的多通道CNN和分patch小图训练的三维目标识别系统，其特征在于：<...
【技术特征摘要】
1.一种多通道cnn和分patch小图训练的三维目标识别方法，其特征在于，包括：
2.根据权利要求1所述的多通道cnn和分patch小图训练的三维目标识别方法，其特征在于，在所述步骤s1中：
3.根据权利要求1所述的多通道cnn和分patch小图训练的三维目标识别方法，其特征在于，在所述步骤s2中：
4.根据权利要求1所述的多通道cnn和分patch小图训练的三维目标识别方法，其特征在于，在所述步骤s3中：
5.根据权利要求1所述的多通道cnn和分patch小图训练的三维目标识别方法，其特征在于，在所述步...
【专利技术属性】
技术研发人员：刘梦绮，尹鹏，许欣，闫伟浩，吴美武，张晓峰，闻海达，王湛，周一帆，
申请(专利权)人：上海微波技术研究所中国电子科技集团公司第五十研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。