优化部件分析模型编解码器网络及快速语义分割方法技术

本发明专利技术公开了一种优化部件分析模型编解码器网络及快速语义分割方法，包括构建部件分析模型编‑解码器架构网络，并训练网络识别图像中的对象级语义

Optimized component analysis model codec network and fast semantic segmentation method

【技术实现步骤摘要】
优化部件分析模型编解码器网络及快速语义分割方法
本专利技术涉及图像分割
，尤其涉及深度学习的快速复杂背景图像语义分割。
技术介绍
现有越来越多的应用场景需要精确且高效的图像分割技术，如自动驾驶、室内导航、甚至虚拟现实与增强现实等。这个需求与视觉相关的各个领域及应用场景下的深度学习技术的发展相符合，尤其是基于深度学习的语义分割技术。语义分割网络中，多孔卷积架构语义分割网络移除主干网络部分池化层空间分辨率较强，主干网络与ASPP模块的约简优化是值得深入研究内容，可以在轻量化语义分割CNN识别应用；编-解码器架构语义分割网络保留更多分类网络中的组件，可用于实现复杂背景下的特征提取；全卷积网络FCN不改变主干网络的卷积层、池化层结构，可同时实现目标检测、语义分割，降低计算复杂度与数据存储。本专利技术从机器视觉检测应用需求出发，在重点考虑对象部件语义响应值-语义互斥关系出发下，研究编-解码器架构网络的复杂背景语义分割技术，即要求检测算法仅识别出鉴别相关组件，忽略鉴别其他组件，在不同成像条件下把与鉴别无关语义识别成背景。
技术实现思路
为解决上述存在的问题与缺陷，本专利技术提出了优化部件分析模型编-解码器架构网络，提高部件分析模型相关语义识别能力、提高部件分析模型无关语义排除能力。本专利技术的目的通过以下的技术方案来实现：一种优化部件分析模型编解码器网络及快速语义分割方法，该方法包括构建并训练优化编-解码器架构网络、优化部件分析模型、实现快速复杂背景语义分割；具体包括如下：>A构建部件分析模型编-解码器架构网络，并训练网络识别图像中的对象级语义对象响应值pObject-j，部件级语义及部件响应值pPart-k；B使用对象响应值pObject-j对部件响应值pPart-k加权得到提高部件分析模型相关语义识别能力；C由于对象级语义与部件级语义的互斥关系，即提高部件分析模型无关语义排除能力；D构建优化部件分析模型编-解码器架构网络，实现复杂背景语义分割；E调整主干网络深度，重新训练优化编-解码器架构网络，实现快速复杂背景语义分割。与现有技术相比，本专利技术的一个或多个实施例可以具有如下优点：优化部件分析模型编-解码器架构网络可在网络分割时间Tseg基本维持不变情况下，应用部件分析优化模块能使像素识别准确率若在Tseg要求苛刻的情况下，可以通过减小主干网络深度dmain，调整出像素识别准确率基本维持不变，而Tseg缩短的网络结构。附图说明图1是优化部件分析模型编解码器网络及快速语义分割方法流程框图；图2a和2b是本专利技术优化部件分析模型与UperNet部件分析模型对比结构图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面将结合实施例及附图对本专利技术作进一步详细的描述。本专利技术优化部件分析模型编解码器网络及快速语义分割方法，所述方法包括构建并训练优化编-解码器架构网络、优化部件分析模型、实现快速复杂背景语义分割。具体包括以下步骤：步骤10构建部件分析模型编-解码器架构网络，并训练网络识别图像中的对象级语义对象响应值pObject-j，部件级语义部件响应值pPart-k；所述部件分析模型编-解码器架构网络，包括对象语义分割网络、部件语义分割网络、部件分析模型；所述对象语义分割网络，能识别输出图像中的对象级语义对象响应值pObject-j，在对象级标注上训练；所述对象语义分割网络，能部件语义分割网络识别输出图像中的部件级语义部件响应值pPart-k，在部件级标注上训练。所述部件分析模型，能识别有效部件语义步骤20使用pObject-j对pPart-k加权得到代替(即)，提高部件分析模型相关语义识别能力；令UperNet网络中对象级分类器实现Nobject种对象语义识别，通过回归的对象概率向量那么概率最大语义将识别为对象语义，表达式为：同理，令部件级分类器实现NPart种部件语义识别，通过回归的部件概率向量那么概率最大语义将识别为部件语义，表达式为：联立式(1)、式(2)、式(3)，可得：对式(4)，通过pObject-j对pPart-k加权(系数为αPart-k)得到代替即有：即部件分析模型的相关语义识别能力将得到提升。步骤30考虑与互斥关系，即提高部件分析模型无关语义排除能力；对式(1)、式(4)，条件中，若与互斥，记所有构成部件集合为又有即有：即部件分析模型的无关语义排除能力得到提升。步骤40构建优化部件分析模型编-解码器架构网络，实现复杂背景语义分割；用代替考虑与互斥关系的部件分析模型，联立式(5)、(6)，可以得到：图2a)、图2b)分别为UperNet部件分析模块结构、本专利技术部件分析模块优化结构。可以发现，本专利技术部件分析模块优化结构与UperNet部件分析模块结构区别在于输入从修改为pObject-j、pPart-k，增加输入加权再识别出在ADE20K数据集中训练无部件分析模块的UperNet，分割时间Tseg计算采用GeForceGTX1080TiGPU测试硬件环境，单精度浮点数计算能力11.34TFLOPs，内存容量11GB、内存读写速率11Gbps。网络训练学习率使用poly曲线随迭代次数衰减，初始学习率与指数分别为0.02、0.9，通过50轮5000次迭代训练.【应用例1】主干网络都使用ResNet101若三个网络的主干网络都使用ResNet101下面从ADE20K验证集效果，分析应用分析模块后的复杂语义分割能力表1为ADE20K验证集部件分析模块ΔPAPart表。表1ADE20K验证集ΔPAPart表部件分类器对部件语义PAPart＝48.3％，应用部件分析模块的ΔPAPart1＝55.5％-48.3％＝7.2％，应用部件分析优化模块的ΔPAPart2＝56.9％-48.3％＝8.6％，ΔPAPart2-ΔPAPart1＝1.4％，即应用部件分析优化模块比部件分析模块提高1.4％，网络对各种场景的复杂语义分割能力得到增强。但平均分割时间略有增加，分割ADE20K验证集的2000帧图像，部件分类器平均分割时间应用部件分析模块的应用部件分析优化模块的网络计算开销、分割速度基本维持不变。【应用例2】调整优化部件分析模型编-解码器架构网络主干网络深度为ResNet50具体指标如表2所示，表2ADE20K验证集ΔPAPart表应用部件分析模块的应用部件分析优化模块的分割速度提升了108ms。上述实施例在重点考虑对象部件语义响应值-语义互斥关系出发下，研究编-解码器架构网络的复杂背景语义分割技术，即要求检测算法仅识别出鉴别相关组件，忽略鉴别其他组件，在不同成像条件下把与鉴别无关语义识别成背景。在网络分割时间Tseg基本维持不变情况下，应用部本文档来自技高网...

【技术保护点】
1.优化部件分析模型编解码器网络及快速语义分割方法，其特征在于，所述方法包括构建并训练优化编-解码器架构网络、优化部件分析模型、实现快速复杂背景语义分割；具体包括以下步骤：/nA构建部件分析模型编-解码器架构网络，并训练网络识别图像中的对象级语义

【技术特征摘要】
1.优化部件分析模型编解码器网络及快速语义分割方法，其特征在于，所述方法包括构建并训练优化编-解码器架构网络、优化部件分析模型、实现快速复杂背景语义分割；具体包括以下步骤：
A构建部件分析模型编-解码器架构网络，并训练网络识别图像中的对象级语义对象响应值pObject-j，部件级语义及部件响应值pPart-k；
B使用对象响应值pObject-j对部件响应值pPart-k加权得到提高部件分析模型相关语义识别能力；
C由于对象级语义与部件级语义的互斥关系，即提高部件分析模型无关语义排除能力；
D构建优化部件分析模型编-解码器架构网络，实现复杂背景语义分割；
E调整主干网络深度，重新训练优化编-解码器架构网络，实现快速复杂背景语义分割。


2.如权利要求1所述的优化部件分析模型编解码器网络及快速语义分割方法，其特征在于，所述步骤A中部件分析模型编-解码器架构网络包括对象语义分割网络、部件语义分割网络及部件分析模型；
所述对象语义分割网络，能识别输出图像中的对象级语义对象响应值pObject-j，在对象级标注上训练；
所述部件语义分割网络，能部件语义分割网络识别输出图像中的部件级语义部件响应值pPart-k，在部件级标注上训练；
所述部件分析模型，能识别有效部件语义





3.如权利要求1所述的优化部件分析模...

【专利技术属性】
技术研发人员：刘桂雄，黄坚，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东;44