一种基于室内机会信号增强的场景识别方法及装置制造方法及图纸

本发明专利技术提供了一种基于室内机会信号增强的场景识别方法及装置，通过运用迁移学习训练卷积神经网络获取室内定位点场景级别影像特征，并通过定位点的定位信息和场景底图与定位误差描述定位点的定位特征，然后利用该定位特征来对影像特征进行扩充增强，采用深度学习的方法融合影像特征与定位特征来进行场景识别预测，从而实现了获得更高的场景识别正确率的技术效果。

【技术实现步骤摘要】
一种基于室内机会信号增强的场景识别方法及装置
本专利技术涉及室内场景识别
，具体涉及一种基于室内机会信号增强的场景识别方法及装置。
技术介绍
场景识别问题属于计算机视觉领域的一个极富挑战的课题，应用在自动驾驶、机器人等各个领域。现有场景识别方法通常以图像特征分析的方式进行识别与分类，例如传统图像处理和模式识别相关的研究进行场景图像的分类和标记，但是需要大量的人工操作并且算法较为复杂。还有一些在大规模数据集上利用深度学习方法，然而对于室内环境而言，其场景包含复杂的装饰和布局，所以利用深度学习解决室内场景识别仍然存在识别准确率不高的问题。由上可知，现有技术中的场景识别方法存在识别准确率不高的技术问题。
技术实现思路
本专利技术通过提供一种基于室内机会信号增强的场景识别方法及装置，用以解决或者至少部分解决现有技术中的场景识别方法存在识别准确率不高的技术问题。本专利技术第一方面提供了一种基于室内机会信号增强的场景识别方法，包括：步骤S1：针对预设应用场景，采集典型的场景影像集；步骤S2：结合与待研究场景对应的场景底图，在所述待研究场景的主要道路上采集移动设备的定位信息和影像信息，其中，所述定位信息和影像信息与定位点对应；步骤S3：将所述场景影像集输入预设特征融合神经网络中，对所述预设特征融合神经网络的卷积神经网络模块进行模型微调，获得迁移至所述待研究场景的卷积神经网络模型，其中，所述预设特征融合神经网络包括影像特征提取模块和特征融合决策模块，所述影像特征提取模块由所述卷积神经网络模块实现，将与定位点对应的影像信息转化为影像特征向量；步骤S4：将定位点与所述场景底图进行叠加，获得定位点处于场景中的位置特征向量；步骤S5：将以定位点为中心、预设定位误差为半径的误差圆与所述场景底图进行叠加，获得所述误差圆与各场景的相交面积，并根据所述相交面积，获得所述定位点与各场景的关系特征向量；步骤S6：将定位点处于场景中的位置特征向量与定位点与各场景的关系特征向量，拼接为定位特征向量，再将所述定位特征向量与定位点对应的影像特征向量拼接后，输入所述特征融合决策模块，训练该所述特征融合决策模块的参数；步骤S7：将进行模型微调后获得的影像特征提取模块与步骤训练后的特征融合决策模块的参数固定，获得合并后的特征融合神经网络；步骤S8：将定位点对应的影像信息和定位点与各场景的关系特征向量输入所述合并后的特征融合神经网络，得到场景预测特征向量，将所述预测特征向量中概率最高项对应的场景类型作为场景识别结果。进一步地，步骤S3具体包括：步骤S3.1：将所述场景影像集输入预设特征融合神经网络中，对所述卷积神经网络模块进行训练，更新所述卷积神经网络模块的全连接层参数，保留卷积层的参数，获得模型微调后卷积神经网络模块，将其作为模型微调后的影像特征提取模块；步骤S3.2：将与定位点对应的影像信息输入所述模型微调后卷积神经网络模块，获得输出张量，将其作为所述影像特征向量，且所述影像特征向量与定位点相对应。进一步地，步骤S4具体包括：步骤S4.1，对位置特征向量进行初始化，赋值为所述位置特征向量元素位数为Ncategory+1，其中，Ncategory为场景类别数，将首项作为定位点处于所有场景外的特征表达项；步骤S4.2，判断定位点与各场景的关系，若定位点落入第k类场景中，则将位置特征向量的第k+1项赋值为1，具体为：若定位点不处于任何场景中，则将位置特征向量的首项赋值为1，具体为：步骤S4.3，将所述位置特征向量进行保存，并将位置特征向量对应到具体的定位点。进一步地，步骤S5具体包括：步骤S5.1，初始化与各场景的关系特征向量，特征向量具有Ncategory位元素，对应各类场景与定位点关系的显著程度，其中，Ncategory为场景类别总数，将其赋值为步骤S5.2，将场景边界与以定位点位中心、预设定位误差Rnoise为半径的误差圆进行叠加计算相交面积，遍历各场景，面积值按场景类别累加，并赋值给关系特征向量的对应元素，再将特征向量归一化，获得所述关系特征向量，形如：{Si/1NcategorySi}其中，Si为类别i的场景与误差圆叠加所得相交面积，Ncategory为场景类别总数；步骤S5.3，将定位点与各场景的关系特征向量进行保存，并将关系特征向量对应到具体的定位点。进一步地，步骤S6具体包括：步骤S6.1：将每个定位点的位置特征向量Vlocation和每个定位点与各场景关系特征向量Vrelation拼接为定位特征向量Vpositioning，形如：步骤S6.2：将所述影像特征向量与所述定位特征向量拼接成形为[1，3*Ncategory+1]的特征向量Vfuse，形如：步骤S6.3：将拼接后的特征向量Vfuse输入所述特征融合决策模块，并由所述特征融合决策模块的特征融合全连接层输出形为[1，3*Ncategory+1]的融合特征向量，然后将所述融合特征向量经由最终预测全连接层输入，训练所述特征融合决策模块的参数，获得训练后的特征融合决策模块。进一步地，步骤S8具体包括：将定位点对应的影像信息位特征向量输入所述模型微调后获得的影像特征提取模块，将所述定位点与各场景的关系特征向量输入所述训练后的特征融合决策模块，输出定位点属于各场景的概率值，将概率值最高项对应的场景类型作为所述场景识别结果。基于同样的专利技术构思，本专利技术第二方面提供了一种基于室内机会信号增强的场景识别装置，包括：场景影像集采集模块，用于针对预设应用场景，采集典型的场景影像集；定位信息和影像信息采集模块，用于结合与待研究场景对应的场景底图，在所述待研究场景的主要道路上采集移动设备的定位信息和影像信息，其中，所述定位信息和影像信息与定位点对应；迁移学习模块，用于将所述场景影像集输入预设特征融合神经网络中，对所述预设特征融合神经网络的卷积神经网络模块进行模型微调，获得迁移至所述待研究场景的卷积神经网络模型，其中，所述预设特征融合神经网络包括影像特征提取模块和特征融合决策模块，所述影像特征提取模块由所述卷积神经网络模块实现，将与定位点对应的影像信息转化为影像特征向量；位置特征向量计算模块，用于将定位点与所述场景底图进行叠加，获得定位点处于场景中的位置特征向量；关系特征向量计算模块，用于将以定位点为中心、预设定位误差为半径的误差圆与所述场景底图进行叠加，获得所述误差圆与各场景的相交面积，并根据所述相交面积，获得所述定位点与各场景的关系特征向量；特征融合决策模块训练模块，用于将定位点处于场景中的位置特征向量与定位点与各场景的关系特征向量，拼接为定位特征向量，再将所述定位特征向量与定位点对应的影像特征向量拼接后，输入所述特征融合决策模块，训练该所述特征融合决策模块的参数；合并模块，用于将进行模型微调后获得的影像特征提取模块与步骤训练后的特征融合决策模块的参数固定，获得合并后的特征融合神经网络；预测模块，用于将定位点对应的影像信息和定位点与各场景的关系特征向量输入所述合并后的特征融合神经网络，得到场景预测特征向量，将所述预测特征向量中概率最高项对应的场景类型作为场景识别结果。进一步的，迁移学习模块具体用于：将所述场景影像集输入预设特征融合神经网络中，对所述卷积神经网络模块进行训练，更新所述卷积神经网络模块的全本文档来自技高网...

【技术保护点】
1.一种基于室内机会信号增强的场景识别方法，其特征在于，包括：步骤S1：针对预设应用场景，采集典型的场景影像集；步骤S2：结合与待研究场景对应的场景底图，在所述待研究场景的主要道路上采集移动设备的定位信息和影像信息，其中，所述定位信息和影像信息与定位点对应；步骤S3：将所述场景影像集输入预设特征融合神经网络中，对所述预设特征融合神经网络的卷积神经网络模块进行模型微调，获得迁移至所述待研究场景的卷积神经网络模型，其中，所述预设特征融合神经网络包括影像特征提取模块和特征融合决策模块，所述影像特征提取模块由所述卷积神经网络模块实现，将与定位点对应的影像信息转化为影像特征向量；步骤S4：将定位点与所述场景底图进行叠加，获得定位点处于场景中的位置特征向量；步骤S5：将以定位点为中心、预设定位误差为半径的误差圆与所述场景底图进行叠加，获得所述误差圆与各场景的相交面积，并根据所述相交面积，获得所述定位点与各场景的关系特征向量；步骤S6：将定位点处于场景中的位置特征向量与定位点与各场景的关系特征向量，拼接为定位特征向量，再将所述定位特征向量与定位点对应的影像特征向量拼接后，输入所述特征融合决策模块，训练该所述特征融合决策模块的参数；步骤S7：将进行模型微调后获得的影像特征提取模块与步骤训练后的特征融合决策模块的参数固定，获得合并后的特征融合神经网络；步骤S8：将定位点对应的影像信息和定位点与各场景的关系特征向量输入所述合并后的特征融合神经网络，得到场景预测特征向量，将所述预测特征向量中概率最高项对应的场景类型作为场景识别结果。...

【技术特征摘要】
1.一种基于室内机会信号增强的场景识别方法，其特征在于，包括：步骤S1：针对预设应用场景，采集典型的场景影像集；步骤S2：结合与待研究场景对应的场景底图，在所述待研究场景的主要道路上采集移动设备的定位信息和影像信息，其中，所述定位信息和影像信息与定位点对应；步骤S3：将所述场景影像集输入预设特征融合神经网络中，对所述预设特征融合神经网络的卷积神经网络模块进行模型微调，获得迁移至所述待研究场景的卷积神经网络模型，其中，所述预设特征融合神经网络包括影像特征提取模块和特征融合决策模块，所述影像特征提取模块由所述卷积神经网络模块实现，将与定位点对应的影像信息转化为影像特征向量；步骤S4：将定位点与所述场景底图进行叠加，获得定位点处于场景中的位置特征向量；步骤S5：将以定位点为中心、预设定位误差为半径的误差圆与所述场景底图进行叠加，获得所述误差圆与各场景的相交面积，并根据所述相交面积，获得所述定位点与各场景的关系特征向量；步骤S6：将定位点处于场景中的位置特征向量与定位点与各场景的关系特征向量，拼接为定位特征向量，再将所述定位特征向量与定位点对应的影像特征向量拼接后，输入所述特征融合决策模块，训练该所述特征融合决策模块的参数；步骤S7：将进行模型微调后获得的影像特征提取模块与步骤训练后的特征融合决策模块的参数固定，获得合并后的特征融合神经网络；步骤S8：将定位点对应的影像信息和定位点与各场景的关系特征向量输入所述合并后的特征融合神经网络，得到场景预测特征向量，将所述预测特征向量中概率最高项对应的场景类型作为场景识别结果。2.如权利要求1所述的方法，其特征在于，步骤S3具体包括：步骤S3.1：将所述场景影像集输入预设特征融合神经网络中，对所述卷积神经网络模块进行训练，更新所述卷积神经网络模块的全连接层参数，保留卷积层的参数，获得模型微调后卷积神经网络模块，将其作为模型微调后的影像特征提取模块；步骤S3.2：将与定位点对应的影像信息输入所述模型微调后卷积神经网络模块，获得输出张量，将其作为所述影像特征向量，且所述影像特征向量与定位点相对应。3.如权利要求1所述的方法，其特征在于，步骤S4具体包括：步骤S4.1，对位置特征向量进行初始化，赋值为所述位置特征向量元素位数为Ncategory+1，其中，Ncategory为场景类别数，将首项作为定位点处于所有场景外的特征表达项；步骤S4.2，判断定位点与各场景的关系，若定位点落入第k类场景中，则将位置特征向量的第k+1项赋值为1，具体为：若定位点不处于任何场景中，则将位置特征向量的首项赋值为1，具体为：步骤S4.3，将所述位置特征向量进行保存，并将位置特征向量对应到具体的定位点。4.如权利要求1所述的方法，其特征在于，步骤S5具体包括：步骤S5.1，初始化与各场景的关系特征向量，特征向量具有Ncategory位元素，对应各类场景与定位点关系的显著程度，其中，Ncategory为场景类别总数，将其赋值为步骤S5.2，将场景边界与以定位点位中心、预设定位误差Rnoise为半径的误差圆进行叠加计算相交面积，遍历各场景，面积值按场景类别累加，并赋值给关系特征向量的对应元素，再将特征向量归一化，获得所述关系特征向量，形如：{Si/1NcategorySi}其中，Si为类别i的场景与误差圆叠加所得相交面积，Ncategory为场景类别总数；步骤S5.3，将定位点与各场景的关系特征向量进行保存，并将关系特征向量对应到具体的定位点。5.如权利要求1所述的方法，其特征在于，步骤S6具体包括：步骤S...

【专利技术属性】
技术研发人员：呙维，吴然，陈艳华，朱欣焰，
申请(专利权)人：武汉大学，
类型：发明
国别省市：湖北,42