【技术实现步骤摘要】
本专利技术是一种矿井弱光环境下基于索引优化的可泛化辐射场表征方法，属于弱光环境下矿井智能定位。
技术介绍
1、
2、近年来，随着人工智能和计算机视觉技术的迅速发展，三维重建技术在各个领域的应用取得了显著进展。三维隐式表示网络(nerf,neural radiance fields)作为一种新兴的三维重建技术，通过利用深度学习模型从二维图像生成高精度的三维模型，展现出了广泛的应用前景。然而，在矿井等弱光环境下进行三维重建面临诸多挑战。
3、矿井环境具有光线不足、空间狭窄、结构复杂等特点，传统的三维重建方法在此环境中难以取得理想的效果。基于深度学习的nerf方法由于其对光线和材质的高敏感性，在弱光条件下容易出现重建误差和细节丢失，并且nerf学习到的函数表达只针对单一场景，存在泛化性差、训练和推理速度慢等问题。此外，考虑到在矿井下进行数据采集时存在安全隐患，以及信号不稳定、传感器性能受限等问题，采集多个矿井弱光场景的数据是不现实的。因此，如何将高鲁棒性和高精度的三维重建泛化到矿井弱光环境下成为一个亟待解决的问题。
技术实现思路
1、本专利技术的目的是提供一种矿井弱光环境下基于索引优化的可泛化辐射场表征方法，通过建模一个可泛化的辐射场，然后通过一个特征网格对多个不同弱光场景的特征进行提取和存储，将采样网格中的特征输入到正常光照场和黑暗场中训练，使其可以应用于未知的矿井弱光场景。
2、为了实现上述目的，本专利技术提供一种矿井弱光环境下基于索引优化的可泛化
3、s1：采集多个室内室外不同弱光场景以及一个矿井下弱光场景的rgb图像，同时通过激光雷达扫描数据生成稀疏的描述几何特征信息的点云数据；
4、s2：对步骤s1采集的rgb图像进行预处理，获得图像位姿；
5、s3：几何特征与外观特征网格生成；
6、s4：几何特征与外观特征网格优化；
7、s5：构建正常光照场和黑暗场；
8、s6：构建损失函数；
9、s7：正常光照场推理。
10、步骤s2中对采集的rgb图像和激光雷达扫描数据进行预处理，具体步骤如下：
11、利用sfm算法获取图像位姿，首先通过特征点匹配确定图像间的对应关系，利用这些对应关系估计相机的运动轨迹，包括相机的旋转和平移。然后使用迭代优化方法不断调整相机位姿，使得投影模型与实际特征点位置的误差最小化。最终得到每个图像在全局坐标系中的相机位姿，即其三维空间位置坐标和拍摄方向。
12、步骤s3中几何特征与外观特征网格生成方法，具体步骤如下：
13、s3.1：使用深度二维cnnl在单个输入视角下提取二维图像特征；
14、s3.2：通过均匀扭曲操作将输入视角下的图像特征转换为扭曲特征图；
15、s3.3：根据扭曲特征图构造成本体；
16、s3.4：训练一个深度三维cnnm将构建的图像特征成本体转换为一个新的c通道特征网格s。
17、步骤s4中提出的几何特征与外观特征网格优化方法，具体步骤如下：
18、s4.1：将激光雷达扫描得到的稀疏点云投影至二维平面上，得到深度图；
19、s4.2：对深度图进行深度补全得到稠密深度图；
20、s4.3：通过对稠密深度图进行索引，找到深度不确定的点；
21、s4.4：通过提取特征网格s中这些深度不确定的点对应的特征，输入到二维优化cnnn
22、中得到优化后的特征，对特征网格s进行更新，从而得到优化后更为准确的特征网格s。
23、步骤s5提出的构建正常光照场和黑暗场方法，具体步骤如下：
24、s5.1：构建正常光照场和黑暗场；
25、s5.2：将采样点的位置坐标x进行位置编码得到位置特征，使用多层感知机对位置特征进行进一步编码映射，然后使用卷积层对其进行卷积来模拟黑暗不均匀情况，最后通过sigmoid激活函数获得光照场和黑暗场的调节权重。
26、步骤s6的损失函数构建，所述损失函数包括：新的mse损失度量损失对比度损失颜色一致性损失密度场正则化损失黑暗场正则化损失特征网格优化损失
27、其中：度量损失调节增强级别；
28、对比度损失计算预测正常光图像和真值黑暗图像的相邻采样像素之间的对比度损失；
29、颜色一致性损失调节预测的正常光图像的颜色；
30、为提升张量因子参数的稀疏性，对密度场和黑暗场分别使用正则化损失和
31、引入特征网格优化损失
32、步骤s7提出的正常光照场推理方法，具体步骤如下：
33、将所采集用于测试的一个矿井下弱光场景的rgb图像和激光雷达扫描数据输入到训练好的特征网格中，提取其准确的特征输入到训练好的正常光照场和黑暗场中，得到正常光照表征和黑暗表征以及它们之间的调节权重，通过去除黑暗场与调节权重的影响，使用正常光照的体密度和颜色值进行渲染即可获得场景的正常光照图像。
34、与现有技术相比，本专利技术通过采集多个室内室外不同弱光场景下的rgb图像数据与激光雷达扫描数据，对采集的数据进行预处理得到所需信息。使用深度二维cnnl对图像进行特征提取，通过扭曲操作得到成本体，再经过深度三维cnnm得到存储特征信息的特征网格。引入特征网格优化模块，首先将稀疏点云投影成二维深度图，通过深度补全得到稠密深度图，然后索引得到深度不确定的点，通过提取特征网格中这些点对应的特征，输入到优化cnnn中得到优化后的特征，对特征网格进行更新，从而得到优化后更为准确的特征网格。构建正常光照和黑暗辐射场模型，采样特征网格中的特征，然后输入到辐射场中进行训练。训练完成后输入矿井下弱光场景的数据进行推理，最后通得到弱光场景下的场景表征，本专利技术能够为矿井下机器人的感知、定位与导航提供准确的信息。
本文档来自技高网...【技术保护点】
1.一种矿井弱光环境下基于索引优化的可泛化辐射场表征方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种矿井弱光环境下基于索引优化的可泛化辐射场表征方法，其特征在于，步骤S2中对采集的RGB图像和激光雷达扫描数据进行预处理，具体为：
3.根据权利要求2所述的一种矿井弱光环境下基于索引优化的可泛化辐射场表征方法，其特征在于，步骤S3中几何特征与外观特征网格生成方法，具体步骤如下：
4.根据权利要求3所述的一种矿井弱光环境下基于索引优化的可泛化辐射场表征方法，其特征在于，步骤S4中提出的几何特征与外观特征网格优化方法，具体步骤如下：
5.根据权利要求3所述的一种矿井弱光环境下基于索引优化的可泛化辐射场表征方法，其特征在于，步骤S5提出的构建正常光照场和黑暗场方法，具体步骤如下：
6.根据权利要求3所述的一种矿井弱光环境下基于索引优化的可泛化辐射场表征方法，其特征在于，步骤S6的损失函数构建，所述损失函数包括：新的MSE损失度量损失对比度损失颜色一致性损失密度场正则化损失黑暗场正则化损失特征网格优化损失
...
【技术特征摘要】
1.一种矿井弱光环境下基于索引优化的可泛化辐射场表征方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种矿井弱光环境下基于索引优化的可泛化辐射场表征方法，其特征在于，步骤s2中对采集的rgb图像和激光雷达扫描数据进行预处理，具体为：
3.根据权利要求2所述的一种矿井弱光环境下基于索引优化的可泛化辐射场表征方法，其特征在于，步骤s3中几何特征与外观特征网格生成方法，具体步骤如下：
4.根据权利要求3所述的一种矿井弱光环境下基于索引优化的可泛化辐射场表征方法，其特征在于，步骤s4中提出的几何特征与外观特征网格优化方法，...
【专利技术属性】
技术研发人员：缪燕子，潘磊，刘怡佳，徐一卿，刘淇榕，宋亮，
申请(专利权)人：中国矿业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。