【技术实现步骤摘要】
本专利技术涉及道路工程，具体涉及一种基于神经辐射场和语义分割网络的路面裂缝提取方法。
技术介绍
1、目前行业中路面裂缝的检测主要由专业技术人员以及高成本的设施来执行，但部分地区公路地处特殊，条件恶劣，人为检测成本较高且难以满足实时需求。人为检测主要依托于二维图像识别，传统的路面裂缝识别虽然通过阈值法获得裂缝的二值化图像，并提取二值化特征并分析，然后描述裂缝特征，但是该路面裂缝识别方法的泛化能力较低，无法通过通用算法对裂缝进行分割，需要根据裂缝形态对二维图像进行形态学运算和几何计算来量化裂缝，而裂缝量化的结果又取决于裂缝图像和进一步处理的准确性。
2、此外，基于二维图像的方法无法计算裂缝深度，而裂缝深度对于道路维护和修复至关重要，因此需要获得路面的3d信息。路面的3d信息获取由三维立体成像技术实现，目前三维立体成像技术大部分又通过激光扫描系统完成，但是使用激光扫描系统的硬件要求和成本都很高，操作不易且数据获取困难。
3、除此以外，从3d模型得到的海量点云数据中实现高精度分割裂缝仍然充满挑战。一方面，所获取的点云数据存在密度分布不均、部分缺失等情况，这增加了裂缝几何信息自动化提取的难度。另一方面，复杂的路面情况导致了裂缝分割的不确定性和不完整性，降低了模型的精度。
4、现阶段针对路面点云的提取算法主要分为2类：①传统的经验阈值法：包括平面栅格法，面元网格法。然而这些方法受限于参数固定且需要人为设置，难以适用于复杂多样的路面情况。②语义分割算法：该方法被应用于路面场景的分类和分割中，将不规则的点云数
技术实现思路
1、为了解决目前路面裂缝检测方法效率低下，劳动力时间成本过高和自动化程度不足等问题，因此本专利技术提供了一种基于神经辐射场和语义分割网络的路面裂缝提取方法，该方法不仅降低了检测成本，满足了实时检测需求，还明显改进了现有点云处理自动化、表达性差及应用不足等现状，此外还能够直观、准确地表征存在裂缝的道路场景，从而为路面信息数字化表示提供底层平台与数据支撑。
2、提供技术方案如下：
3、一种基于神经辐射场和语义分割网络的路面裂缝提取方法，通过无人机获取研究区域路面图像数据并进行预处理形成所需的图像数据集，通过运动恢复结构多视图立体视觉算法和神经辐射场算法结合对预处理后的图像数据集进行三维重建得到路面点云模型以及点云数据集，通过构建语义分割网络并训练点云数据集，根据语义分割结果完成路面裂缝信息的提取与计算。
4、优选的，所述运动恢复结构多视图立体视觉算法重建过程根据对极几何约束，恢复相机外参并且描述两张图像间对应点必须满足的关系，接着通过分解本征矩阵，得出相机的相对运动参数，再将新加入的相机姿态与已有相机和三维点云的匹配关系进行优化。
5、优选的，神经辐射场算法使用多层感知机神经网络来隐式表达场景，神经辐射场输入包括预处理后的图像数据集中的射线角度和场景中射线上的3d位置，其输出包括3d位置对应的颜色信息和空间体积密度，沿着发射光线查询信息来合成视图并在渲染时利用射线角度和场景中射线上的3d位置、颜色信息以及空间体积密度信息生成新视角图像，将静态场景描述成一个连续的五维向量函数，公式如下：
6、f(θ):(x,d)→(c(r),σ) (1)
7、式中：f(θ)为一个神经网络；x为点的空间坐标；d为输入图像的观察方向；c为每个点的位置向d方向发射的颜色信息；σ为每个点体积密度；
8、对于一个已知场景和观测角度，f(θ)对应的视图需依赖数值积分方法来近似一个真实的体积渲染过程，通过计算渲染生成的图像与真实图像之间的差异，比较损失函数情况并不断迭代优化渲染结果，在此基础上生成高真实感的实景点云模型，如式(2)所示：
9、
10、式中：tn和tf分别是光线的近端和远端边界；t(t)是累积透射率，表示光线从tn到tf未被粒子阻挡的概率；c(r(t))是该点的颜色；σ(r(t))是该点的密度，c(r)代表渲染函数。
11、优选的，以语义分割网络pointnet++为骨架，在空间特征提取结构上引入多尺度特征融合策略，通过采用多个并行的分支网络和不同大小的卷积和池化操作，结合局部极坐标表示以及注意力池化融合模块从多个尺度下提取点云数据集的局部和全局特征，引入编码器-解码器结构，对路面点云模型中的裂缝边缘轮廓进行提取；
12、局部极坐标在极坐标系中构造一个沿z轴不变的局部特征，将任一点pi及其周围的k个邻近点转换为极坐标表达，计算邻域内各点间的几何距离并确定该邻域的质心接着确定局部方向，将初始方位角φi、θi减去局部方位角αi、βi，得到相对方位角
13、注意力池化融合模块是为了更加精确的反应点云的空间信息，保留点云复杂的几何结构，因此将原有的坐标注意力机制与聚合注意力池化机制融合，注意力池化融合模块沿着相同的方向使用并行的池化操作进行特征聚合，将点云局部特征和全局特征、几何距离以及特征距离输入，从几何距离和特征距离考虑对空间特征的加强，再对特征最大值和邻域均值进行聚合，流程如下：
14、首先根据根据任一点i的特征向量g(i)及周围的第k个近邻点的特征向量g(k)，通过l1范数，计算两者均值得出特征距离公式如下：
15、
16、式中：|·|为l1范数；ave(·)为均值函数；g(i)和g(k)分别表示i及第k个近邻点的特征向量；为特征距离；
17、然后根据几何距离和特征距离所反应的邻近点之间的关系确定注意力的权重，将几何距离与特征距离取负数，通过归一化指数函数softmax加权求和，合并结果，得到距离特征再将距离特征与局部特征融合得到融合后的距离特征并进行权重学习，公式如下：
18、
19、式中：和为几何距离和特征距离；和为距离特征和局部特征；为合并操作；
20、最后计算聚合的局部特征，利用卷积函数和激活函数，自动学习注意力权重以选择重要特征，去除不重要特征，将学习的权重和局部特征进行加权求和，计算出局部平均特征filave，如式(6)所示；再通过计算k个邻近点中的局部最大特征filmax；最后，将以上2个特征进行合并，作为局部聚合特征fil，如式(7)所示：
21、
22、其中，k代表该点域内点的总数。
23、优选的，语义分割网络的网络结构采用层级结构，编码器-解码器结构中的编码器部分采用卷积神经网络pointnet作为基础模型，在解码器部分采用跳跃连接的方式，将点在编码器部分对应的特征进行拼接，最终得到的语义分割训练结果本文档来自技高网...
【技术保护点】
1.一种基于神经辐射场和语义分割网络的路面裂缝提取方法，通过无人机获取研究区域路面图像数据并进行预处理形成所需的图像数据集，其特征在于：通过运动恢复结构多视图立体视觉算法和神经辐射场算法结合对预处理后的图像数据集进行三维重建得到路面点云模型以及点云数据集，通过构建语义分割网络并训练点云数据集，根据语义分割结果完成路面裂缝信息的提取与计算。
2.根据权利要求1所述的一种基于神经辐射场和语义分割网络的路面裂缝提取方法，其特征在于：所述运动恢复结构多视图立体视觉算法重建过程根据对极几何约束，恢复相机外参并且描述两张图像间对应点必须满足的关系，接着通过分解本征矩阵，得出相机的相对运动参数，再将新加入的相机姿态与已有相机和三维点云的匹配关系进行优化。
3.根据权利要求1所述的一种基于神经辐射场和语义分割网络的路面裂缝提取方法，其特征在于：神经辐射场算法使用多层感知机神经网络来隐式表达场景，神经辐射场输入包括预处理后的图像数据集中的射线角度和场景中射线上的3D位置，其输出包括3D位置对应的颜色信息和空间体积密度，沿着发射光线查询信息来合成视图并在渲染时利用射线角度和场
4.根据权利要求1所述的一种基于神经辐射场和语义分割网络的路面裂缝提取方法，其特征在于：以语义分割网络PointNet++为骨架，在空间特征提取结构上引入多尺度特征融合策略，通过采用多个并行的分支网络和不同大小的卷积和池化操作，结合局部极坐标表示以及注意力池化融合模块从多个尺度下提取点云数据集的局部和全局特征，引入编码器-解码器结构，对路面点云模型中的裂缝边缘轮廓进行提取；
5.根据权利要求4所述的一种基于神经辐射场和语义分割网络的路面裂缝提取方法，其特征在于：编码器-解码器结构中的编码器部分采用卷积神经网络PointNet作为基础模型，在解码器部分采用跳跃连接的方式，将点在编码器部分对应的特征进行拼接，最终得到的语义分割训练结果以txt形式保存。
6.根据权利要求1所述的一种基于神经辐射场和语义分割网络的路面裂缝提取方法，其特征在于：根据语义分割训练结果，将训练出的裂缝点云分割结果添加到的路面点云模型中并进行空间展示，根据路面的横、纵断面剖面展示路面的变化信息；生成裂缝空间形态之后，由裂缝表面轮廓线及裂缝中心线来量化裂缝计算结果，通过曲面拟合出不规则裂缝的外表轮廓线，基于最小二乘法及回归分析方法拟合出裂缝中心线，然后根据裂缝轮廓线以及裂缝中心线计算裂缝几何参数。
...【技术特征摘要】
1.一种基于神经辐射场和语义分割网络的路面裂缝提取方法，通过无人机获取研究区域路面图像数据并进行预处理形成所需的图像数据集，其特征在于：通过运动恢复结构多视图立体视觉算法和神经辐射场算法结合对预处理后的图像数据集进行三维重建得到路面点云模型以及点云数据集，通过构建语义分割网络并训练点云数据集，根据语义分割结果完成路面裂缝信息的提取与计算。
2.根据权利要求1所述的一种基于神经辐射场和语义分割网络的路面裂缝提取方法，其特征在于：所述运动恢复结构多视图立体视觉算法重建过程根据对极几何约束，恢复相机外参并且描述两张图像间对应点必须满足的关系，接着通过分解本征矩阵，得出相机的相对运动参数，再将新加入的相机姿态与已有相机和三维点云的匹配关系进行优化。
3.根据权利要求1所述的一种基于神经辐射场和语义分割网络的路面裂缝提取方法，其特征在于：神经辐射场算法使用多层感知机神经网络来隐式表达场景，神经辐射场输入包括预处理后的图像数据集中的射线角度和场景中射线上的3d位置，其输出包括3d位置对应的颜色信息和空间体积密度，沿着发射光线查询信息来合成视图并在渲染时利用射线角度和场景中射线上的3d位置、颜色信息以及空间体积密度信息生成新视角图像，将静态场景描述成一个连续的五维向量函数，公式如下：
【专利技术属性】
技术研发人员：柴明堂，姚常杰，郭子龙，李泽权，何俊杰，
申请(专利权)人：宁夏大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。