【技术实现步骤摘要】
本专利技术属于自动驾驶汽车，具体的说是一种基于行车记录仪视频的车端视角事故场景还原方法。
技术介绍
1、近年来自动驾驶汽车快速发展，应对复杂场景的能力显著增强，然而现实世界中的驾驶场景无尽丰富，发生概率极低的复杂极端长尾场景数据对自动驾驶汽车安全运行具有重要影响，为满足公众对于安全可靠自动驾驶汽车日益迫切的需求，需对自动驾驶汽车进行充分且高效的测试，以提高其处理复杂交通环境特别是长尾场景的能力，事故场景作为长尾场景的重要组成部分，对自动驾驶汽车测试的重要性不言而喻，然而事故场景采集过程极其危险、成本极高且效率低下，现有开源且可直接用于测试过程的自然驾驶数据集如highd也少有事故发生,因而逐渐展现出对事故数据的迫切需求，如何以低成本高效获取高质量的事故场景数据以供自动驾驶汽车测试是亟需解决的重要问题。
2、行车记录仪能够以车端单目相机视角记录车辆前方一定范围内场景的动态演化过程，通过视频对事故场景进行深入分析以追究事故责任主体，因而现存一些以单目视频形式存储的事故数据集，此外在网络平台上也可搜寻大量类似的事故场景，使得以低成本获取高价值事故场景数据成为可能。该数据来源的事故场景可大幅降低数据获取成本，同时蕴含了高度真实的交互特性，可显著增强算法在真实开放世界场景中的适应能力，此外，该来源的事故数据能够覆盖复杂多变的场景类型，场景多样性能够得到有效保障。
3、然而，对于仅存的视频数据难以将其直接应用于自动驾驶汽车的测试过程，需要基于行车记录仪视频进行事故重建以提取场景关键信息，而传统的基于行车记录仪视频进行
4、面向相机参数未知、不同且缺乏多源同步信息的事故视频数据，本专利技术提出一种以相机逆透视映射参数联合校准策略为核心的车端视角事故场景还原框架，能够从无任何先验信息支撑的行车记录仪视频中提取包括道路轮廓及交通参与者轨迹在内的场景时空信息，建立事故场景数据以用于自动驾驶汽车测试。
技术实现思路
1、为解决上述问题，本专利技术提供了一种基于行车记录仪视频的车端视角事故场景还原方法，首先对行车记录仪采集的单目事故视频进行预处理以优化视频质量；然后通过场景语义理解模块获取像素道路边界及图像动态区域的语义掩码；进而设计交通参与者稳健识别及跟踪算法提取像素运动轨迹；之后基于几何显著性特征束调整(geometricallysalient feature bundle adjustment,gsfba)的车端动态场景参数联合校准算法高精度校准逆透视映射参数；再利用相机参数对像素坐标进行逆透视变换；最后，设计道路轮廓及轨迹信息后处理模块，基于像素道路边界映射强度提取实际道路轮廓，并利用系统化的轨迹处理模块拟合优化轨迹信息，以此完成基于行车记录仪视频的事故场景还原任务，建立事故场景数据以用于自动驾驶汽车测试。
2、本专利技术技术方案结合附图说明如下：
3、一种基于行车记录仪视频的车端视角事故场景还原方法，包括以下步骤：
4、步骤一、对事故视频进行预处理；
5、利用高效多级降噪算法对视频进行降噪处理，利用实时中间流估计算法对视频进行补帧增强；
6、步骤二、对场景进行语义理解；
7、以deeplabv3plus算法作为语义特征提取器，对视频逐帧处理以获取场景多帧语义图像，通过边缘检测算法提取多帧像素道路边界，并以此为基础划分目标检测算法主要关注区域及背景区域，并在语义信息基础上配合运动一致性检查算法获取动态区域及动态语义掩码；
8、步骤三、对交通参与者像素轨迹进行提取；
9、通过改进的yolov8算法与deepsort算法之间的协同配合，在稳健识别关键交通参与者的基础上对其进行逐帧关联，实现交通参与者像素轨迹精确提取任务；
10、步骤四、对逆透视映射参数进行联合校准；
11、设计基于几何显著性特征束调整的车端动态场景逆透视映射参数联合校准算法，首先对图像的特征信息进行提取，然后进行光流修正预测、置信度更新以获取用于前端因子图构建的关键图像帧及用于后端因子图优化的中间量，进而在前端进程中初始化并构建因子图，最后在后端进程中利用几何显著性特征束调整(geometrically salient featurebundle adjustment,gsfba)实现参数的联合迭代校准；
12、步骤五、进行逆透视变换；
13、将关键交通参与者像素轨迹及道路像素轮廓映射至世界坐标系下以用于后续场景数据处理；
14、步骤六、对道路轮廓及轨迹数据进行后处理；
15、设计基于像素道路边界映射强度的道路轮廓提取方法及包括缺失轨迹预测、波动轨迹平滑、异常轨迹约束在内的系统化轨迹数据后处理流程对数据质量作进一步提升，以保证场景关键信息提取的准确性与可应用性。
16、进一步的，所述步骤一的具体方法如下：
17、11)采用高效多级降噪(efficient multistage video denoising,emvd)算法对视频进行处理，通过时间融合、空间去噪、时空细化三个处理阶段，对输入视频进行降噪；
18、12)利用实时中间流估计(real-time intermediate flow estimation,rife)算法对视频进行补帧增强，通过输出近似中间流后进行后向变形及融合实现中间帧图像的精准预测。
19、进一步的，所述步骤二的具体方法如下：
20、21)选取引入空洞卷积结构的deeplabv3plus算法作为语义特征提取器；
21、22)通过特征提取器对视频逐帧处理以获取场景多帧语义图像，通过边缘检测算法提取多帧像素道路边界，以像素道路边界为界限划分目标检测算法主要关注区域及背景区域；
22、23)采用运动一致性检查算法并配合语义信息获取图像动态区域的语义掩码，流程如下：在语义信息中不同交通参与者将被分配不同的颜色，将交通参与者轮廓视为待运动检查的候选区域，首先检测第一帧图像中待运动检查候选区域内的特征点，计算光流金字塔获取第二帧中待运动检查区域内与第一帧相匹配的特征点，利用随机抽样一致算法(random sample consensus,ransac)计算特征点间的基础矩阵及极线，并计算匹配特征点距离极线的距离，若大于设定的阈值则表明本文档来自技高网...
【技术保护点】
1.一种基于行车记录仪视频的车端视角事故场景还原方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于行车记录仪视频的车端视角事故场景还原方法，其特征在于，所述步骤一的具体方法如下：
3.根据权利要求1所述的一种基于行车记录仪视频的车端视角事故场景还原方法，其特征在于，所述步骤二的具体方法如下：
4.根据权利要求1所述的一种基于行车记录仪视频的车端视角事故场景还原方法，其特征在于，所述步骤三的具体方法如下：
5.根据权利要求1所述的一种基于行车记录仪视频的车端视角事故场景还原方法，其特征在于，所述步骤四的具体方法如下：
6.根据权利要求1所述的一种基于行车记录仪视频的车端视角事故场景还原方法，其特征在于，所述步骤五的具体方法如下：
7.根据权利要求1所述的一种基于行车记录仪视频的车端视角事故场景还原方法，其特征在于，所述步骤六的具体方法如下：
【技术特征摘要】
1.一种基于行车记录仪视频的车端视角事故场景还原方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于行车记录仪视频的车端视角事故场景还原方法，其特征在于，所述步骤一的具体方法如下：
3.根据权利要求1所述的一种基于行车记录仪视频的车端视角事故场景还原方法，其特征在于，所述步骤二的具体方法如下：
4.根据权利要求1所述的一种基于行车记录仪视频的车端视角事故场景还原方法...
【专利技术属性】
技术研发人员：赵健，李文旭，朱冰，张培兴，汤瑞，
申请(专利权)人：吉林大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。