【技术实现步骤摘要】
本申请涉及视频处理，尤其涉及一种视频仿真处理方法、系统、汽车及存储介质。
技术介绍
1、目前，视频仿真技术在虚拟现实和电影制作等场景中被广泛应用。通过视频仿真，可以生成各种各样和高质量的视觉内容。视频仿真有助于增强虚拟现实、视频编辑和视频数据增强方面的应用。
2、视频仿真，是通过将现有视频与新插入的物体集成后展现。但是，相关技术中的视频仿真方法，新插入的物体与原有视频的融合性较差，都存在真实感较差的问题，例如，在几何真实感、光照真实感和照片真实感的部分或全部方面都有所欠缺，导致整体真实感较差。
技术实现思路
1、为解决或部分解决相关技术中存在的问题，本申请提供一种视频仿真处理方法、系统、汽车及存储介质，能够将各种物体合成到视频中并提高视频仿真的真实感。
2、本申请第一方面提供一种视频仿真处理方法，包括：
3、根据预设查询方式从资源库中获取用于合成的目标视频；
4、获取用于合成的目标物体，利用预设网格重建方式对目标物体进行3d重建，得到重建后的目标物体；
5、根据预设定位方式确定目标物体在目标视频中的放置位置，并对所述目标物体进行运动稳定性处理；
6、根据所述放置位置，将所述目标物体合成到所述目标视频。
7、在一实施方式中，所述根据所述放置位置，将所述目标物体合成到所述目标视频之后，还包括：
8、利用预设图像处理方式获取所述目标视频中的天空光照分布和环境光照分布，
9、根据所述
10、在一实施方式中，所述根据所述放置位置，将所述目标物体合成到所述目标视频之后，还包括：
11、利用预设转换网络对所述目标视频进行图像处理，以去除所述目标视频中的伪影。
12、在一实施方式中，所述根据预设查询方式从资源库中获取用于合成的目标视频，包括：
13、通过视觉词袋法从视频资源库中检索与指定的视觉词袋匹配的目标视频。
14、在一实施方式中，所述视觉词袋按以下方式预先生成：
15、通过语义分割掩码将所述视频资源库中的视频帧分割为不同分割区域，
16、利用尺度不变特征转换sift算法，从所述分割区域中提取视觉特征，
17、使用聚类算法将所述视觉特征进行聚类，根据聚类结果生成视觉词袋。
18、在一实施方式中，所述利用预设网格重建方式对目标物体进行3d重建，得到重建后的目标物体，包括：
19、利用houdini引擎对目标物体进行3d重建，得到重建后的目标物体，或，
20、基于神经辐射场nerf对目标物体进行3d重建，得到重建后的目标物体。
21、在一实施方式中，所述根据预设定位方式确定目标物体在目标视频中的放置位置，包括：
22、确定相机在目标视频场景中的世界坐标系位置，将所述世界坐标系位置作为目标物体插入的参考点；
23、使用相机的内参矩阵和姿态将世界坐标系中的点投影到像素坐标系中，以确定目标物体在目标视频的视频帧中的放置位置。
24、在一实施方式中，所述对所述目标物体进行运动稳定性处理，包括：
25、通过光流跟踪方式跟踪目标物体的运动轨迹，并通过优化相机姿态减小目标物体在连续视频帧中的投影误差，以使所述目标物体在目标视频中稳定运动。
26、在一实施方式中，所述利用预设图像处理方式获取所述目标视频中的天空光照分布和环境光照分布，包括：
27、根据目标视频场景中多个侧视低动态范围ldr图像生成高动态范围hdr图像；
28、对所述高动态范围hdr图像采用编码器-解码器网络模拟目标视频中的天空光照分布和环境光照分布。
29、在一实施方式中，所述利用预设转换网络对所述目标视频进行图像处理，以去除所述目标视频中的伪影，包括：
30、利用由卷积层组成的粗略网络和细化网络，采用从粗略到精细的图像处理模式，对所述目标视频进行图像处理，生成去除伪影后的精细化图像。
31、本申请第二方面提供一种视频仿真处理系统，包括：
32、视频获取模块，用于根据预设查询方式从资源库中获取用于合成的目标视频；
33、物体重建模块，用于获取用于合成的目标物体，利用预设网格重建方式对目标物体进行3d重建，得到重建后的目标物体；
34、放置模块，用于根据预设定位方式确定目标物体在目标视频中的放置位置，并对所述目标物体进行运动稳定性处理；
35、合成模块，用于根据所述放置位置，将所述目标物体合成到所述目标视频。
36、在一实施方式中，所述系统还包括：
37、渲染模块，用于利用预设图像处理方式获取所述目标视频中的天空光照分布和环境光照分布，
38、根据所述天空光照分布和环境光照分布，生成对目标物体进行光照渲染的光照效果和阴影效果。
39、在一实施方式中，所述系统还包括：
40、转换模块，用于利用预设转换网络对所述目标视频进行图像处理，以去除所述目标视频中的伪影。
41、本申请第三方面提供一种汽车，包括：
42、处理器；以及
43、存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如上所述的方法。
44、本申请第四方面提供一种计算机可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如上所述的方法。
45、本申请提供的技术方案可以包括以下有益效果：
46、本申请的技术方案，可以根据预设查询方式从资源库中获取用于合成的目标视频；获取用于合成的目标物体，可以利用预设网格重建方式对目标物体进行3d重建，得到重建后的目标物体；然后，根据预设定位方式确定目标物体在目标视频中的放置位置，并对所述目标物体进行运动稳定性处理；根据所述放置位置，将所述目标物体合成到所述目标视频。通过上述处理，本申请在将目标物体整合到目标视频时，通过确定更合适位置准确放置目标物体，可以增强几何真实性，提高视频仿真的真实感。
47、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
本文档来自技高网...【技术保护点】
1.一种视频仿真处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述放置位置，将所述目标物体合成到所述目标视频之后，还包括：
3.根据权利要求1或2所述的方法，其特征在于，所述根据所述放置位置，将所述目标物体合成到所述目标视频之后，还包括：
4.根据权利要求1所述的方法，其特征在于，所述根据预设查询方式从资源库中获取用于合成的目标视频，包括：
5.根据权利要求4所述的方法，其特征在于，所述视觉词袋按以下方式预先生成：
6.根据权利要求1所述的方法，其特征在于，所述利用预设网格重建方式对目标物体进行3D重建，得到重建后的目标物体，包括：
7.根据权利要求1所述的方法，其特征在于，所述根据预设定位方式确定目标物体在目标视频中的放置位置，包括：
8.根据权利要求1所述的方法，其特征在于，所述对所述目标物体进行运动稳定性处理，包括：
9.根据权利要求2所述的方法，其特征在于，所述利用预设图像处理方式获取所述目标视频中的天空光照分布和环境光照分布，包括：
<...【技术特征摘要】
1.一种视频仿真处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述放置位置，将所述目标物体合成到所述目标视频之后，还包括：
3.根据权利要求1或2所述的方法，其特征在于，所述根据所述放置位置，将所述目标物体合成到所述目标视频之后，还包括：
4.根据权利要求1所述的方法，其特征在于，所述根据预设查询方式从资源库中获取用于合成的目标视频，包括：
5.根据权利要求4所述的方法，其特征在于，所述视觉词袋按以下方式预先生成：
6.根据权利要求1所述的方法，其特征在于，所述利用预设网格重建方式对目标物体进行3d重建，得到重建后的目标物体，包括：
7.根据权利要求1所述的方法，其特征在于，所述根据预设定位方式确定目标物体在目标视频中的...
【专利技术属性】
技术研发人员：白宸，邵泽满，张国祥，梁迪，杨杰，张倬睿，郭宇健，钟成章，邱奕乔，王振东，管一臣，郑笑寅，王弢，吕骋，
申请(专利权)人：广州小鹏自动驾驶科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。