【技术实现步骤摘要】
本专利技术涉及虚拟现实，尤其涉及一种与虚拟现实装置联动的车载全景监控系统及车辆。
技术介绍
1、视野受限或密封环境下的车辆或其他交通工具乘员不但需要观察车内情况，也需要观察车外态势，以便于向车组人员提示车外情况或下车后迅速投入工作。
2、现有系统主要采用带云台的摄像头配合车内显示系统组成，需要采用控制装置转动云台来调整视角，当使用者较多时只能按照次序一一进行操作，并且将摄像头采集到的全景视频流通过车内显示器后呈现后与人眼感知差异较大，观看者难以产生现场感。所以，现有的车内全景监控显示方案的现场感和现势性均较为低下。
技术实现思路
1、本专利技术提供一种与虚拟现实装置联动的车载全景监控系统及车辆，用以解决现有技术中车内全景监控显示方案的现场感和现势性均较为低下的缺陷。
2、本专利技术提供一种与虚拟现实装置联动的车载全景监控系统，包括在车辆本体上设置的云台摄像机和车载处理器，以及与所述车载处理器通信连接的多个虚拟现实装置；
3、所述云台摄像机，用于周视扫描周视扫描所述车辆本体的外部场景，并将所采集的原始图像序列传输至所述车载处理器；
4、所述车载处理器，用于将利用所述原始图像序列进行三维场景重建所得到的第一全景视频帧同步至每一所述虚拟现实装置；
5、所述虚拟现实装置，用于将所述第一全景视频帧调整为与所述虚拟现实装置的使用者在所述车辆本体内的固定视场相对应的第二全景视频帧，并对所述第二全景视频帧进行近眼显示；
6、其
7、根据本专利技术提供的一种与虚拟现实装置联动的车载全景监控系统，所述虚拟现实装置上布设有惯性导航装置，所述惯性导航装置与所述极坐标系对准；
8、所述虚拟现实装置，还用于根据所述惯性导航装置采集头部姿态信息，根据所述头部姿态信息，调整所述第二全景视频帧为第三全景视频帧，并对所述第三全景视频帧进行近眼显示。
9、根据本专利技术提供的一种与虚拟现实装置联动的车载全景监控系统，所述对所述第三全景视频帧进行近眼显示，包括：
10、根据所述头部姿态信息，确定第一视角范围和第二视角范围；
11、利用所述第一视角范围从所述第三全景视频帧截取出第一子视频帧，利用所述第二视角范围从所述第三全景视频帧截取出第二子视频帧，在所述虚拟现实装置的左图场和右图场中进行交替显示所述第一子视频帧以及所述第二子视频帧；
12、其中，所述第一视角范围是根据所述虚拟现实装置的使用者在当前头部姿态下的左眼视场确定的；所述第二视角范围是根据所述虚拟现实装置的使用者在当前头部姿态下的右眼视场确定的。
13、根据本专利技术提供的一种与虚拟现实装置联动的车载全景监控系统，所述虚拟现实装置中布设有眼动仪；
14、所述虚拟现实装置，还用于根据所述眼动仪采集眼动信息，根据所述眼动信息，调整所述第二全景视频帧为第四全景视频帧，并对所述第四全景视频帧进行近眼显示。
15、根据本专利技术提供的一种与虚拟现实装置联动的车载全景监控系统，所述对所述第四全景视频帧进行近眼显示，包括：
16、根据所述眼动信息，确定第三视角范围和第四视角范围；
17、利用所述第三视角范围从所述第三全景视频帧截取出第三子视频帧，利用所述第四视角范围从所述第三全景视频帧截取出第四子视频帧，在所述虚拟现实装置的左图场和右图场中进行交替显示所述第三子视频帧以及所述第四子视频帧；
18、其中，所述第三视角范围是根据所述虚拟现实装置的使用者在当前眼球位置下的左眼视场确定的；所述第四视角范围是根据所述虚拟现实装置的使用者在当前眼球位置下的右眼视场确定的。
19、根据本专利技术提供的一种与虚拟现实装置联动的车载全景监控系统，所述车载处理器利用所述原始图像序列进行三维场景重建所得到的第一全景视频帧时执行如下步骤：
20、基于所述原始图像序列中第一原始图像帧和第二原始图像帧之间的视场重叠区域，获取配准像素对；
21、利用所述配准像素对，对所述第一原始图像帧和所述第二原始图像帧进行逐帧融合，直至所述第二原始图像帧为所述原始图像序列中的最后一个原始图像帧，得到所述第一全景视频帧；
22、其中，所述第一原始图像帧和所述第二原始图像帧为所述原始图像序列中任意两个相邻的图像帧。
23、根据本专利技术提供的一种与虚拟现实装置联动的车载全景监控系统，所述基于所述原始图像序列中第一原始图像帧和第二原始图像帧之间的视场重叠区域，获取配准像素对，包括：
24、基于所述第一原始图像帧和所述第二原始图像帧，确定最佳配准线像素位置；
25、基于所述最佳配准线像素位置，确定所述第一原始图像帧和所述第二原始图像帧之间的视场重叠区域，以供车载处理器根据所述视场重叠区域从所述第一原始图像帧和所述第二原始图像帧中提取出所述配准像素对。
26、根据本专利技术提供的一种与虚拟现实装置联动的车载全景监控系统，所述利用所述配准像素对，对所述第一原始图像帧和所述第二原始图像帧进行逐帧融合，直至所述第二原始图像帧为所述原始图像序列中的最后一个原始图像帧，得到所述第一全景视频帧，包括：
27、利用所述配准像素对融合所述第一原始图像帧和所述第二原始图像帧，得到第一融合图像帧；
28、将第一原始图像帧更新为所述第一融合图像帧，并将所述第二原始图像帧更新为所述第二原始图像帧在所述原始图像序列中的下一图像帧后进行融合，直至所述第二原始图像帧为所述原始图像序列中的最后一个原始图像帧，得到第二融合图像帧；
29、基于所述最佳配准线像素位置对所述第二融合图像帧进行矫直处理，确定所述第一全景视频帧。
30、根据本专利技术提供的一种与虚拟现实装置联动的车载全景监控系统，所述云台摄像机包括云台稳定器，以及设置于所述云台稳定器上的摄像模组；
31、所述云台稳定器带动所述摄像模组围绕转动轴转动，以供所述摄像模组采集与所述转动轴对应的原始图像序列；
32、所述车载处理器，还用于将与不同转动轴对应的原始图像序列进行融合；
33、其中，所述转动轴包括俯仰轴、航向轴和横滚轴中的至少一种。
34、本专利技术还提供一种车辆，包括车辆本体，以及在所述车辆本体中装载的如上任一项所述与虚拟现实装置联动的车载全景监控系统。
35、本专利技术提供的与虚拟现实装置联动的车载全景监控系统及车辆，通过云台摄像机对车辆的外部场景进行感知，并由车载处理器对感知到的原始图像序列进行三维场景重建，将所得到的第一全景视频帧以视频流的形式同步到每一个车内用户佩戴的虚拟现实装置，再由虚拟现实装置将第一全景视频帧与车内用户所处方位对齐后，对所得到的第二全景视频帧进行近眼显示。实现在车辆移动过程中使全景视频流始终与用户方位保持一致，极大减小人眼感知差异，本文档来自技高网...
【技术保护点】
1.一种与虚拟现实装置联动的车载全景监控系统，其特征在于，包括在车辆本体上设置的云台摄像机和车载处理器，以及与所述车载处理器通信连接的多个虚拟现实装置；
2.根据权利要求1所述的与虚拟现实装置联动的车载全景监控系统，其特征在于，所述虚拟现实装置上布设有惯性导航装置，所述惯性导航装置与所述极坐标系对准；
3.根据权利要求2所述的与虚拟现实装置联动的车载全景监控系统，所述对所述第三全景视频帧进行近眼显示，包括：
4.根据权利要求1所述的与虚拟现实装置联动的车载全景监控系统，其特征在于，所述虚拟现实装置中布设有眼动仪；
5.根据权利要求4所述的与虚拟现实装置联动的车载全景监控系统，所述对所述第四全景视频帧进行近眼显示，包括：
6.根据权利要求1所述的与虚拟现实装置联动的车载全景监控系统，所述车载处理器利用所述原始图像序列进行三维场景重建所得到的第一全景视频帧时执行如下步骤：
7.根据权利要求6所述的与虚拟现实装置联动的车载全景监控系统，所述基于所述原始图像序列中第一原始图像帧和第二原始图像帧之间的视场重叠区域，获取
8.根据权利要求6所述的与虚拟现实装置联动的车载全景监控系统，所述利用所述配准像素对，对所述第一原始图像帧和所述第二原始图像帧进行逐帧融合，直至所述第二原始图像帧为所述原始图像序列中的最后一个原始图像帧，得到所述第一全景视频帧，包括：
9.根据权利要求1所述的与虚拟现实装置联动的车载全景监控系统，所述云台摄像机包括云台稳定器，以及设置于所述云台稳定器上的摄像模组；
10.一种车辆，其特征在于，包括车辆本体，以及在所述车辆本体中装载的如权利要求1至9任一项所述与虚拟现实装置联动的车载全景监控系统。
...【技术特征摘要】
1.一种与虚拟现实装置联动的车载全景监控系统，其特征在于，包括在车辆本体上设置的云台摄像机和车载处理器，以及与所述车载处理器通信连接的多个虚拟现实装置；
2.根据权利要求1所述的与虚拟现实装置联动的车载全景监控系统，其特征在于，所述虚拟现实装置上布设有惯性导航装置，所述惯性导航装置与所述极坐标系对准；
3.根据权利要求2所述的与虚拟现实装置联动的车载全景监控系统，所述对所述第三全景视频帧进行近眼显示，包括：
4.根据权利要求1所述的与虚拟现实装置联动的车载全景监控系统，其特征在于，所述虚拟现实装置中布设有眼动仪；
5.根据权利要求4所述的与虚拟现实装置联动的车载全景监控系统，所述对所述第四全景视频帧进行近眼显示，包括：
6.根据权利要求1所述的与虚拟现实装置联动的车载全景监控系统，所述车载处理器利用所述原始...
【专利技术属性】
技术研发人员：夏昊，
申请(专利权)人：中国科学院空天信息创新研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。