基于VST技术的半实物仿真座舱虚实融合模拟系统技术方案

本发明专利技术公开了一种基于VST技术的半实物仿真座舱虚实融合式模拟系统，包括：飞机仿真系统，其包括航电子系统和飞控子系统；航电子系统用于产生航电数据并发送至VST视景系统；飞控子系统用于产生飞控数据并发送至VST视景系统；摄像头用于采集半实物仿真座舱及现场绿幕场景的视频流图像并发送至VST视景系统；VST视景系统，其接收飞机仿真系统以及摄像头发送的数据，并将虚拟座舱图像与虚拟场景图像进行融合生成虚实融合后的图像；头显设备，其接收虚实融合后的图像并显示输出。本发明专利技术的模拟系统，并将半实物仿真座舱及现场绿幕场景的视频流图像与虚拟场景图像进行融合，生成的虚实融合图像可避免现有光学透视技术存在的虚拟物体呈现出半透明的状态等问题。体呈现出半透明的状态等问题。体呈现出半透明的状态等问题。

【技术实现步骤摘要】
基于VST技术的半实物仿真座舱虚实融合模拟系统


[0001]本专利技术属于模拟器视景仿真领域，具体指一种基于VST技术的半实物仿真座舱虚实融合式模拟系统。

技术介绍

[0002]现在有的半实物仿真虚实融合式模拟系统采用光学透视技术，由于光学透视式头戴显示器前方的光学透镜组允许来自真实和虚拟环境中的光线同时通过，因此计算机生成的虚拟物体不能够完全遮挡住真实环境中的物体，使得注册的虚拟物体呈现出半透明的状态，破坏了真实景象与虚拟场景相融合的真实感以及由于遮挡而提供给人们的深度信息。
[0003]光学系统通常具有畸变，畸变的大小与像点离开光轴中心的半径平方成正比。要开发视野较宽的增强现实系统，就必须考虑光学系统的畸变问题，而视频透视式头戴显示器则可以通过图像处理的方法校正光学系统存在的畸变。
[0004]对于光学透视式头戴显示器，用户可以实时的看到真实世界的景象，而虚拟场景要经过一系列的时间延时才能够添加在真实场景之上，从而造成系统的动态注册误差，使增强信息在真实场景中产生“游移”现象。而采用视频透视式头戴显示器则可以将拍摄到真实场景消耗的系统时间与描绘虚拟场景的系统延时时间进行匹配，以减小动态注册误差，提高注册精度。
[0005]自然界光照强度的变化范围跨度大，而显示器光强度的变化范围却无法与之匹敌。因此光学透视式头戴显示器存在真实与虚拟场景光强度难以达到最佳匹配的缺点。视频透视式头戴显示器却不存在此方面的问题。因为无论是真实或是虚拟场景均在头戴显示器上显示输出。

技术实现思路

[0006]本专利技术针对现有技术中半实物仿真虚实融合式模拟系统采用光学透视技术存在合成景象不灵活、畸变、光强度匹配难度大等技术问题，提出了一种基于VST技术的半实物仿真座舱虚实融合式模拟系统，可以解决上述问题。
[0007]为实现上述专利技术目的，本专利技术采用下述技术方案予以实现：一种基于VST技术的半实物仿真座舱虚实融合式模拟系统，包括：飞机仿真系统，其包括航电子系统和飞控子系统；航电子系统用于产生航电数据并发送至VST视景系统；飞控子系统用于产生飞控数据并发送至VST视景系统；摄像头，其用于采集半实物仿真座舱及现场绿幕环境的视频流图像并发送至VST视景系统；VST视景系统，其接收所述飞机仿真系统以及摄像头发送的数据，所述VST视景系统将摄像头发送的半实物仿真座舱及现场绿幕环境的视频流图像进行处理，得到半实物仿真座舱图像，并将半实物仿真座舱图像与虚拟场景图像进行融合，生成虚实融合后的图像；
头显设备，其接收所述虚实融合后的图像并显示输出。
[0008]本专利技术的一些实施例中，所述航电子系统将需要通过仪表盘显示的可视数据以共享内存的方式发送到所述VST视景系统中，所述VST视景系统将所述可视数据加载到虚拟场景图像中仪表盘所对应的位置处;可视数据包括航电子系统输出的仿真数据驱动的航电显示图像，该航电显示图像包括MFD和HUD实时显示的画面。
[0009]本专利技术的一些实施例中，所述航电子系统以及飞控子系统将控制指令数据通过UDP网络通信的方式送到所述VST视景系统，所述VST视景系统接收并执行控制指令，对于能够改变可视状态的控制指令，在所述虚拟座舱图像中相应的位置处进行改变。
[0010]本专利技术的一些实施例中，所述VST视景系统还包括将执行控制指令产生的操作数据通过UDP网络通信的方式发送至所述飞机仿真系统；所述飞机仿真系统根据所述操作数据驱动半实物仿真座舱的仪表盘显示输出。
[0011]本专利技术的一些实施例中，能够改变可视状态的控制指令包括点亮或者关闭指示灯，或者改变指示灯的显示颜色。
[0012]本专利技术的一些实施例中，所述VST视景系统接收所述摄像头发送的半实物仿真座舱及现场绿幕场景的视频流图像，并进行以下处理：读取图像并进行格式转换，转换为HSV格式的数据；将HSV格式的图像依次进行分割、形态学变换、图像腐蚀、高斯模糊处理，得到半实物仿真座舱图像。
[0013]本专利技术的一些实施例中，所述VST视景系统将半实物仿真座舱及现场绿幕场景的视频流图像进行处理之前，还包括抠像的步骤，得到仅包含实物座舱的图像。
[0014]本专利技术的一些实施例中，所述VST视景系统将所述实物座舱预处理图像与虚拟场景图像进行融合后，还包括把融合图像转换为UTexture2D资源文件，并创建动态材质，加载UTexture2D资源文件，生成全景图像。
[0015]本专利技术的一些实施例中，所述摄像头为双目摄像头。
[0016]本专利技术的一些实施例中，所述摄像头固定在所述头戴显示设备的前端。
[0017]与现有技术相比，本专利技术的优点和积极效果是：本专利技术的半实物仿真座舱虚实融合式模拟系统，基于视频透视技术，通过摄像头采集半实物飞机座舱及现场绿幕场景的视频流图像，并将实物座舱的视频流图像与虚拟场景图像进行融合，生成虚实融合后的图像，避免直接透过自然界的光线，进而可避免现有光学透视技术存在的虚拟物体呈现出半透明的状态等问题。
[0018]采用视频透视技术可避免自然界光照强度的变化范围跨度大，而显示器光强度的变化范围却无法与之匹配的问题。本方法无论是真实景象还是虚拟场景，均转换为数字图像，并且做融合处理后在头戴显示器上显示输出。
[0019]结合附图阅读本专利技术的具体实施方式后，本专利技术的其他特点和优点将变得更加清楚。
附图说明
[0020]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例中所需要使用的
附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0021]图1是本专利技术提出的基于VST技术的半实物仿真座舱虚实融合式模拟系统的一种实施例的原理方框图；图2是是本专利技术提出的基于VST技术的半实物仿真座舱虚实融合式模拟系统的一种实施例的图像处理原理方框图。
具体实施方式
[0022]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0023]需要说明的是，在本专利技术的描述中，术语“上”、“下”、“左”、“右”、“竖”、“横”、“内”、“外”等指示的方向或位置关系的术语是基于附图所示的方向或位置关系，这仅仅是为了便于描述，而不是指示或暗示所述装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本专利技术的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。在本专利技术的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
[0024]在本专利技术中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于VST技术的半实物仿真座舱虚实融合式模拟系统，其特征在于，包括：飞机仿真系统，其包括航电子系统和飞控子系统；航电子系统用于产生航电数据并发送至VST视景系统；飞控子系统用于产生飞控数据并发送至VST视景系统；摄像头，其用于采集半实物仿真座舱及现场绿幕环境的视频流图像并发送至VST视景系统；VST视景系统，其接收所述飞机仿真系统以及摄像头发送的数据，所述VST视景系统将摄像头发送的半实物仿真座舱及现场绿幕环境的视频流图像进行处理，得到半实物仿真座舱图像，并将半实物仿真座舱图像与虚拟场景图像进行融合，生成虚实融合后的图像；头显设备，其接收所述虚实融合后的图像并显示输出。2.根据权利要求1所述的模拟系统，其特征在于，所述航电子系统将需要通过仪表盘显示的可视数据以共享内存的方式发送到所述VST视景系统中，所述VST视景系统将所述可视数据加载到虚拟场景图像中仪表盘所对应的位置处;可视数据包括航电子系统输出的仿真数据驱动的航电显示图像，该航电显示图像包括MFD和HUD实时显示的画面。3.根据权利要求1所述的模拟系统，其特征在于，所述航电子系统以及飞控子系统将控制指令数据通过UDP网络通信的方式送到所述VST视景系统，所述VST视景系统接收并执行控制指令，对于能够改变可视状态的控制指令，在所述虚拟座舱图像中相应的位置处进行改变。4.根据权利要求3所述的模拟系统，其特征在于，所述VST视景系...

【专利技术属性】
技术研发人员：王志乐，严小天，周秀芝，孙忠云，郭秋华，崔益鹏，刘鲁峰，王惠青，
申请(专利权)人：南京珺艺科技信息有限公司，
类型：发明
国别省市：