一种自由视角立体视频显示方法技术

本发明专利技术涉及一种可自由选择视角的立体视频显示装置，具体说就是可根据观察者意愿选择观察方位和观察距离的视频显示系统，硬件上包含多路同步视频采集装置、中心计算装置、显示终端装置，软件上包含目标分割和角点检测，三维视频流构建，任意视角二维视频流的生成等步骤。本发明专利技术可以实现同一场景任意视角的活动视频，该视角可人为指定，并且可以人为选择不同的观察距离，显示时如果选择合适的视距还可实现穿透式的显示效果，比现有的其他立体视觉产生方法更具可被接受，该方法在军事指挥方面有重要的应用前景。

【技术实现步骤摘要】

本专利技术涉及一种三维物体的多角度动态成像领域，特别是。
技术介绍
随着技术发展，研究领域和消费市场上出现了一些显示立体效果的显示终端，主 要有两大类型，其一是通过佩戴立体眼睛，根据人眼的视差在大脑中形成立体画面的显示 装置；其二是通过物理光学装置让双眼看到不同的画面从而形成立体视觉效应。这两种 方法都是被动式的立体显示方式，即观察者不能自主选择观察视角和距离，并且每个观察 者不管处于什么位置和角度都只能看到同样的立体画面，和真实生活中的立体视觉完全不 同，因此能够解决上述问题的主动式立体显示就成为该领域研究的新途径。
技术实现思路
专利技术目的本专利技术所要解决的技术问题是针对现有技术的不足，提供，该方法将同步拍摄同一场景的多个角度活动视频通过视频处理后形成场景的三维视频流，根据不同观察者的要求，计算出指定角度和指定距离处的二维视频投影显示到终端上，显示时选择合适的视距还可实现穿透式的显示效果。技术方案本专利技术公开了，包括以下步骤 步骤(1)，目标分割和角点检测将视频流中的不同目标进行分割，分割后标注出每个目标的可视角点； 步骤(2)，视频流同步启动视频流的采集来同步不同视角摄像装置拍摄的二维 场景；所述的摄像装置在拍摄目标周围水平均匀分布，拍摄目标上方还有一个，任意两个摄 像装置之间都能拍摄到部分重叠的目标区域。 步骤(3)，构建三维视频流根据同一时间点不同视角拍摄的视频帧中不同目标 的角点计算出目标各角点在三维空间中的坐标，从而构建当前时间点所有目标的三维模 型，将所有时间点的三维模型连续编码后形成三维视频流； 步骤(4)，生成任意视角的二维视频流将三维视频流解码后得到不同时间点的目标三维模型，根据观察者自主选择的视角和视距向观察平面投影生成二维视频流。本专利技术中，步骤(1)包括以下步骤 1. 1用Harris算法对角点进行第一次估计； 1.2将估计出的角点用SUSAN算法进行进一步的筛选，得出最终的角点。 本专利技术步骤(2)中通过外部硬件触发器将开始采集视频的同步信号发送到各摄像装置，实现采集的视频帧完全同步。 本专利技术中，步骤(3)包括以下步骤 对检测出来的角点用窗口模板匹配方法进行匹配； 用上步中得出的匹配点计算同一时间不同角度拍摄的两幅图的基础矩阵； 得出射影矩阵以及摄像装置内部参数矩阵(含焦距等参数)和外部参数矩阵(包括不同摄像装置两两之间的相对旋转矩阵和位移矩阵)； 构建出当时的世界坐标系； 对两幅图像重建结果进行集束调整。 本专利技术步骤(4)中，在获得分布位置信息和坐标值的基础上，利用0penGL所提供 的API函数将各点拟合成面。 本专利技术中，根据光照、视角等具体条件进行渲染纹理等特效处理。 本专利技术中，生成的二维视频流在特定的视距下可实现穿透式的显示效果 有益效果本专利技术可获得同一场景任意视角的活动视频，该视角可人为指定，并且可以人为选择不同的观察距离，显示时如果选择合适的视距还可实现穿透式的显示效果，比现有的其他立体视觉产生方法更具可被接受，该方法在军事指挥方面有重要的应用前旦 豕。附图说明 下面结合附图和具体实施方式对本专利技术做更进一步的具体说明，本专利技术的上述和 /或其他方面的优点将会变得更加清楚。图1为本专利技术实施例的三维物体的多角度动态成像示意图。 图2a和图2b是本专利技术所涉及的坐标系投影图。 图3a和图3b是本专利技术所涉及的分层显示图。具体实施例方式本专利技术实施时，需要的装置硬件系统由四个模块构成 视频采集模块多路视频同时采集场景，并保证摄像装置能覆盖目标的水平360 度和垂直180度视角，将视频数据输出给数据处理模块；具体分布时保证在拍摄目标周围 水平均匀分布，拍摄目标上方还有一个，任意两个摄像装置之间都能拍摄到部分重叠的目 标区域。采集触发模块通过硬件触发方式保证不同角度的摄像装置采集时间同步； 数据处理模块高速数据处理中心负责将各路视频同步并构建场景的三维视频 流，并根据二维显示模块输出的数据计算出二维视频投影流； 二维显示模块负责将观察者的角度和距离输出给数据处理模块并显示由数据处 理模块生成的二维视频投影流。如图1所示，本专利技术实施例的三维物体的多角度动态成像示意图。本专利技术中，根据三个互为120度、相同焦距的摄像装置拍摄的同一场景的不同画面构建场景的三维视图，通过已知参数构造出场景的三维视图，实施过程如下 —、目标分割和角点检测将视频流中的不同目标进行分割，分割后标注出每个目标的可视角点； 二、视频流同步启动视频流的采集来同步不同视角摄像装置拍摄的二维场景； Harris算法检测过程中，先使用差分算子与图像巻积(式(l))，计算图像在X和 Y方向的梯度Ix、Iy。 <formula>formula see original document page 5</formula>(1) 为提高抗噪能力，对图像进行高斯平滑(式(2))，进而逐点计算出像素点的特征 参数H(式(3)): <formula>formula see original document page 5</formula><formula>formula see original document page 5</formula>tr2 (M) (3) 式(3)中，k为默认常数，可以根据具体需要认为调节。角点判断准则为特征参 数H在角的区域是正值，在边的区域是负值，在内部是很小的值，这样，通过对H值的判断就 可以得到角点的集合。在SUSAN(Small Uni-value Segment Assimilating Nucleus)算法部分，采用37点模板，即在7*7的窗口内选取一个八边形来近似USAN准则中的圆形，用于亮度比较。在核心点十字区域的点与之比较的结果使用的阈值相较于其它部分与核心点亮度的差值的阈值要稍小一点。初始响应函数为 Xz/l(。h&l(Fo)l2 其中,(6) = ^>(^，。，^^)是亮度比较结果，而 (^)的上下限是在实施中得出的能有效过滤伪角点的阈值。而后进行窗口模板匹配，设同一时刻不同角度的两幅图像 为picl和pic2，以picl的角点为中心，在pic2中选取15*15的邻域，(邻域的选取和两图 相对位移的大小有关)，视该区域内的角点为可能匹配的角点，其它角点都不是能匹配的角 点，采用绝对平均误差准则MAD (Mean of Absolute Difference): <formula>formula see original document page 5</formula><formula>formula see original document page 5</formula> 以此选取亮度最为接近的角点作为匹配对。设picl的某角点P在pic2中的对应 的角点有(Pl， P2， P3，…，Pn)，逐一计算不同角点对的MAD，选取最小的MAD对应的角点为 匹配角点，这样可能匹配出来的角点对还会是一个多对多的结果，与匹配之前相比只是角 点对减少了。于是，再反向匹配一次，即由pic2向picl匹配，得到的匹配对与上一次所得 的匹本文档来自技高网...

【技术保护点】
一种自由视角立体视频显示方法，其特征在于，包括以下步骤：步骤（１），目标分割和角点检测：将视频流中的不同目标进行分割，分割后标注出每个目标的可视角点；步骤（２），视频流同步：启动视频流的采集来同步不同视角摄像装置拍摄的二维场景；步骤（３），构建三维视频流：根据同一时间点不同视角拍摄的视频帧中不同目标的角点计算出目标各角点在三维空间中的坐标，从而构建当前时间点所有目标的三维模型，将所有时间点的三维模型连续编码后形成三维视频流；步骤（４），生成任意视角的二维视频流：将三维视频流解码后得到不同时间点的目标三维模型，根据观察者自主选择的视角和视距向观察平面投影生成二维视频流。

【技术特征摘要】
一种自由视角立体视频显示方法，其特征在于，包括以下步骤步骤(1)，目标分割和角点检测将视频流中的不同目标进行分割，分割后标注出每个目标的可视角点；步骤(2)，视频流同步启动视频流的采集来同步不同视角摄像装置拍摄的二维场景；步骤(3)，构建三维视频流根据同一时间点不同视角拍摄的视频帧中不同目标的角点计算出目标各角点在三维空间中的坐标，从而构建当前时间点所有目标的三维模型，将所有时间点的三维模型连续编码后形成三维视频流；步骤(4)，生成任意视角的二维视频流将三维视频流解码后得到不同时间点的目标三维模型，根据观察者自主选择的视角和视距向观察平面投影生成二维视频流。2. 根据权利要求1所述的一种自由视角立体视频显示方法，其特征在于，步骤(1)包括 以下步骤用Harris算法对角点进行第一次估计；将...

【专利技术属性】
技术研发人员：袁杰，金晶，周舒篁，
申请(专利权)人：南京大学，
类型：发明
国别省市：84[中国|南京]