一种高效的GPU三维视频融合绘制方法技术

本发明专利技术涉及一种高效的GPU三维视频融合绘制方法，其步骤包括：通过视频对象缓冲区获取由多路视频流所输入的视频数据；在GPU中对所获取视频数据并对其进行可扩展分层解码，解码线程由视频对象所依赖的对应三维场景部分的可视特性进行控制和驱动，可视特性包括可见性、分层属性和时间一致性；解码完成后将所有按照同步时间解码相应的时间片段而得到的图像序列和纹理ID绑定并存放在图像纹理缓冲区中；采用时空纹理映射函数对图像纹理缓冲区中的纹理进行采样，将其映射到三维场景中的物体的表面，并完成其它真实感绘制相关的操作，最终输出基于视频的虚实融合绘制结果。本发明专利技术能够满足三维视频虚实融合的有效性需求、准确性需求和可靠性需求。

【技术实现步骤摘要】
一种高效的GPU三维视频融合绘制方法
本专利技术属于计算机图形、虚拟现实、增强现实
，具体涉及一种高效的GPU上三维场景与多路视频融合绘制方法，可以增强大规模三维场景的内外部细节，并且为用户提供随时序变化的动态三维场景的实时高逼真度展示。
技术介绍
近年来，GPU的强大并行计算能力被逐渐应用到视频编解码中。文献[Shen2005，G.Shen,G.-P.Gao,S.Li,H.-Y.Shum,andY.-Q.Zhang,"AcceleratevideodecodingwithgenericGPU,"IEEETrans.CircuitsSyst.VideoTechnol.,vol.15,no.5,pp.685-693,May2005.]将微软公司WMV-8解码器中的运动补偿、重构、色彩空间转换这3个模块移植到GPU中，取得了较好的加速效果。文献[Fang2005，FangB.,ShenG.,LiS.,ChenH.:Techniquesforefficeitnedct/idctimplementationongenericgpu.InProceedingsofIEEEInternationalSymposiumonCircuitsandSystems(2005),pp.1126--1129.]提出了许多新的技术在通用可编程GPU上实现DC、IDCT，实验结果表明该方法明显快于在CPU上使用MMX优化的IDCT算法。文献[Pieters2007a：Pieters,B.,Rijsselbergen,D.V.,Neve,W.D.,,deWalle,R.V.,2007.Performanceevaluationofh.264/avcdecodingandvisualizationusingtheGPU.In:ProceedingsofSPIEonApplicationsofDigitalImageProcessing,vol.6696,pp.669606-1–669606-13.；Pieters2007b：Pieters,D.VanRijsselbergen,W.DeNeveandR.VandeWalle"MotioncompensationandreconstructionofH.264/AVCvideobitstreamsusingtheGPU",WIAMIS\'07:Proc.8thInt.WorkshopImageAnalysisforMultimediaInteractiveServices,pp.69,2007.]将H.264中运动补偿、重构、色彩空间转换移入GPU，实现了高清视频的实时解码。文献[Kung2008，M.Kung,O.Au,P.WongandC.Liu"Blockbasedparallelmotionestimationusingprogrammablegraphicshardware",Proc.Int.Conf.Audio,LanguageandImageProcessing,pp.599-603,2008]通过重新排列4*4块的编码顺序，去除块之间的相关性，实现了运动估计的GPU加速。实验结果表明，该方法比CPU优化的SDVTD快了45倍。在传统的视频解码的完整流程中，视频解码的流处理需要占据接近50％的CPU资源，动态补偿则占据约12％，去块滤波占8％，视频变换则占2.6％，四项加起来总CPU占用超过70％。如果没有硬件加速支持，完全依靠CPU负责解码的话，将导致CPU占用率居高不下、发热量剧增，甚至无法播放视频。基于GPU的强大并行能力和在视频图像处理领域的巨大潜力，Nvidia公司针对上述问题在GPU上开发了新一代PureVideoHD解码引擎支持H.264硬件解码，将所有图像解码工作交由显示核心负责，包括支持降低噪声，支持边缘增强锐利度和图像细节，支持图像色彩校正，校正显示屏屏幕与电视屏幕在色彩特性上的差异，确保输出图像质素与显示屏相若。支持LCD锐利化，增强色彩信号，对某些过慢反应时间的LCD显示屏进行补偿，消除残影。此外PureVideo的开发环境DXVA还定义了一组可以让图形驱动实现运算加速的硬件驱动接口(DeviceDriverInterfaces/DDIs)。但是GPU上视频编解码的核心硬件VP(VideoProcessor)作为独立的处理部件与GPU上执行并行计算和图形处理的CUDA架构并不是硬件一体的，而且其硬件视频处理的运行模式与GPU图形处理器上的运行模式为分离独立模式，整个视频的处理和三维图形的处理在逻辑流程上是完全分离的，给需要同时进行视频图像处理和3D图形绘制的虚实融合应用带来障碍。在多路视频与大规模三维虚实融合绘制与可视化的场景及其应用系统中，当面对多路视频输入的虚实融合处理与计算时，无论视频解码还是融合场景的3D图形绘制处理，都面临庞大的计算量。虽然PureVideo的开发环境DXVA还定义了一组可以让图形驱动实现运算加速的硬件驱动接口(DeviceDriverInterfaces/DDIs)，但是由于GPU上视频编解码的核心硬件VP(VideoProcessor)作为独立的处理部件与GPU上执行并行计算和图形处理的CUDA架构并不是硬件一体的，而且其硬件视频处理的运行模式与GPU图形处理器上的运行模式为分离独立模式，整个视频的处理和三维图形的处理流程是完全分离的。在视频与图形的处理过程中，视频的数据输入及后处理数据输出与图形的数据输入及后处理数据输出完全隔离，数据无法在显存中直接有效共享，往往只能间接通过PCIE通道进入内存后再通过纹理绑定的形式进行从视频数据到图形纹理数据的交换和共享。由于视频解码之后的图像数据量几乎可以达到Gb/s级，PCIE通道带宽基本被完全占用。此外，视频的解码和三维虚拟场景的绘制是被视为两个单独的任务进行处理，仅仅在视频解码的数据被指定打包成纹理数据之后才进入绘制的流水线，导致多路视频中大量的视频解码数据并不能适应或者符合三维图形绘制引擎中纹理映射和融合绘制的需求：1)有效性需求：有m路视频输入，但是在浏览三维场景的某一时刻，只有其中某些视频所对应的三维场景部分位于当前的视点观察范围之内，则只有这些处于观察范围之内的n(n≤m)路视频才是有效的，其他则是无效的。针对无效视频的解码以及执行后续融合绘制操作都对最终的可视结果不产生任何影响，因此是无用的，但是执行解码会形成额外的系统开销从而导致系统性能的下降；2)准确性需求：在保证视频信息的有效性基础之上，在浏览三维场景的某一时刻，处于当前的视点观察范围之内的n路有效视频，视频彼此之间的时间和空间分辨率往往存在不一致现象，即视频质量的需求不一样。例如位于距离视点较近距离的三维场景上出现的视频对象应该清晰度高，而距离视点较远的三维场景上出现的视频对象允许清晰度较低。每个视频对象都应该根据其所依附的当前三维场景的具体状况而采取相应的视频质量，而不应该所有的视频在解码时都采用最高清晰度标准进行解码，因为对n路有效视频按照原始最高清晰度标准解码对最终的可视结果不产生任何影响，因此是无用的，但是上述无用的解码开销会形成无谓的浪费从而导致系统性能的下降；此外，视频解本文档来自技高网...

【技术保护点】
一种高效的GPU三维视频融合绘制方法，其步骤包括：1)通过视频对象缓冲区获取由多路视频流所输入的视频数据，采用视频解码器对其进行解码，视频对象的解码线程由视频对象所依赖的对应三维场景部分的可视特性进行控制和驱动，所述可视特性包括可见性、分层属性和时间一致性；2)在解码完成后，将所有按照同步时间解码相应的时间片段而得到的图像序列和纹理ID绑定并存放在图像纹理缓冲区中；3)采用时空纹理映射函数对图像纹理缓冲区中的纹理进行采样，将其映射到三维场景中的物体的表面，并完成其它真实感绘制相关的操作，最终输出基于视频的虚实融合绘制结果。

【技术特征摘要】
1.一种高效的GPU三维视频融合绘制方法，其步骤包括：1)通过视频对象缓冲区获取由多路视频流所输入的视频数据，采用视频解码器对输入的视频数据进行解码，视频对象的解码线程由视频对象所依赖的对应三维场景部分的可视特性进行控制和驱动，所述可视特性包括可见性、分层属性和时间一致性；2)在解码完成后，将所有按照同步时间解码相应的时间片段而得到的图像序列和纹理ID绑定并存放在图像纹理缓冲区中；3)采用时空纹理映射函数对图像纹理缓冲区中的纹理进行采样，将其映射到三维场景中的物体的表面，并完成其它真实感绘制相关的操作，最终输出基于视频的虚实融合绘制结果。2.如权利要求1所述的方法，其特征在于：步骤1)所述可见性包括视域可见性、背向面可见性和遮挡可见性；所述分层属性包括空间分层分辨率和时间分层分辨率；所述时间一致性通过三维绘制系统向各个解码线程发送同步时间戳实现。3.如权利要求1或2所述的方法，其特征在于：步骤1)在三维场景对应部分的可视特性的控制下进行解码时，依序分别计算和判定视频对象的可见性、空间分层、时间分层；首先根据三维场景空间信息，通过计算视频对象的可见性，从m路视频所对应的视频对象中选择出n路有效视频；然后分别计算出n路视频中每一个有效视频对象的空间分层分辨率和时间分层分辨率；然后根据当前时间计算出每个视频对象的起始播放时间，并且找到其对应的起始解码的I帧，后续的解码则从当前的I帧开始；当三维场景的观察参数发生变化时，或者三维场景中的视频对象本身发生变化时，重新计算视频对象的可见性、时间分层和空间分层分辨率和起始解码的I帧。4.如权利要求3所述的方法，其特征在于，所述可见性的判断和剔除方法包括：视域体判断剔除，输入视频对象K所依附的三维场景表面Gk如果完全位于当前视点的观察三维场景视域体之外，则该部分的三维场景表面相对于当前视点不可见，标记可见性状态vk＝0；否则该部分的三维场景表面部分或者完全位于视域体之内，标记可见性状态vk＝1；背向面判断剔除，针对所有通过上述视域体判断的输入视频对象K所依附的三维场景表面Gk，如果属于相对当前视点观察三维场景时的背向面，则该部分的三维场景表面相对于当前视点不可见，标记对应视频对象的可见性状态vk＝0；否则为正向面，标记视频对象的可见性状态vk＝1；以及遮挡判断剔除，针对所有通过上述视域体判断和背向面判断得到的输入视频对象K所依附的三维场景表面Gk，如果能够找到完全遮挡该Gk的其它三维场景，则标记其对应视频对象的可见性状态vk＝0，否则对应视频对象的可见性状态vk＝1。5.如权利要求4所述的方法，其特征在于：所述视域体判断剔除的过程中，采用三维场景表面的包围盒代替三维场景表面本身进行近似判断，具体方法是：采用基于轴对齐包围盒的方法，通过2个顶点直接确定包围盒与视域体的相交情况，这两个顶点称为正侧点p和负侧点n，相对于检测平面π，p点的有向距离最大，而n点的有向距离最小，如果p点在平面π的负方向，那么包围盒完全在视域体之外，否则进一步检测n点，若n点在平面π的负方向，则包围盒与视域体相交，否则完全包含在其内部。6.如权利要求2所述的方法，其特征在于，步骤1)所述分层属性中空间分层分辨率的计算方法为：利用包围盒在成像平面上的近似投影面积作为计算视频对象空间分辨率的依据；设包围盒所对应的场景部分投影所占据的屏幕的像素数为Nk；设视频对象K的空间分级由最低分辨率至最高分辨率依次为则其分级对应的分辨率所占据的像素数为则如果存在i使得则当前视频对象K...

【专利技术属性】
技术研发人员：李胜，闾晓琴，汪国平，
申请(专利权)人：北京大学，
类型：发明
国别省市：北京;11