一种投影图像模糊消除方法技术

本发明专利技术公开了一种基于多尺度卷积核的投影图像模糊消除方法，该方法首先使用离散集合映射方法进行几何校正，并提出一种改进的Sobel-Tenengrad聚焦评价方法计算图像锐利度来进行投影捕捉图像的亮度均衡，然后使用具有多尺度卷积核模糊模板的维纳滤波图像重组方法进行投影图像模糊消除计算，最终完成投影机自身散焦以及投影环境影响造成的投影图像模糊消除。使用本发明专利技术公开的基于多尺度卷积核的投影图像模糊消除方法，可以有效消除投影设备手工对焦不充分以及复杂投影环境对投影图像的聚焦干扰，最终实现观察者视觉上对图像分辨率和细节识别度的提升。

【技术实现步骤摘要】
一种投影图像模糊消除方法
本专利技术涉及一种在会议（讲稿演示）和娱乐（电影放映）、科研教育领域（科学可视化）、各类仿真领域（虚拟现实）、以及气象交通的大屏幕监控展示等领域中应用的一种基于多尺度卷积核的投影图像模糊消除方法。
技术介绍
传统投影设备需要在使用前根据投影仪与投影显示表面之间的距离等因素进行校正，其中一个需要解决的重要难题就是投影仪的光学聚焦校正。但是，目前对于投影聚焦校正必须使用人工手动进行机械聚焦，同时受限于手动聚焦不完全以及投影仪和投影显示表面的位置不固定等原因，投影图像很难进行精确对焦获得具有最适宜清晰度的投影图像。对于投影图像模糊消除技术的研究，目前仅限于国外少数几所大学研究所机构。其中，Bimber等人提出一种多投影仪组成的多焦距投影系统，该硬件系统克服了传统投影仪单一投影焦距的问题，但在使用中该硬件系统安装和配置复杂、成本大幅提升，不能满足日常生活中的实际使用需要。哥伦比亚大学的Zhang和Nayar等人从软件开发的角度进行研究，他们将投影聚焦模型进行参数模拟，并使用多次计算的方法进行精确度提升，但是该方法的计算效率很低，不能在实时投影过程中进行使用。日本的YujiOyamada等人提出了另一种方法将投影图像的模糊程度进行分布式分析，针对不同投影区域计算出不同的投影图像模糊消除模型，但是该方法没有解决投影环境的光照、投影表面的反射率等干扰因素，同时仍然不能实现实时模糊校正。
技术实现思路
本专利技术的目的在于针对现有技术的不足，提供一种基于多尺度卷积核的投影模糊消除方法。该方法首先使用离散集合映射方法进行几何校正，并提出一种改进的Sobel-Tenengrad聚焦评价方法计算图像锐利度来进行投影捕捉图像的亮度均衡，然后使用具有多尺度卷积核模糊模板的维纳滤波图像重组方法进行原始投影图像模糊消除计算，最终完成投影机自身散焦以及投影环境影响造成的投影图像模糊消除。应用本专利技术公开的基于多尺度卷积核的投影模糊消除方法，可以有效消除投影设备手工对焦不充分以及复杂投影环境对投影图像的聚焦干扰，最终实现观察者视觉上对图像分辨率和细节识别度的提升。本专利技术的目的是通过以下技术方案来实现的：一种投影图像模糊消除方法，包括以下步骤：（1）使用计算机视觉方法结合安装在投影仪上的摄像头完成系统标定。（2）使用计算机视觉方法对摄像头采集的图像数据进行分析和计算，确定投影仪与摄像头之间像素点对应关系，建立对应像素点坐标映射。（3）使用计算机视觉方法并结合摄像头采集的图像数据，首先计算投影仪的投影图像锐利度评价指数，然后对摄像头采集的原始聚焦参考图像进行亮度均衡。（4）使用计算机视觉方法并结合摄像头采集的图像数据和图像锐利度评价指数，对投影图像进行多尺度卷积模板计算。（5）使用投影图像的多尺度卷积核模板计算结果并基于GPU图形渲染方法，对经过计算的投影模糊消除图像进行绘制，最终完成投影图像模糊消除。本专利技术的有益效果是：1.可以有效消除投影仪等投影设备由于机械光学对焦不充分导致的图像模糊问题，实现观察者视觉上对图像分辨率和细节识别度的提升。2.可以有效消除日常生活环境中光照等因素对投影图像颜色、亮度等的干扰，使得投影图像可以适应日常投影显示环境，让观察者可以获得接近于原始图像画质的视觉体验。3.具有独立的实时在线校正系统，投影校正过程无需人工参与，极大简化了投影仪的安装调节过程。4.基于软件进行系统控制，极大的降低了硬件成本。5.采用计算机视觉方法对采集数据处理和分析，极大的降低了投影系统运行成本。附图说明图1为投影仪模糊模型计算示图；图2为编码特征图采集示图；图3为5x5X/Y方向Sobel算子模型示图；图4为改进的Sobel-Tenengrad聚焦评价函数分析示图；图中，（a）为改进X方向S-T方法对比示图，（b）为改进Y方向S-T方法对比示图；图5为聚焦参考模板示图；图6为基于Sobel-Tenengrad聚焦评价方法的亮度均衡示图；图中，（a）为原始投影采集图像示图，（b）为亮度均衡图像示图；图7为多尺度高斯模糊卷积模板示图；图中，（a）-(h)分别为高斯模糊卷积Sigma参数为0.5、1、1.5、2、2.5、3、3.5、4的模板图像示图；图8为图7所示的8组模糊模板对应的sigma值生成的整幅原始图像的维纳滤波图像Iwiener；图9为投影模糊补偿图像计算示图；图中，（a）为原始投影图像示图，（b）为投影模糊补偿图像示图；图10为投影模糊消除方法效果1实施例示图；图11为投影模糊消除方法效果2实施例示图。具体实施方式1.系统安装：首先，将一个摄像头安装在一台投影仪上，并保证摄像头镜头与投影仪的镜头同轴方向；然后将摄像头输出端口连接到计算机，并安装相应的驱动程序，同时将计算机显卡的第二个输出口连接到投影仪。2.本专利技术提出的投影图像模糊消除方法,具体包括以下步骤：（1）使用计算机视觉方法结合安装在投影仪上的摄像头完成系统标定。摄像头标定采用的是张正友提出的相机平面标定法，使用计算得到的摄像头内部参数对摄像头的径向畸变和切向畸变进行校正。标定后的摄像头实时获取投影显示图像并反馈投影环境信息。（2）使用计算机视觉方法对摄像头采集的图像数据进行分析和计算，确定投影仪与摄像头之间像素点对应关系，建立对应像素点坐标映射。（3）使用计算机视觉方法并结合摄像头采集的图像数据，首先计算投影仪的投影图像锐利度评价指数，然后对摄像头采集的原始聚焦参考图像进行亮度均衡。（3.1）计算投影图像模糊模型首先，对于应用DLP技术的主流投影设备可以将投影模糊理想化估计为某种单一模糊核进行卷积滤波计算的结果（公式（1））。投影成像过程是从投影机内部成像单元的图像空间中单个子像素经过投影透镜投射到投影屏幕，经过对平面、弧幕等常规投影环境多次实验，可以将投影系统的模糊核近似为高斯模糊模型（公式（2）），如图1所示，即投影表面的投影图像是原始图像经过高斯模糊模型h卷积计算得到的退化图像。Iblur=Ioriοhσ(1)（公式（1）中，Iblur表示模糊退化图像，Iori表示原始图像，hσ表示模糊卷积核。公式（2）中，hσ(x,y)表示在点象素(x,y)处的高斯卷积计算。）对投影模糊图像进行模糊消除，在数学模型上是使用估计得到的模糊核对模糊图像进行反卷积，在实际投影系统的模糊消除中是对原始投影图像在成像空间应用模糊消除函数（公式（3）），最终可以投射到投影表面在视觉上呈现出锐利度增强的清晰图像。Ideblur=Fdeblur(Iori)(3)（公式（3）中，Ideblur表示模糊消除图像，Fdeblur表示模糊消除函数，Iori表示原始图像。）（3.2）计算投影模糊图像锐利度首先，对捕获的投影特征图像进行均匀分割，得到以特征点（N个）为中心的子图像区域并组建成一个特征子图像集合（图2），然后通过聚焦评价函数分别计算出每个子图像区域的图像锐利度。在传统的图像模糊消除方法中，常用的空间域聚焦评价方法有灰度差分法、拉普拉斯算子法等，实验表明这两种方法的精度不高、鲁棒性不佳并不适用于投影模糊的聚焦评价，最终选取基于Sobel-Tenengrad函数的聚焦评价方法针对投影模糊捕捉图像进行图像锐利度计算。常用的Sobel梯度算子扩展核具有有1x1、3x3、本文档来自技高网...

【技术保护点】
一种投影图像模糊消除方法，其特征是，包括以下步骤：（1）使用计算机视觉方法结合安装在投影仪上的摄像头完成系统标定。（2）使用计算机视觉方法对摄像头采集的图像数据进行分析和计算，确定投影仪与摄像头之间像素点对应关系，建立对应像素点坐标映射。（3）使用计算机视觉方法并结合摄像头采集的图像数据，首先计算投影仪的投影图像锐利度评价指数，然后对摄像头采集的原始聚焦参考图像进行亮度均衡。（4）使用计算机视觉方法并结合摄像头采集的图像数据和图像锐利度评价指数，对投影图像进行多尺度卷积模板计算。（5）使用投影图像的多尺度卷积核模板计算结果并基于GPU图形渲染方法，对经过计算的投影模糊消除图像进行绘制，最终完成投影图像模糊消除。

【技术特征摘要】
1.一种投影图像模糊消除方法，其特征是，包括以下步骤：(1)使用计算机视觉方法结合安装在投影仪上的摄像头完成系统标定；(2)使用计算机视觉方法对摄像头采集的图像数据进行分析和计算，确定投影仪与摄像头之间像素点对应关系，建立对应像素点坐标映射；(3)使用计算机视觉方法并结合摄像头采集的图像数据，首先计算投影仪的投影图像锐利度评价指数，然后对摄像头采集的原始聚焦参考图像进行亮度均衡；该步骤包括以下子步骤：(3.1)计算投影图像模糊模型：首先，对于应用DLP技术的投影设备，如公式(1)所示，将投影模糊理想化估计为某种单一模糊核进行卷积滤波计算的结果；投影成像过程是从投影机内部成像单元的图像空间中单个子像素经过投影透镜投射到投影屏幕，经过对平面、弧幕投影环境多次实验，如公式(2)所示，将投影系统的模糊核近似为高斯模糊模型；投影表面的投影图像是原始图像经过高斯模糊模型h卷积计算得到的退化图像；公式(1)中，Iblur表示模糊退化图像，Iori表示原始图像，hσ表示模糊卷积核；公式(2)中，hσ(x,y)表示在点象素(x,y)处的高斯卷积计算；对投影模糊图像进行模糊消除，在数学模型上是使用估计得到的模糊核对模糊图像进行反卷积，在实际投影系统的模糊消除中是对原始投影图像在成像空间应用公式(3)所示的模糊消除函数，最终可以投射到投影表面在视觉上呈现出锐利度增强的清晰图像；Ideblur＝Fdeblur(Iori)(3)公式(3)中，Ideblur表示模糊消除图像，Fdeblur表示模糊消除函数，Iori表示原始图像；(3.2)计算投影模糊图像锐利度：首先，对捕获的投影特征图像进行均匀分割，得到以特征点为中心的子图像区域并组建成一个特征子图像集合，所述特征点的个数为N；然后通过基于Sobel-Tenengrad函数的聚焦评价方法分别计算出每个子图像区域的图像锐利度；所述通过基于Sobel-Tenengrad函数的聚焦评价方法分别计算出每个子图像区域的图像锐利度具体为：首先采用3x3和5x5两种Sobel梯度算子扩展核对子图像集合在空间域进行分析：设置Tx和Ty分别表示子图像中每一个像素点在水平方向和垂直方向使用Sobel算子计算求梯度，在图像空间域中参数化为如公式(4)和公式(5)所示使用Sobel算子进行卷积滤波计算，其中，表示卷积滤波；公式(4)和公式(5)中，Tx和Ty分别表示x方向和y方向的Sobel算子梯度计算，Sx和Sy表示x方向和y方向的Sobel算子，Isub(x,y)表示子图像集合中某一图像区域；然后，使用改进Tenengrad评价函数对Tx和Ty进行聚焦评估；将经典公式(6)进行改进近似等价为公式(7)，对公式(7)拆分为x方向和y方向两部分，得到公式(8)和公式(9)，按公式(8)和公式(9)分别计算投影模糊捕捉图像区域得到聚焦评估值；找到子图像集合中图像锐利值最大的子图像区域，标记为Iref，作为聚焦参考模板；公式(6)中，Fst表示经典Tenengrad评价函数计算，Tx和Ty分别表示x方向和y方向的Sobel算子梯度计算；公式(7)中，Fst-abs表示简化的经典Tenengrad评价函数计算；公式(8)中，Fst-x表示x方向的改进Tenengrad评价函数计算；公式(9)中，Fst-y表示y方向的改进Tenengrad评价函数计算；(3.3)基于改进的Sobel-Tenengrad图像锐利评价函数的亮度均衡：(3.3.1)，公式(10)将聚焦参考模板Iref使用快速傅立叶变换，从空间域转换到频域图像IFFT-ref进行分析：IFFT-ref＝FFT(Iref)(10)公式(10)中，IFFT-ref为聚焦参考模板的频域图像计算，Iref为聚焦参考模板，FFT为快速傅里叶变换函数；(3.3.2)，由于图像在空间域和频域进行转换时具有频率谱的“直流数据”即图像原点像素值数值不变的性质，将高斯滤波函数公式(11)推导出公式(12)所示的当u和v为0即在图像原点位置时的该原点的频域...

【专利技术属性】
技术研发人员：解利军，朱博，陈建军，郑耀，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33