基于左右单眼感受野和双目融合的立体视觉显著计算方法技术

本发明专利技术涉及一种基于左右单眼感受野和双目融合的立体视觉显著计算方法，属于计算机视觉技术领域。通过模拟人类立体视觉系统处理过程，首先分别建立左右单眼感受野模型获取对应的特征图，然后融合同特征下左右眼的特征图和不同特征的结果图，并基于中心偏爱和前景偏爱调整像素显著度，最终得到最接近人类立体视觉注意的显著度分布图。本发明专利技术创新点在于：加入了“中心偏爱”和“前景偏爱”两种常见现象对人类立体视觉注意的影响，使得整个方法能够更好的符合人类视觉系统处理过程。本发明专利技术提供的立体视觉显著计算方法，能够更好的模拟人类立体视觉系统处理过程，并更有效地提取立体图像中感兴趣区域。

【技术实现步骤摘要】

本专利技术涉及一种，属于计算机视觉

技术介绍
在人类所面对的大千世界中，任意时刻都有海量信息存在人类周围。然而一方面人类的感觉系统能力有限，无法同时接受全部信息；另一方面与感觉系统相比，大脑的信息处理能力非常有限，在这两者之间出现了瓶颈问题。为了有效的接收信息和处理信息，视觉注意是精神系统必不可少的一个部分。人类的视觉系统(HVS)在面对一个复杂场景时能够迅速对视觉场景中非重要信息进行选择性滤除，从而将注意力集中在少数视觉显著的对象上，该过程被称为视觉注意(Visual Attention)。视觉注意是人类精神系统非常重要的功能，能够将精神活动集中于感官事件或精神事件。它是视觉感知模型的一部分，与人类的学习、记忆等模块协同工作，完成把需要注意的目标从背景分离、注意焦点在多个目标间转移等任务。在计算机视觉领域，为了模拟人类视觉注意的特性，提出了显著度(Saliency)的概念。鉴于以上的重要性，视觉显著度分析得到了很多研究机构的注意，成为计算机视觉领域的一个热点研究方向。在美国加州理工大学的kLab实验室、美国南加州大学的iLab实验室、微软亚洲研究院等都在该领域取得了一定的成绩。但是目前主流的视觉显著计算方法研究方向主要基于2D图像视频，很少有涉及到立体视觉显著计算方法的研究。三维技术从很早就已经诞生，其历史可以追溯到1839年英国科学家查理惠斯顿爵士专利技术了立体眼镜，从而让人们的左眼和右眼看同样图像时产生不同的效果。然而受限于三维技术的不成熟，虽然1936年就已经有了立体式效果的影片，但是二维电影图像一直都是多媒体领域的主流内容，因而绝大部分视觉注意以二维图像、视频为研究对象。随着RealID三维等技术发展，尤其是《阿凡达》的巨大成功，开辟了电影史上一个新的时代。美国好莱坞梦工厂已经宣布2009年以后出品的动画影片全部采用数字立体格式，迪士尼也宣布以后生产的动画片全部采用数字立体格式。国际一致认为数字立体电影改变了人们在影院的观影方式和体验，成为电影新的增长点。从产业数据上看出3D电影的票房比2D电影票房高出5倍多，优异的收入更加推动了三维技术的发展，毋庸置疑3D电影电视图像开始逐渐取代2D电影电视图像成为未来发展的主流。3D成像技术还推动了多个领域的发展，包括微软Kinect大卖预示着立体体感游戏将成为游戏的主流方向；珍藏的古董及主表可以通过三维完全详细检视；得益于两眼存在距离感可以使医生更好的分辨细微的物体，远距医学也逐渐发展，由上可见立体技术将会成为时代的主流。三维技术的发展也促使研究立体场景下人类的视觉注意方法成为了可能。人类的视觉系统也是立体的，存在左右眼视差和左右眼的融合形成深度上的感受，增加人类的辨识能力。立体视觉注意无论是在心理学还是神经科学上都得到了广泛的关注，也有不少的立体视觉方面的研究被发表，从左右眼差别，深度获取，双眼竞争，双目融合等各方面都提出了研究理论，进而对立体视觉显著计算方法支撑。可以预见，立体视觉显著计算方法将会取代二维视觉显著计算方法，成为计算机视觉领域研究的一个热点研究方向。计算机视觉领域中对二维图像视频的视觉显著度分析主要还是依托于生理学、心理学等结论，通过计算机模拟人类大脑的视觉注意过程。在认知神经科学中，现有视觉注意的理论包括基于物体注意和基于空间注意两种理论。基于物体注意理论认为物体的诸如颜色、运动、朝向、纹理、深度等特征在视觉系统中是独立编码的，视觉注意的目标是将这些不同的特征组合在一起；多个神经子系统的涌现性质可以化解视觉处理与行为控制之间的竞争。而基于空间注意的理论也提出了导引搜索模型和显著图(Saliency map)模型。视觉注意基本机理的研究对探索视觉显著计算方法有着指导意义。根据以上生理、心理学的研究，显著度提取的研究主要用自底向上计算方法模拟视觉系统处理过程来进行的。自底向上的方法主要基于Treisman的特征整合理论，从输入图像提取多方面的特征，如颜色、朝向、亮度、运动、深度等，形成在各个特征维上的特征图；然后对这些特征图进行分析、融合得到兴趣图。兴趣图中可能含有多个待注意的候选目标，通过竞争机制选出 唯一的显著目标。目前大部分立体视觉显著计算方法是基于二维视觉显著计算方法，加入深度特征进行扩展。基于人类单眼感受野视觉特点，目前很多二维视觉显著计算方法采用对比这一生理学理论，对图像进行显著度提取。其中代表工作包括“中央一四周”的方法与利用模糊增长的方法° 如在论文“A model of saliency-based visual attention for rapid sceneanalysis”(快速场景分析的视觉显著度提取模型，Itti等，IEEE Transactions on PatternAnalysis and Machine Intelligence, 1998)中首先利用高斯金字塔生成多尺度图像,通常采用九级高斯金字塔，之后利用“中央一四周”算子计算不同尺度之间的对比度。该方法采用的特征包括亮度、颜色和方向。通过特征提取后得到特征图，然后对不同尺度的同一特征图像进行特征内部竞争形成中间显著图，最后对不同特征之间的中间显著图归一化并线性加和得到原图像的最终显著度图(得到的最终显著度图的长、宽将会是原图像的长、宽1/16)。大部分立体视觉显著计算方法基于“中心一四周”二维视觉显著计算方法加入深度信息进行扩展，如在论文“Computing visual attention from scene depth”(基于场景深度计算视觉注意，Ouerhani 等，International Conference on Pattern Recognition,2000)中加入了深度信息，使得深度成为一个特征，与颜色、亮度、方向等特征采用相同的处理方法提取特征图，然后不同特征非线性加权融合得到立体图像的显著图。但是大部分立体视觉显著计算方法只是在左眼图像上提取立体图像的显著图，并没有考虑双目融合问题，并不完全符合人类的立体视觉系统处理过程。另一方面，大部分的立体视觉显著计算方法采用的图像是该论文作者自身拍摄，没有相应的人工标注结果，同时也没有一个公开的立体图像评测数据集，无法做到定量对比。总的来说，大部分自底向上的立体视觉显著计算方法都基于二维视觉显著计算方法进行扩展，比较好的模拟了单眼感受野模型，符合一部分人类视觉处理过程，但是大部分的计算方法只是把深度作为一个特征，没有考虑双目融合的问题，并不含有人类立体视觉系统中双眼互相作用的这一重要过程。因此，为了更好地模拟了人类立体视觉系统处理的主要过程，本文提出了一个。在本方法实例中首先借鉴视网膜的特性，提取颜色特征和亮度特征作为信息输入，然后用2D Log-Gabor滤波金字塔模拟单眼的感受野模型并考虑了左右眼存在相位差这一特性，之后实现了 Two-Stage模型来模拟左右眼同尺度同方向上兴奋、抑制的相互作用作为双目融合，最后加入空间和深度上人类的视觉普遍特性(中心偏爱和前景偏爱)对视觉注意的影响，最终提取立体图像的显著区域。
技术实现思路
本专利技术要解决的问题是如何通过模拟人类立体视觉系统处理过程，自动估计立体图像的显著度分布。，通过模拟人类立体视觉系统处理过程，首先分别建本文档来自技高网...

【技术保护点】
一种自动估计的立体图像的视觉显著度方法，其特征在于包括以下步骤：通过模拟人类立体视觉系统处理过程，首先分别建立左右单眼感受野模型获取对应的特征图，然后融合同特征下左右眼的特征图和不同特征的结果图，并基于中心偏爱和前景偏爱调整像素显著度，最终得到最接近人类立体视觉注意的显著度分布图。

【技术特征摘要】

【专利技术属性】
技术研发人员：田永鸿，王敏，黄铁军，
申请(专利权)人：北京大学，
类型：发明
国别省市：