基于脉冲余弦变换的选择性视觉注意计算模型制造技术

本发明专利技术涉及一种基于脉冲余弦变换的选择性视觉注意计算模型。此模型给定输入图像Ｍ，其视觉显著图计算步骤为：式（１）Ｐ＝ｓｉｇｎ（Ｃ（Ｍ）），式（２）Ｆ＝ａｂｓ（Ｃ↑［－１］（Ｐ）），式（３）ＳＭ＝Ｇ＊Ｆ↑［２］，Ｃ和Ｃ↑［－１］分别表示离散余弦变换和它的逆变换，ｓｉｇｎ（．）为符号函数，ａｂｓ（．）为取绝对值函数，Ｇ是二维高斯低通滤波器，其中，在（１）式中仅仅保留ＤＣＴ系数的符号，丢弃了幅度信息；其二元化系数（即－１和１）模拟了人脑神经元的放电与否；将（１）式称为脉冲余弦变换（ＰＣＴ），此方法称为计算视觉显著图的模型，最后，视觉显著图由（２）、（３）两式计算得到。此方法模型结构简单，运算量低，在机器人导航，虚拟人系统，自动对焦系统等计算机视觉领域内有广泛的应用前景。

【技术实现步骤摘要】

本专利技术属于图像和视频处理
，具体为一种基于脉冲余弦变换的 选择性视觉注意计算模型。利用该模型模拟人脑选择性视觉注意的产生机 制，产生有效的视觉显著图，在空间上和时间上都可以很快地计算得到相应 的视觉显著图，从而能够探测视觉场景中的空间显著性和运动显著性。在机 器人导航，虚拟人系统，自动对焦系统等计算机视觉领域内有广泛的应用前 景。
技术介绍
人的视觉系统中存在一个基于场景显著性(Saliency-based)的自底向上 (Bottom-up)的视觉注意机制，它使人眼能迅速注意到复杂场景中的显著 目标。选择性视觉注意(Selective Visual Attention)是人脑视觉通路中信息 处理的一个关键环节，它仅容许少部分感知信息进入短期记忆和视觉意识阶 段。因此，人脑没有并行处理所有视觉感知信息，而是以串行方式进行信息处理m。近期研究指出，初级视觉皮层(VI)中形成了自底向上的视觉显著性信 息，响应最强烈神经元，其感受野对应的场景区^^成为视觉注意焦点的可能 性最大。这种观点认为，视觉显著性的形成是同类神经元侧抑制作用的结果。Itti等人提出过一个在计算结构上具有生物学合理性的视觉注意模型。 其后，Walther将该模型进行功能扩展,并创建了图像显著性工具箱 (Saliency Toolbox, STB)，可生成决定注意焦点位置的视觉显著图(Visual SaliencyMap)。然而，此类模型参数设置复杂，算法结果受到参数设置的影 响较大，而且，计算复杂度高，运算十分耗时，难以应用到实时系统。此外， 它们不能计算运动显著性。Hou等人认为，单幅图像幅度谱和均值幅度谱的残差中蕴含了场景显著 性信息，并提出计算视觉注意显著图的谱残差(Spectral Residual, SR)方 法。Guo等人进一步提出相位谱四元数傅立叶变换(Phase Spectrum of Quaternion Fourier Transform, PQFT)方法问，利用傅氏变换的相位谱信息计 算得到视觉注意的时空显著图。因为复数计算不可能在人脑中实现，所以此 类方法的计算结构缺乏生物学合理性。
技术实现思路
本专利技术目的在于提出一个既有优异的人眼视觉注意模拟性能，同时又 能实时应用的基于脉冲余弦变换的选择性视觉注意计算模型。本专利技术目的通过下述技术方案实现本专利技术提出脉冲余弦变换(Pulsed Cosine Transform, PCT)，并用它来模拟人脑视觉皮层同类神经元间的侧抑制 过程，从而进一步产生有效的视觉显著性信息，脉冲余弦变换的选择性视觉 注意计算模型(PCT视觉注意计算模型)，具体步骤如下1、视觉显著图的计算-给定输入图像Af，视觉显著图的计算步骤为P = sign("M))， (1)<formula>formula see original document page 6</formula>(3)其中，C和c"分别表示DCT变换和它的逆变换，sign(.)为符号函数，abs(.) 为取绝对值函数，G是二维高斯低通滤波器；其中，在(l)式中仅仅保留DCT 系数的符号，丢弃了幅度信息；其二元化系数(即-l和l)模拟了人脑神经 元的放电与否；将(l)式称为脉冲余弦变换(Pulsed Cosine Transform, PCT)， 此方法称为计算视觉显著图的PCT模型，最后，视觉显著图由(2)、 (3)两式 计算得到。输入图像首先要进行亚采样处理，处理后的图像尺寸决定了视觉 注意的尺度。 一般情况下可将输入图像均縮放到短边为64像素，长边则按 照原图长宽比例进行相应调整。由于PCT模型是从离散余弦变换(Discrete Cosine Transform, DCT) 变化而来，而DCT是一种被广泛运用且非常简单的酉变换方法。所以本发 明模型结构简单，计算复杂度低，能够实时处理。研究表明，诸如颜色、边缘轮廓和运动等基本视觉特征与视觉显著性的 形成有着密切联系，它们的处理过程在视觉前注意期(Pre-attention)就已经 存在。根据该理论，本专利技术首先计算出它们对应的特征图，然后再将其整 合起来。彩色图像视觉显著图的计算假设r、 g、 6表示输入图像红、绿、蓝3个颜色的值，那么强度特征图的计 算公式为<formula>formula see original document page 6</formula> (4)经典的视觉注意模型采用红绿(RG)和蓝黄(BY)两种颜色拮抗(Color Opponency)的计算方式。由于仅考虑一个视觉注意尺度，本专利技术根据Itti 和Kock的广义RGB颜色模型，红、绿、蓝3个颜色特征图的计算公式 为她w-4g + 6)/2 (5a) 倫-g-(r + 6)/2 (5b) Ms-6-(r + g)/2. (5c)然后，将M" Mc和Ms中的负值元素置零，为了保持各个特征图之间的能量平衡，这里引入通道权衡因子的概念，各个通道权衡因子的计算公式为st, = max(M;) (6a)g7及=max(M/ ) (6b)cr5 = max(Mfl) (6c)ctg = maxCMG) (6d)从而，我们有F = s^Fr + otgFg + n^fg +巧巧， (7) 其中，FR、 J^、巧和巧是以M" M。、 l和抓作为输入由(l)、 (2)两式分别计算得到的，最后，彩色图像视觉显著图由(3)式计算得到；图1给出了一个用PCT模型计算自然图像视觉显著图的例子。可以看到，最显著的位置是场景中的红色帆船，本专利技术方法能够把它突显出来。为了显示每个视觉特征图的作用，图中给出了每个通道的特征显著图。但在实际应用中，用上述方法可直接计算视觉显著图，无需计算特征显著图。为了清楚显示，特征显著图做了归一化处理。视觉显著图为4个特征显著图的加权和，然后再进行归一化得到。近期研究指出，初级视觉皮层(VI)中形成了自底向上的视觉显著性信息，响应最强烈神经元其感受野对应的场景区域成为视觉注意焦点的可能性最大。这种观点认为，视觉显著性的形成是同类神经元侧抑制作用的结果，即一个脉冲发放的神经元会抑制其周围神经元的发放。 一个与周围有明显不同的视觉特征如被一个神经元检测到，因它没有受到周围同类神经元的抑制，它的发放率较高；而检测到与周围有相同特征的神经元受到同类神经元的抑制，其脉冲发放率大大降低。因此，高发放率的神经元总出现在视觉特征突出的位置。由于DCT变换用不同频率和方向的周期信号来表示自然图像，所以DCT系数蕴含了同类视觉特征在空间上出现的统计信息，值较大的DCT系数意味着其对应视觉特征在空T自]上出现的频率较高。PCT通过平 滑DCT系数的幅度值，模拟了同类神经元之间的侧抑制作用。因此，经过 本专利技术模型的处理，图1中的红色帆船就能从整个视觉场景中突显出来。运动视觉显著图的计算运动目标会引起视觉注意，运动察觉与人脑视觉皮层的MT (V5)区有关。运动特征图可以用视频中两帧间的差值作为PCT模型的输入计算得到，给定连续两帧视频图像M(O和M(卜l)，由(4)式计算得到对应强度特征图M,W和M々-i)，对应这两帧视频图像的帧间差分阵列按照下式进行计算H,本文档来自技高网...

【技术保护点】
一种基于脉冲余弦变换的选择性视觉注意计算模型，包括：灰度图像视觉显著图的计算，彩色图像视觉显著图的计算，运动显著图的计算，其特征在于，灰度图像视觉显著图的计算：给定输入图像Ｍ，其视觉显著图计算步骤为：　Ｐ＝ｓｉｇｎ（Ｃ（Ｍ）），（１） 　Ｆ＝ａｂｓ（Ｃ↑［－１］（Ｐ）），（２）　ＳＭ＝Ｇ＊Ｆ↑［２］，（３）　Ｃ和Ｃ↑［－１］分别表示离散余弦变换（Ｄｉｓｃｒｅｔｅ　Ｃｏｓｉｎｅ　Ｔｒａｎｓｆｏｒｍ，ＤＣＴ）和它的逆变换，ｓｉｇｎ（．）为符号函数，ａｂｓ（． ）为取绝对值函数，Ｇ是二维高斯低通滤波器，其中，在（１）式中仅仅保留ＤＣＴ系数的符号，丢弃了幅度信息；其二元化系数（即－１和１）模拟了人脑神经元的放电与否；将（１）式称为脉冲余弦变换（Ｐｕｌｓｅｄ　Ｃｏｓｉｎｅ　Ｔｒａｎｓｆｏｒｍ，ＰＣＴ），此方法称为计算视觉显著图的ＰＣＴ模型，最后，视觉显著图由（２）、（３）两式计算得到。

【技术特征摘要】

【专利技术属性】
技术研发人员：余映，王斌，张立明，
申请(专利权)人：复旦大学，
类型：发明
国别省市：31[中国|上海]