提高光照鲁棒性的唇动特征提取方法及系统技术方案

本发明专利技术提供了一种去光照预处理方法、提高光照鲁棒性的唇动特征提取方法及系统，该去光照预处理方法包括中值滤波步骤、Gamma校正步骤、多尺度Retinex滤波步骤、对比度均衡化步骤。本发明专利技术的有益效果是：本发明专利技术对于LBP特征提取法的改进也使得唇读识别进一步得到一定程度的提高，该特征提取方法不易受外部光照变化的影响，鲁棒性较强。

【技术实现步骤摘要】

本专利技术涉及图像处理
，尤其涉及提高光照鲁棒性的唇动特征提取方法及系统。
技术介绍
随着自然人机交互技术的发展,唇读已成为该
的一大热点。然而当前的对于唇读技术的研究多停留在实验室理想光照环境下，对于可变光照下的唇读识别研究则是少之又少。
技术实现思路
本专利技术提供了一种去光照预处理方法，包括如下步骤：中值滤波步骤：用于对图像进行去噪处理；Gamma校正步骤：用于对唇部图像的灰度分布进行校正；多尺度Retinex滤波步骤：采用高斯环绕函数，具体为：S(x,y)＝R(x,y)L(x,y)(2)其中σ为高斯环绕函数的尺度函数，G(x,y)满足∫∫G(x,y)dxdy＝1，λ是令∫∫G(x,y)dxdy＝1归一化的常数；对比度均衡化步骤：用于对唇部图像进行对比度均衡化处理以达到改善唇部图像光照分布情况。作为本专利技术的进一步改进，在所述中值滤波步骤中，采用一个3*3的中值滤波模板对输入的唇部图像进行滤波以有效去除脉冲噪声；在所述Gamma校正步骤中，Gamma校正的公式如式1所示：本专利技术所选的γ值为1/2.2；在所述多尺度Retinex滤波步骤中，对数域公式如式4所示，K值为3，ω1＝ω2＝ω3＝1/3，3个尺度因子σ分别为15、80和250；在所述对比度均衡化步骤中，对比度均衡化公式如式5-7所示：a是图像灰度压缩因子，可以有效的调整唇部图像的动态灰度范围，τ是用于限定过大的灰度值的阀值，a＝0.2、τ＝8，式7为反正切变换，该变换为非线性变换，通过对唇部图像做该变换可有效的将图像归一化到(-τ,τ)。本专利技术还提供了一种提高光照鲁棒性的唇动特征提取方法，该唇动特征提取方法包括所述去光照预处理方法，该唇动特征提取方法还包括如下步骤：位于圆形模板边缘的P个采样点用于和位于圆心的像素值作比较以生成LBP模式值，像素点中心时，对其采用双线性插值法进行取值；在对唇部提取了LBP特征后，并不会直接将其作为特征进行识别，而是将LBP编码图的直方图作为特征向量。作为本专利技术的进一步改进，首先对唇部图像进行分区，然后再对每个分区分别提取LBP直方图特征。作为本专利技术的进一步改进，采用LBP的统一模式，LBP统一模式是指LBP二进制编码中0和1的变化最多不超过2次。本专利技术还提供了一种去光照预处理系统，包括：中值滤波模块：用于对图像进行去噪处理；Gamma校正模块：用于对唇部图像的灰度分布进行校正；多尺度Retinex滤波模块：采用高斯环绕函数，具体为：S(x,y)＝R(x,y)L(x,y)(2)其中σ为高斯环绕函数的尺度函数，G(x,y)满足∫∫G(x,y)dxdy＝1，λ是令∫∫G(x,y)dxdy＝1归一化的常数；对比度均衡化模块：用于对唇部图像进行对比度均衡化处理以达到改善唇部图像光照分布情况。作为本专利技术的进一步改进，在所述中值滤波模块中，采用一个3*3的中值滤波模板对输入的唇部图像进行滤波以有效去除脉冲噪声；在所述Gamma校正模块中，Gamma校正的公式如式1所示：本专利技术所选的γ值为1/2.2；在所述多尺度Retinex滤波模块中，对数域公式如式4所示，K值为3，ω1＝ω2＝ω3＝1/3，3个尺度因子σ分别为15、80和250；在所述对比度均衡化模块中，对比度均衡化公式如式5-7所示：a是图像灰度压缩因子，可以有效的调整唇部图像的动态灰度范围，τ是用于限定过大的灰度值的阀值，a＝0.2、τ＝8，式7为反正切变换，该变换为非线性变换，通过对唇部图像做该变换可有效的将图像归一化到(-τ,τ)。本专利技术还提供了一种提高光照鲁棒性的唇动特征提取系统，该唇动特征提取系统包括权利要求6至7任一项所述去光照预处理系统，该唇动特征提取系统还包括：位于圆形模板边缘的P个采样点用于和位于圆心的像素值作比较以生成LBP模式值，像素点中心时，对其采用双线性插值法进行取值；在对唇部提取了LBP特征后，并不会直接将其作为特征进行识别，而是将LBP编码图的直方图作为特征向量。作为本专利技术的进一步改进，首先对唇部图像进行分区，然后再对每个分区分别提取LBP直方图特征。作为本专利技术的进一步改进，采用LBP的统一模式，LBP统一模式是指LBP二进制编码中0和1的变化最多不超过2次。本专利技术的有益效果是：本专利技术对于LBP特征提取法的改进也使得唇读识别进一步得到一定程度的提高，该特征提取方法不易受外部光照变化的影响，鲁棒性较强。附图说明图1是本专利技术的去光照预处理方法流程图；图2是Gamma校正曲线图；图3是Retinex滤波算法流程图；图4是去光照预处理方法效果图；图5是基本的LBP算子示意图；图6是3种不同半径的圆形LBP采样示意图；图7是由统一LBP算子得到的不同的纹理特征图；图8是分块LBP直方图向量特征提取示意图；图9是自然光照下不同特征提取方法识别率对比图；图10是不同特征提取方法所得的混淆矩阵图；图11是不同去光照预处理算法对应的识别率对比图；图12是不同唇动特征提取方法所对应的识别率对比图。具体实施方式针对
技术介绍
的不足，本专利技术提出一种新的唇动特征提取方法。该方法由去光照预处理链和光照不变特征提取算子构成，从两方面入手改善了可变光照下的唇读识别效果。本专利技术的去光照预处理方法应用在唇动特征提取之前，用于滤除外部光照噪声的影响。整个预处理算法由四个部分组成，每一步都会对光照干扰进行一定程度的补偿，其程序流程图如图1所示。下面按照图1的顺序分别对其进行阐述。中值滤波：由摄像头采集到的视频图像在形成和传输的过程中，常常因为外界噪声干扰而导致其产生大量的脉冲噪声。对于模拟信号，脉冲噪声的影响并不大,但是在数字信号的传输中,脉冲噪声会极大的影响图像的质量。脉冲噪声主要可分为椒盐噪声和随机值脉冲噪声。为减小噪声的影响,可采取各种滤波方法对图像进行去噪处理。中值滤波由于可对脉冲噪声起到很好的滤除效果的同时可对图像中的某些细节起到保护作用，因而在图像降噪处理中得到了比较广泛的应用。本专利技术采用一个3*3的中值滤波模板对输入的唇部图像进行滤波以有效去除脉冲噪声。Gamma校正:受外部光照变化的影响，在已经得到的唇部图像中经常会出现光照分布不均的情况。最典型的情况就是唇部的一部分区域由于光照反射过于明亮而另一部分则由于光照被遮挡而过于阴暗。为了能在图像预处理阶段有效的针对上述情况对唇部图像的灰度分布进行校正，本专利技术在对唇部图像做完中值滤波处理后，进一步对其进行gamma校正以改善唇部图像的光照分布状况。Gamma校正的公式如式1所示。本专利技术所选的γ值为1/2.2，其校正曲线如图2所示。由图2不难看出通过对图像进行gamma校正，图像的低灰度区域(阴暗区域)的灰度值得到拉伸，高灰度区域(高亮区域)的灰度值得到压缩，从而使整个唇部的图像的光照分布情况得到改善。多尺度Retinex滤波：多尺度Retinex滤波(MSR)是近些年图像处理领域广泛使用的去光照滤波算法。多尺度Retinex滤波由最基本的单尺度Retinex滤波器构成。Retinex算法认为图像均由入射分量L(x,y)和反射分量R(x,y)构成,如式2所示。因而，使用Retinex算法对图像滤波本质上是对一幅图像的入射分量进行准确的计算并在原图中消除该分量。由于直接在输入图像中计算其入射分量在数本文档来自技高网...

【技术保护点】
一种去光照预处理方法，其特征在于，包括如下步骤：中值滤波步骤：用于对图像进行去噪处理；Gamma校正步骤：用于对唇部图像的灰度分布进行校正；多尺度Retinex滤波步骤：采用高斯环绕函数，具体为：S(x,y)＝R(x,y)L(x,y)                     (2)log R(x,y)=log[S(x,y)/L(x,y)]=log S(x,y)-log[S(x,y)⊗G(x,y)]---(3)]]>其中σ为高斯环绕函数的尺度函数，G(x,y)满足∫∫G(x,y)dxdy＝1，λ是令∫∫G(x,y)dxdy＝1归一化的常数；对比度均衡化步骤：用于对唇部图像进行对比度均衡化处理以达到改善唇部图像光照分布情况。

【技术特征摘要】
1.一种去光照预处理方法，其特征在于，包括如下步骤：中值滤波步骤：用于对图像进行去噪处理；Gamma校正步骤：用于对唇部图像的灰度分布进行校正；多尺度Retinex滤波步骤：采用高斯环绕函数，具体为：S(x,y)＝R(x,y)L(x,y)(2)logR(x,y)=log[S(x,y)/L(x,y)]=logS(x,y)-log[S(x,y)⊗G(x,y)]---(3)]]>其中σ为高斯环绕函数的尺度函数，G(x,y)满足∫∫G(x,y)dxdy＝1，λ是令∫∫G(x,y)dxdy＝1归一化的常数；对比度均衡化步骤：用于对唇部图像进行对比度均衡化处理以达到改善...

【专利技术属性】
技术研发人员：马新军，张宏军，仲乾元，李园园，
申请(专利权)人：哈尔滨工业大学深圳研究生院，
类型：发明
国别省市：广东;44