基于颜色识别与跟踪的人机交互方法技术

本申请涉及一种基于颜色识别与跟踪的人机交互方法，包括：根据候选物体的影像识别其颜色，在其颜色属于预定的多种颜色之一时，设定其颜色为跟踪颜色，设定候选物体为跟踪颜色体；根据当前的图像中跟踪颜色体的中心位置预测下一帧图像中跟踪颜色体的中心位置；在预测的中心位置附近预设的坐标区域内，判断坐标区域的每个像素点是否为跟踪颜色体的像素点；根据获得的跟踪颜色体的像素点计算跟踪颜色体的中心位置，并根据跟踪颜色体的中心位置继续预测在下下一帧图像中跟踪颜色体的中心位置；根据跟踪颜色体的像素点获取其外形；以及，根据跟踪颜色体的外形在图像中的坐标判断控制行为以进行人机交互。本发明专利技术成本低且准确率高。

【技术实现步骤摘要】
基于颜色识别与跟踪的人机交互方法
本申请涉及人机交互领域，尤其涉及一种基于颜色识别与跟踪的人机交互方法。
技术介绍
人机交互功能主要靠可输入输出的外部设备控制有关设备的运行。鼠标和键盘是最常见也是最经典的人机交互硬件。1983年，第一款鼠标是伴随苹果公司Lisa电脑发布的；随后不久，微软操作系统Windows3.1宣布对其兼容，从此以后鼠标伴随操作系统和电脑的普及开始变成标配产品。尤其是鼠标的出现，图形化和直观的控制更加符合人的自然习惯，这是人机交互的第一次革命。近些年来迅速普及的多点触摸技术，是人机交互史上的第二次革命，而引领它的又是苹果公司与它的革命性手机iPhone。一开始个人移动智能终端的交互方案一直局限于传统PC经典的键盘鼠标的设置，但是键盘鼠标的便携性无法满足智能终端的需求。但多点触摸打开了另外一扇窗户，它让所有人意识到其实键盘可以成为触摸的一部分，而很多命令其实能通过多个手指在触摸屏上划动方式的不同来完成。这样的整合，让移动终端真正摆脱了传统PC终端的思维桎梏。多点触摸以手势来完成人机交互，更易于上手，同时也更加自然。随着近些年来计算机处理能力的大幅度提高，以及模式识别等技术的发展，体感控制逐渐从幕后走到了前台，正在逐渐发展为第三次人机交互史上的革命。体感控制主要思路是通过摄像头以及外部手柄等设备，实时的捕获人体的运动状态，根据人体的运动来完成各种命令。比较著名的有微软的Kinect、任天堂的Wii、索尼PSMove等，他们一般使用摄像头捕捉使用者的肢体动作，或是进行脸部辨识。感应器也内建麦克风，可以用来识别语音指令，但是一般价格也较为昂贵，目前一般都是在游戏领域使用。虽然体感控制技术近些年来得到了长足的发展，但是其自身弊端也很明显，一方面体感控制的设备都比较昂贵、不方便携带；另一方面容易受到各种情况的干扰、精度得不到保证。因此找到一种更加廉价、更加精确的人机交互方法是很有必要的。
技术实现思路
在下文中给出关于本专利技术的简要概述，以便提供关于本专利技术的某些方面的基本理解。应当理解，这个概述并不是关于本专利技术的穷举性概述。它并不是意图确定本专利技术的关键或重要部分，也不是意图限定本专利技术的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。本专利技术的一个主要目的在于提供一种成本较低且精度较高的人机交互方法。为实现上述目的，本专利技术提供了一种基于颜色识别与跟踪的人机交互方法，包括以下步骤：步骤一：根据拍摄的候选物体的影像识别候选物体的颜色，并在候选物体的颜色属于预定的多种颜色之一时，设定所述候选物体的颜色为跟踪颜色，设定候选物体为跟踪颜色体；步骤二：根据在当前的图像中跟踪颜色体的中心位置预测在下一帧图像中跟踪颜色体的中心位置；步骤三：在预测的中心位置附近的预设的坐标区域内，判断所述坐标区域的每个像素点是否为所述跟踪颜色体的像素点；步骤四：根据获得的跟踪颜色体的像素点计算所述跟踪颜色体的中心位置，并返回步骤二以根据所述跟踪颜色体的中心位置继续预测在下下一帧图像中所述跟踪颜色体的中心位置；步骤五：根据检测出的所有属于跟踪颜色体的像素点，获取所述跟踪颜色体的外形；以及步骤六，根据所述跟踪颜色体的外形在图像中的坐标以及坐标运动轨迹判断控制行为以进行人机交互。本专利技术针对体感控制的应用场景，提出了基于颜色识别与跟踪的人机交互方法，通过预定的颜色、识别颜色可设定跟踪颜色体，通过位置预测和修正可准确对颜色进行跟踪，既降低了体感识别的成本，也提高了跟踪准确率。附图说明参照下面结合附图对本专利技术实施例的说明，会更加容易地理解本专利技术的以上和其它目的、特点和优点。附图中的部件只是为了示出本专利技术的原理。在附图中，相同的或类似的技术特征或部件将采用相同或类似的附图标记来表示。图1为本专利技术基于颜色识别与跟踪的人机交互方法的一种实施方式的流程图。图2为图1中步骤S1的流程图。图3图1中步骤S2的流程图。具体实施方式下面参照附图来说明本专利技术的实施例。在本专利技术的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。应当注意，为了清楚的目的，附图和说明中省略了与本专利技术无关的、本领域普通技术人员已知的部件和处理的表示和描述。参考图1至图3，本专利技术的基于颜色识别与跟踪的人机交互方法可用于为计算机、游戏机、IPTV机顶盒、高清播放机等多种硬件产品提供人机控制功能，包括以下步骤S1-S6：步骤S1：根据拍摄的候选物体的影像识别候选物体的颜色，并在候选物体的颜色属于预定的多种颜色之一时，设定候选物体的颜色为跟踪颜色，设定候选物体为跟踪颜色体I。本专利技术的实施例中，按照彩虹定义构建7种颜色，即，红、橙、黄、绿、蓝、靛、紫，作为预定的多种颜色。假设7种颜色的HSV(颜色信息、纯度、明度)空间的三种分量分别符合正态分布：H分量：概率分布S分量：概率分布V分量：概率分布i∈{1，2，3，...，7}代表第i种颜色，fHi(x)，fSi(x)，fVi(x)分别代表单个像素点x的H，S，V分量分别属于第i种颜色的概率。可选地，步骤S1包括以下步骤：步骤S11：拍摄初始化界面；步骤S12：在初始化界面中显示初始化位置范围，该初始化位置范围可用矩形框在初始化界面中标注；步骤S13：拍摄所述初始化位置范围内即矩形框内的目标物体(如黄色的笔，红色的方块物体、绿色的塑料瓶等等)；以及步骤S14：识别目标物体的颜色，当目标物体的颜色属于预定的多种颜色之一时，设定目标物体的颜色为跟踪颜色体I。在初始化位置范围内的每个像素点x，其属于的颜色为：maxi{fHi(xh)*fSi(xs)*fVi(xv)}(4)s.t.i∈{1，2，3，...，7}则跟踪颜色体I可以通过在初始化位置范围内的每个像素点x求解方程(4)得到。其中xh，xs，xv分别代表该像素点的H、S和V分量的数值。步骤S14中，拍摄初始化位置范围内的目标物体包括拍摄从初始化位置范围沿预设的路线移动一段距离的目标物体。跟踪颜色体设定完成后，便可跟踪设定的跟踪颜色体，例如，当目标物体为黄色的笔时，设定的颜色为黄色，通过对黄色的跟踪进行人机交互。步骤S2：根据在当前的图像中跟踪颜色体的中心位置预测在下一帧图像中跟踪颜色体的中心位置。可选地，在步骤S2中，通过卡尔曼滤波器预测跟踪颜色体I的中心位置。定义卡尔曼滤波器的系统状态为Xk＝(sx，sy，vx，vy)，sx、sy分别代表跟踪颜色体I的中心在x轴和y轴的坐标，vx，vy分别是跟踪颜色体I的中心在x轴和y轴的速度。而在图像上只能观测得到跟踪颜色体I的位置，所以定义二维观测向量Zk，即(xzk，yzk)，xzk为跟踪颜色体I的中心在x轴的观测向量，yzk跟踪颜色体I的中心在y轴的观测向量。因为跟踪颜色体I在单位时间间隔内是匀速运动的，定义状态转移矩阵A为：其中，Δt表示连续两帧图像间的时间间隔。卡尔曼滤波器的状态方程为：Xk+1＝AXk+Wk(6)由系统状态和观测状态之间的关系可知，卡尔曼滤波器的观测矩阵为：卡尔曼滤波器的观测方程为：Zk＝HXk+Vk(8)此外可以假设Wk和Vk都是零均值且独立的噪声向量，因此设Wk和Vk的协方差矩阵Qk和Rk分别为：系统状态预测方程为：误差协方差预测方程为：其本文档来自技高网...

【技术保护点】
一种基于颜色识别与跟踪的人机交互方法，包括以下步骤：步骤一：根据拍摄的候选物体的影像识别候选物体的颜色，并在候选物体的颜色属于预定的多种颜色之一时，设定所述候选物体的颜色为跟踪颜色，设定候选物体为跟踪颜色体；步骤二：根据在当前的图像中跟踪颜色体的中心位置预测在下一帧图像中跟踪颜色体的中心位置；步骤三：在预测的中心位置附近的预设的坐标区域内，判断所述坐标区域的每个像素点是否为所述跟踪颜色体的像素点；步骤四：根据获得的跟踪颜色体的像素点计算所述跟踪颜色体的中心位置，并返回步骤二以根据所述跟踪颜色体的中心位置继续预测在下下一帧图像中所述跟踪颜色体的中心位置；步骤五：根据检测出的所有属于跟踪颜色体的像素点，获取所述跟踪颜色体的外形；以及步骤六，根据所述跟踪颜色体的外形在图像中的坐标判断控制行为以进行人机交互。

【技术特征摘要】
1.一种基于颜色识别与跟踪的人机交互方法，包括以下步骤：步骤一：根据拍摄的目标物体的影像识别目标物体的颜色，并在目标物体的颜色属于预定的多种颜色之一时，设定所述目标物体的颜色为跟踪颜色，设定目标物体为跟踪颜色体；步骤二：根据在当前的图像中跟踪颜色体的中心位置预测在下一帧图像中跟踪颜色体的中心位置；步骤三：在预测的中心位置附近的预设的坐标区域内，判断所述坐标区域的每个像素点是否为所述跟踪颜色体的像素点；步骤四：根据获得的跟踪颜色体的像素点计算所述跟踪颜色体的中心位置，并返回步骤二以根据所述跟踪颜色体的中心位置继续预测在下下一帧图像中所述跟踪颜色体的中心位置；步骤五：根据检测出的所有属于跟踪颜色体的像素点，获取所述跟踪颜色体的外形；以及步骤六，根据所述跟踪颜色体的外形在图像中的坐标判断控制行为以进行人机交互。2.如权利要求1所述的基于颜色识别与跟踪的人机交互方法，其特征在于：所述步骤一包括：拍摄初始化界面；在所述初始化界面中显示初始化位置范围；拍摄所述初始化位置范围内的目标物体；以及识别所述目标物体的颜色，当所述目标物体的颜色属于预定的多种颜色之一时，设定所述目标物体的颜色为所述跟踪颜色，设定目标物体为跟踪颜色体。3.如权利要求2所述的基于颜色识别与跟踪的人机交互方法，其特征在于：所述拍摄所述初始化位置范围内的目标物体包括拍摄从所述初始化位置范围沿预设的路线移动一段距离的目标物体。4.如权利要求1所述的基于颜色识别与跟踪的人机交互方法，其特征在于：所述步骤二包括通过卡尔曼滤波来预测在下一帧图像中跟踪颜色体的中心位置。5.如权利要求4所述的基于颜色识别与跟踪的人机交互方法，其特征在于，通过卡尔曼滤波来预测在下一帧图像中跟踪颜色体的中心位置包括：构建卡尔曼滤波器，其系统状态为：Xk＝(sx，sy，vx，vy)，其中sx、sy分别代表所述跟踪颜色体的中心在x轴和y轴的坐标，vx、vy分别是所述跟踪颜色体在x轴和y轴的速度，初始速度设为0；所述跟踪颜色体在图像中的二维观测向量为：Zk＝(xzk，yzk)，xzk为所述跟踪颜色体的中心在x...

【专利技术属性】
技术研发人员：王铮，
申请(专利权)人：北京朝歌数码科技股份有限公司，
类型：发明
国别省市：