本发明专利技术公开了一种基于红外图像特征点减少物体识别图像量的方法，采用摄像头组对开、闭智能箱柜的行为进行视频采集；通过多帧的红外图像形成红外图像队列，并基于红外图像队列，在低干扰或干净环境形成二值红外图像，高干扰或遮挡环境形成灰度红外图像；用图像梯度算子提取红外图像的边缘，构造用户行为的运动轨迹数组；基于红外图像帧与帧特征点群的匹配，构造用户行为的运动轨迹数组；根据运动状态函数和运动方向一致性函数来进行用户行为的判定；从每一个已经完成判定的用户行为队列中选择最佳的红外图像；根据红外图像和可见光图像的对应关系，进行目标检测和识别；该基于红外图像特征点减少物体识别图像量的方法能够降低服务器计算量。够降低服务器计算量。够降低服务器计算量。
【技术实现步骤摘要】
一种基于红外图像特征点减少物体识别图像量的方法
[0001]本专利技术涉及智能家居，智能箱柜的图像处理
，具体涉及一种基于红外图像特征点减少物体识别图像量的方法。
技术介绍
[0002]目前智能箱柜的工作原理：通过内置或外置的图像采集装置，对箱柜内人的操作行为开、或关智能箱柜门的前后，分别采集智能箱柜内部的彩色图像，然后基于彩色图像，采用各种机器学习或深度学习的方法进行不同食材的种类识别、和基于物体或人手的移动对人的行为进行判定物体是取还是放。
[0003]对食材或物体的识别、人体动作的判定主要通过把视频数据传输会云端，利用云端强大的算力和云服务器、云平台的数据库去解决，或借助嵌入式AI设备和物联网实现数据的预处理。
[0004]相关专利：CN201810780334.3 一种冰箱智能识别和管理系统CN201821297676.1 一种冰箱动态识别装置CN201910919624.6 食材管理的方法及装置、冷藏设备CN201911089592.8 一种基于深度学习的智能冰箱存取动作识别方法在上述相关技术的实施过程中，会存在如下的问题：内置图像采集装置采集视频的时间是用户打开智能箱柜到用户关闭智能箱柜，而外置的图像采集装置会根据红外感应人体开始采集视频，这端采集视频的时间短着几秒，长着十几秒，随后把采集到的视频传回服务器进行分析时，服务器会把每一秒的视频解析成多帧，然后对每一帧的图像进行图像识别和动作判定。按照目前一般图像采集装置的帧率在20帧左右，一个动作行为产生的数据会达到上百张图像，这其中起到对物体的识别和人的动作的判定的图像只占非常少的一部分。且当用户量多的时候，每个短时间会产生非常惊人的数据量，传统面对这个高并发和庞大计算量的场景，都是使用分布式云端或嵌入式端去解决，但同时也产生大量的成本。
技术实现思路
[0005]针对现有技术中的不足，本专利技术的目的是提供一种降低服务器计算量，节约成本的基于红外图像特征点减少物体识别图像量的方法。
[0006]本专利技术解决其技术问题所采用的技术方案是：一种基于红外图像特征点减少物体识别图像量的方法，其特征在于：采用摄像头组对开、闭智能箱柜的行为进行视频采集，获取多帧的RBG图像和红外图像；通过多帧的红外图像形成红外图像队列，并基于红外图像队列，低干扰或干净环境形成二值红外图像，高干扰或遮挡环境形成灰度红外图像；在低干扰或干净环境下，用图像梯度算子提取红外图像的边缘，获取红外图像的
三个极值点坐标，构造用户行为的运动轨迹数组；在多帧的红外图像运动下，各自比较三个极值的变化方向，根据运动状态函数和运动方向一致性函数来进行用户行为的判定；在高干扰或遮挡环境下，构建红外图像其尺度金字塔，采用Fast算法获取特征点，基于BRIEF算法描述特征子，根据帧与帧之间特征的匹配获得用户行为的运动轨迹数组；在多帧的红外图像运动下，比较50%以上的特征点的运动方向，根据运动状态函数和运动方向一致性函数来进行用户行为的判定；从每一个已经完成判定的用户行为队列中选择最佳的红外图像；根据红外图像和可见光图像的对应关系，把最佳的可见光图像传入目标识别模型，进行目标检测和识别。
[0007]进一步的，所述的摄像头组包括有RGB摄像头和红外摄像头。
[0008]进一步的，所述的红外图像队列通过各自的时间戳进行排序，二值红外图像的形成方法为：对红外图像队列进行灰度化，对灰度化的红外图像进行图像二值化。
[0009]进一步的，在低干扰或干净环境下，用图像梯度算子提取红外图像的边缘的方法为：使用Scharr算子获取红外二值图像的边缘，使用Scharr算子对X和Y方向进行求导，求红外二值化图像的X和Y方向的梯度，把图像每一个像素求到的图像X和Y方向的梯度，取绝对值相加，获得图像的梯度，图像的梯度反应在红外图像上就是图像的边缘。
[0010]进一步的，红外图像的三个极值点坐标分别是最左边，最上边、最右边的值的纵坐标。
[0011]进一步的，在高干扰或遮挡环境下，构造用户行为的运动轨迹数组的方法为：根据每张红外图像构建其尺度金字塔；在不同尺度的红外图像上采用Fast算法检测特征点；得到特征点后，采用BRIEF算法来计算一个特征点的描述子，给特征点添加选择不变性；根据每一帧红外图像得到的特征点描述子特有的2进制串表示，通过汉明距离进行快速的帧与帧之间快速的特征点的匹配，便于找到下一帧红外图像相同的特征点。
[0012]进一步的，根据运动状态函数来进行用户行为判定的方法为：当运动状态函数满足动作的出、入情况时，可作为用户行为的开始的判定，当运动状态函数满足动作停止条件时，该最后一帧代表该动作行为的结束，以动作开始红外图像的时间戳到动作结束红外图像的时间戳对应的帧为该行为进行分析。
[0013]进一步的，根据运动状态函数来进行用户行为判定的方法为：在低干扰或干净环境下，记录红外图像队列的每一个帧三个极值的纵坐标，每一帧的运动数组和前一帧运动数组对应的坐标进行比对，形成运动轨迹；当当前帧运动轨迹的三个极值坐标点中存在有两个坐标点产生的方向是一致，且与上一帧运动方向一致时，可确定用户手部运动的方向，根据用户手部运动的方向判定用户行为。
[0014]在高干扰或遮挡环境下，当后一帧图像的特征点群和前一帧图像的特征点群相比，存在50%以上的特征点运动方向一致时，可确定用户手部运动的方向，根据用户手部运
动的方向判定用户行为。
[0015]进一步的，在动作判定的过程中存在行为开始和行为结束判断，具体为：从用户动作为取的角度，在低干扰或干净环境下，从无法判断行为状态到三个极值数组存在两个数组变动一致可以对动作进行判定，在高干扰或遮挡环境下，存在50%以上的特征点运动方向一致时可以对动作进行判定，方向一致性数字的值开始计数，当方向一致性数字的值大于阈值时，且红外图像上找不到人体热源时，判断为取的动作，表示该行为已经结束。
[0016]在高干扰或遮挡环境下，动作判定的过程中行为结束判定有个附加条件，当后一帧图像的特征点群和前一帧图像的特征点群相比，存在80%以上的特征点不移动时，或红外图像存在非常少的特征点，造成无法匹配或匹配率过低时，表示该动作已经结束，完成一个动作的判别。
[0017]进一步的，最佳的红外图像的选择方法为：在低干扰或干净环境下，通过最小化三个极值点与红外图像尺度的关系，来获得最佳红外图像的时间戳，选择每一个行为分别左角点、上角点、右角点的纵坐标与红外图像二分之一高相差最小的三张红外图像供于后端的目标识别使用；在任何环境中，总最佳红外图像选择公式为其中i表示红外图像对应的帧数图像的时间戳，h为红外图像的高，为最佳的红外图像。
[0018]原理说明：1.用RGB摄像头结合近红外摄像头对开、闭智能箱柜的行为进行视频采集；RGB摄像头和近红外摄像头会分别产生可见光图像和红外图像，将RGB摄像头和红外摄像头同步，使其可见光图像和红外图像是一一对应的；2.把红外图像形成红外图像队列，高干扰或遮挡环境只对红外图像队列灰本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于红外图像特征点减少物体识别图像量的方法，其特征在于：采用摄像头组对开、闭智能箱柜的行为进行视频采集，获取多帧的RBG图像和红外图像；通过多帧的红外图像形成红外图像队列，并基于红外图像队列，低干扰或干净环境形成二值红外图像，高干扰或遮挡环境形成灰度红外图像；在低干扰或干净环境下，用图像梯度算子提取红外图像的边缘，获取红外图像的三个极值点坐标，构造用户行为的运动轨迹数组；在多帧的红外图像运动下，各自比较三个极值的变化方向，根据运动状态函数和运动方向一致性函数来进行用户行为的判定；在高干扰或遮挡环境下，构建红外图像其尺度金字塔，采用Fast算法获取特征点，基于BRIEF算法描述特征子，根据帧与帧之间特征的匹配获得用户行为的运动轨迹数组；在多帧的红外图像运动下，比较50%以上的特征点的运动方向，根据运动状态函数和运动方向一致性函数来进行用户行为的判定；从每一个已经完成判定的用户行为队列中选择最佳的红外图像；根据红外图像和可见光图像的对应关系，把最佳的可见光图像传入目标识别模型，进行目标检测和识别。2.根据权利要求1所述的基于红外图像特征点减少物体识别图像量的方法，其特征在于：所述的摄像头组包括有RGB摄像头和红外摄像头。3.根据权利要求1所述的基于红外图像特征点减少物体识别图像量的方法，其特征在于，所述的红外图像队列通过各自的时间戳进行排序，二值红外图像的形成方法为：对红外图像队列进行灰度化，对灰度化的红外图像进行图像二值化。4.根据权利要求1所述的基于红外图像特征点减少物体识别图像量的方法，其特征在于，在低干扰或干净环境下，用图像梯度算子提取红外图像的边缘的方法为：使用Scharr算子获取红外二值图像的边缘，使用Scharr算子对X和Y方向进行求导，求红外二值化图像的X和Y方向的梯度，把图像每一个像素求到的图像X和Y方向的梯度，取绝对值相加，获得图像的梯度，图像的梯度反应在红外图像上就是图像的边缘。5.根据权利要求4所述的基于红外图像特征点减少物体识别图像量的方法，其特征在于：红外图像的三个极值点坐标分别是最左边，最上边、最右边的值的纵坐标。6.根据权利要求1所述的基于红外图像特征点减少物体识别图像量的方法，其特征在于，在高干扰或遮挡环境下，构造用户行为的运动轨迹数组的方法为：根据每张红外图像构建其尺度金字塔；在不同尺度的红外图像上采用Fast算法检测特征点；得到特征点后，采用BRIEF算法来计算一个特征点的描述子，给特征点添加选择不变性；根据每一帧红外图像得到的特征点描述子特有的2进制串表示，通过汉明距离进行快速的帧与帧之间快速的特征点的匹配，便于找到下一帧红外图像相同的特征点。7.根据权利要求5或6所述的基于红外图像特征点减少物体识别图像量的方法，其特征在于，根据运动状态函数和运动方向一致性函数来进行用户行为判定的方法为：当运动状...
【专利技术属性】
技术研发人员：张元本，陈名国，
申请(专利权)人：广州微林软件有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。