一种帮助盲人查找物品的方法和装置制造方法及图纸

本发明专利技术提供一种帮助盲人查找物品的方法和装置。所述方法包括：通过语音模块获取用户所要查找的物品；获取由双目相机拍摄的室内物品的深度图像；将所述图像输入识别模型，识别出所要查找的物品；基于所述物品的深度图像估算所述物品的位置，并通过语音模块引导用户接近所述物品；如果收到用户反馈的查找出错信息，通过修改部分权重参数微调识别模型，使其能够正确识别所要查找的物品。本发明专利技术通过语音模块获取用户所要查找的物品，并能通过语音模块引导用户顺利找到所述物品，方便了视障人士的日常生活。本发明专利技术还能根据用户反馈的出错信息自动微调识别模型，由于只调整模型的部分权重参数，可快速对模型进行训练，使其正确识别所要查找的物品。所要查找的物品。所要查找的物品。

【技术实现步骤摘要】
一种帮助盲人查找物品的方法和装置


[0001]本专利技术涉及人工智能
，具体涉及一种帮助盲人查找物品的方法和装置。

技术介绍

[0002]视觉信息是人类识别周围环境的最重要信息来源，人类获得的信息80％左右是从视觉系统输入的。根据世界卫生组织统计，全世界有2.85亿视觉障碍人士。视障人士损失了正常的视觉，对颜色、形状的理解很困难。有鉴于此，有很多辅助盲人生活的智能产品纷纷问世。申请号为201810534069.0的专利技术专利，公开一种基于多模态数据进行视觉定位的盲人辅助眼镜，利用小型处理器对GNSS、相机采集的多模态数据进行处理，输出定位结果。该眼镜能够进行白天、黑夜等不同光照条件下的定位，具有误检率低、漏检率低、实时性好、跨平台性好等优点，可以很好地满足视障人士的精确定位的应用要求。
[0003]现有辅助盲人生活类产品大多用于导航和危险物、障碍物检测(检测危险的汽车、水坑等，辅助盲人避障行走)，缺少室内物品的查找定位功能；而且依赖的模型一般都是通过对固定的训练样本进行训练获得的，不能根据具体的应用环境进行适应性调整，检测精度低。

技术实现思路

[0004]为了解决现有技术中存在的上述问题，本专利技术提供一种帮助盲人查找物品方法及装置。
[0005]为了实现上述目的，本专利技术采用以下技术方案。
[0006]第一方面，本专利技术提供一种帮助盲人查找物品的方法，包括：
[0007]通过语音模块获取用户所要查找的物品；
[0008]获取由双目相机拍摄的室内物品的深度图像；
[0009]将所述图像输入识别模型，识别出所要查找的物品；
[0010]基于所述物品的深度图像估算所述物品的位置，并通过语音模块引导用户接近所述物品；
[0011]如果收到用户反馈的查找出错信息，通过修改部分权重参数微调识别模型，使其能够正确识别所要查找的物品。
[0012]进一步地，所述识别模型为基于CNN的物品检测网络YOLO
‑
V3。
[0013]进一步地，估算所述物品位置的方法包括：
[0014]获取所述物品的深度图像的像素值，所述像素值即为物品与用户的距离R；
[0015]计算图像中所述物品与图像中心点距离的像素点数m；
[0016]按下式计算所述物品相对用户正前方的方位偏差α：
[0017]α＝arcsin(mr/R)
[0018]式中，r为每个像素间隔代表的实际距离。
[0019]进一步地，所述微调识别模型的方法包括：
[0020]将室内物品的深度图像加入训练样本集，对识别模型重新进行训练；训练过程中，只调整识别模型中特征提取后的全连接层的权重和偏置参数。
[0021]第二方面，本专利技术提供一种帮助盲人查找物品的装置，包括：
[0022]名称获取模块，用于通过语音模块获取用户所要查找的物品；
[0023]图像获取模块，用于获取由双目相机拍摄的室内物品的深度图像；
[0024]物品识别模块，用于将所述图像输入识别模型，识别出所要查找的物品；
[0025]物品定位模块，用于基于所述物品的深度图像估算所述物品的位置，并通过语音模块引导用户接近所述物品；
[0026]模型微调模块，用于如果收到用户反馈的查找出错信息，通过修改部分权重参数微调识别模型，使其能够正确识别所要查找的物品。
[0027]进一步地，所述物品识别模块中的识别模型为基于CNN的物品检测网络YOLO
‑
V3。
[0028]进一步地，所述物品定位模块估算所述物品位置的方法包括：
[0029]获取所述物品的深度图像的像素值，所述像素值即为物品与用户的距离R；按下式计算图像中所述物品与图像中心点距离m：
[0030][0031]式中，(x1,y1)、(x0,y0)分别表示的物品在图像中的坐标和图像中心的坐标，单位为像素点；
[0032]按下式计算所述物品相对用户正前方的方位偏差α：
[0033]α＝arcsin(mr/R)
[0034]式中，r为每个像素点表示的实际距离。
[0035]进一步地，所述模型微调模块微调识别模型的方法包括：
[0036]将室内物品的深度图像加入训练样本集，对识别模型重新进行训练；训练过程中，只调整识别模型中特征提取后的全连接层的权重和偏置参数。
[0037]与现有技术相比，本专利技术具有以下有益效果。
[0038]本专利技术通过语音模块获取用户所要查找的物品，能够自动识别所述物品、估算所述物品的位置，并能通过语音模块引导用户顺利找到所述物品，大大方便了视力障碍人士的日常生活。本专利技术还能根据用户反馈的查找出错信息自动微调识别模型，由于只调整模型的部分权重参数，可快速对模型进行训练，使其正确识别所要查找的物品。
附图说明
[0039]图1为本专利技术实施例一种帮助盲人查找物品的方法的流程图。
[0040]图2为本专利技术实施例硬件模块的构架图。
[0041]图3为本专利技术实施例一种帮助盲人查找物品的装置的方框图。
具体实施方式
[0042]为使本专利技术的目的、技术方案及优点更加清楚、明白，以下结合附图及具体实施方式对本专利技术作进一步说明。显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所
获得的所有其他实施例，都属于本专利技术保护的范围。
[0043]图1为本专利技术实施例一种帮助盲人查找物品的方法的流程图，包括以下步骤：
[0044]步骤101，通过语音模块获取用户所要查找的物品；
[0045]步骤102，获取由双目相机拍摄的室内物品的深度图像；
[0046]步骤103，将所述图像输入识别模型，识别出所要查找的物品；
[0047]步骤104，基于所述物品的深度图像估算所述物品的位置，并通过语音模块引导用户接近所述物品；
[0048]步骤105，如果收到用户反馈的查找出错信息，通过修改部分权重参数微调识别模型，使其能够正确识别所要查找的物品。
[0049]本实施例涉及的硬件结构，至少包括一个双目相机、一个识别模块和一个语音模块。双目相机一般安装在一个盲人眼镜上，用于拍摄周围的视频图像，并将所述视频图像输入到识别模块。识别模块可以是一个单独的处理器，也可以是一个云服务器，用于通过对输入的视频图像进行处理识别所要查找的物品。因此一般还需要设置一个通信模块。语音模块用于实现与用户的交互，如接收用户的语音指令(查找什么物品)或反馈信息；或通过语音引导用户接近物品。本实施例所述方法是由在处理器或云服务器中执行的程序实现。
[0050]本实施例中，步骤101主要用于通过语音模块获取用户所要查找的物品名称。用户想要查找某个物品时，可以对着语音模块说出来，如“拐杖”，或“我要找水杯”。语音模块将收到声音信号转换成文本信息后输入到识别模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种帮助盲人查找物品的方法，其特征在于，包括以下步骤：通过语音模块获取用户所要查找的物品；获取由双目相机拍摄的室内物品的深度图像；将所述图像输入识别模型，识别出所要查找的物品；基于所述物品的深度图像估算所述物品的位置，并通过语音模块引导用户接近所述物品；如果收到用户反馈的查找出错信息，通过修改部分权重参数微调识别模型，使其能够正确识别所要查找的物品。2.根据权利要求1所述的帮助盲人查找物品的方法，其特征在于，所述识别模型为基于CNN的物品检测网络YOLO
‑
V3。3.根据权利要求1所述的帮助盲人查找物品的方法，其特征在于，估算所述物品位置的方法包括：获取所述物品的深度图像的像素值，所述像素值即为物品与用户的距离R；按下式计算图像中所述物品与图像中心点距离m：式中，(x1,y1)、(x0,y0)分别表示的物品在图像中的坐标和图像中心的坐标，单位为像素点；按下式计算所述物品相对用户正前方的方位偏差α：α＝arcsin(mr/R)式中，r为每个像素点表示的实际距离。4.根据权利要求1所述的帮助盲人查找物品的方法，其特征在于，所述微调识别模型的方法包括：将室内物品的深度图像加入训练样本集，对识别模型重新进行训练；训练过程中，只调整识别模型中特征提取后的全连接层的权重和偏置参数。5.一种帮助盲人查找物品的装置，其特征在于，包括：第二方面，本发明提供一种帮助盲人查找物品的装置，包括：...

【专利技术属性】
技术研发人员：房云峰，俞益洲，李一鸣，乔昕，
申请(专利权)人：杭州深睿博联科技有限公司，
类型：发明
国别省市：