一种基于图像识别的智能导盲系统技术方案

本发明专利技术提供一种基于图像识别的智能导盲系统，涉及人工智能技术领域，用户端包括：信息采集模块，实时采集视觉障碍者前方的视频图像数据，语音导航指令，实时运动数据以及实时位置信息；云端服务器包括：云端导航模块，根据语音导航指令和实时位置信息生成导航路线；云端决策模块，根据第一目标检测模型检测视觉障碍者行进方向的目标物体，并生成云端反馈指令以语音播报的方式引导视觉障碍者行进；用户端还包括：本地决策模块，在云端决策模块相应不及时时，根据第二目标检测模型检测视觉障碍者行进方向的目标物体，并生成本地反馈指令以语音播报的方式引导视觉障碍者行进。本发明专利技术有效识别多种障碍物和红绿灯，辅助视觉障碍者精准感知周围环境。

An intelligent blind guide system based on image recognition

【技术实现步骤摘要】
一种基于图像识别的智能导盲系统
本专利技术涉及人工智能
，尤其涉及一种基于图像识别的智能导盲系统。
技术介绍
视觉障碍者无法通过视觉感知世界，必须依靠触觉、嗅觉、听觉来感知所生存的空间，这造成他们出行相当困难，极大限制了他们的出行自由。据世界盲人联盟不完全统计，2018年全球有4000万到4500万盲人，并且研究人员表示，到2050年，全世界盲人的数量将会达到现在的两到三倍。中国是世界上盲人最多的国家，约有550万盲人，无论从世界还是从中国来看，盲人的数量都极其庞大。目前，盲人出行主要依靠盲杖和导盲犬的帮助。但是导盲犬需要长时间训练，价格昂贵，而且饲养麻烦；盲杖虽然使用方便，价格低廉，但探测范围小，难以及时探测到胸部以上障碍物。
技术实现思路
针对现有技术中存在的问题，本专利技术提供一种基于图像识别的智能导盲系统，具体包括一云端服务器以及与所述云端服务器连接的至少一用户端；所述用户端具体包括：信息采集模块，所述信息采集模块包括：图像采集单元，用于实时采集视觉障碍者前方的视频图像数据；语音识别单元，用于实时采集所述视觉障碍者的语音信息，对所述语音信息进行识别，并将所述语音信息转换为语音导航指令；传感单元，用于采集所述视觉障碍者的实时运动数据；定位单元，用于获取所述视觉障碍者的实时位置信息；所述云端服务器具体包括：云端导航模块，用于根据所述语音导航指令和所述实时位置信息生成相应的导航路线，并根据所述导航路线引导所述视觉障碍者行进；<br>云端决策模块，连接所述云端导航模块，用于在所述视觉障碍者行进过程中，根据所述视频图像数据和预先生成的第一目标检测模型检测所述视觉障碍者行进方向的目标物体，并根据所述目标物体和所述实时运动数据生成相应的云端反馈指令并输出；所述用户端还包括：反馈执行模块，用于根据所述云端反馈指令以语音播报的方式引导所述视觉障碍者行进；计时模块，连接所述反馈执行模块，用于在所述反馈执行模块每次接收到所述云端反馈指令时开始计时，并持续输出反馈计时结果；比较模块，连接所述计时模块，用于将所述反馈计时结果与预设的反馈时间阈值进行比较，并在所述反馈计时结果大于所述反馈时间阈值时生成相应的反馈比较结果；本地决策模块，分别连接所述信息采集模块、所述反馈执行模块和所述比较模块，用于在所述视觉障碍者行进过程中，根据所述反馈比较结果、所述视频图像数据和预先生成的第二目标检测模型检测所述视觉障碍者行进方向的目标物体，并根据所述目标物体和所述实时运动数据生成相应的本地反馈指令发送至所述反馈执行模块，以语音播报的方式引导所述视觉障碍者行进。优选的，所述传感单元包括红外传感器，和/或超声传感器，和/或运动传感器，和/或方向传感器。优选的，所述用户端还包括本地导航模块，连接所述本地决策模块，所述本地导航模块具体包括：信号检测单元，用于实时检测所述云端服务器的的网络信号，并在每次检测不到所述网络信号时进行计时，并持续输出实时计时结果；比较单元，连接所述信号检测单元，用于将所述实时计时结果与预设的丢失时间阈值进行比较，并在所述实时计时结果大于所述丢失时间阈值时生成相应的计时比较结果；本地导航单元，连接所述比较单元，所述本地导航单元包括：存储子单元，用于由所述云端服务器获取所述实时位置信息对应的城市地图作为离线地图进行存储，以及由所述云端服务器获取所述导航路线并存储；导航子单元，连接所述存储子单元，用于根据所述计时比较结果、所述导航路线和所述离线地图引导所述视觉障碍者行进。优选的，所述用户端还包括一震动模块，连接所述本地决策模块，用于根据所述云端反馈指令进行震动，以提醒所述视觉障碍者收听以语音播报的方式发送的所述云端反馈指令；以及根据所述本地反馈指令进行震动，以提醒所述视觉障碍者收听以语音播报的方式发送的所述本地反馈指令。优选的，所述第一目标检测模型为Yolov3目标检测模型。优选的，所述第二目标检测模型为SlimYolov3目标检测模型。优选的，所述目标物体为障碍物；则所述云端决策模块根据所述障碍物和所述实时运动数据生成相应的云端反馈指令发送至所述反馈执行模块，以语音播报的方式引导所述视觉障碍者避让所述障碍物；或所述本地决策模块根据所述障碍物和所述实时运动数据生成相应的本地反馈指令发送至所述反馈执行模块，以语音播报的方式引导所述视觉障碍者避让所述障碍物。优选的，所述目标物体为红绿灯；则所述云端决策模块根据所述红绿灯的实时状态和所述实时运动数据生成相应的云端反馈指令发送至所述反馈执行模块，以语音播报的方式引导所述视觉障碍者根据所述红绿灯的实时状态行进；或所述本地决策模块根据所述红绿灯的实时状态和所述实时运动数据生成相应的本地反馈指令发送至所述反馈执行模块，以语音播报的方式引导所述视觉根据所述红绿灯的实时状态行进。优选的，所述云端服务器还包括一云端存储模块，分别连接所述云端导航模块和所述云端决策模块，用于获取保存所述视觉障碍者的所述视频图像数据、所述实时运动数据和所述实时位置信息并保存，并根据所述视频图像数据、所述实时运动数据和所述实时位置信息对所述第一目标检测模型和所述第二目标检测模型进行优化。优选的，还包括一远程导航端，分别连接所述云端服务器和所述用户端，用于在所述语音导航指令为远程呼叫指令时，由所述云端服务器获取所述视频图像数据、所述实时运动数据和所述实时位置信息并发送至预设人员，由所述预设人员根据所述视频图像数据、所述实时运动数据和所述实时位置信息通过远程导航的方式引导所述视觉障碍者行进。上述技术方案具有如下优点或有益效果：1)通过图像识别技术能够有效识别行进过程中的多种障碍物和红绿灯，辅助视觉障碍者精准感知周围环境；2)通过设置云端决策模块和本地决策模块对行进方向的目标物体进行识别并给出相应的决策指令，有效避免云端决策模块响应不及时时导致决策指令中断，保证了导航的实时性，有效提升视觉障碍者的使用体验；3)本地决策模块采用SlimYolov3目标检测模型对行进方向的目标物体进行识别，SlimYolov3目标检测模型的参数数目和模型尺寸较小，识别时间较短，在满足视觉障碍者的使用需求的同时，有效减少本地决策模块的数据处理负荷。附图说明图1为本专利技术的较佳的实施例中，一种基于图像识别的智能导盲系统的结构示意图。具体实施方式下面结合附图和具体实施例对本专利技术进行详细说明。本专利技术并不限定于该实施方式，只要符合本专利技术的主旨，则其他实施方式也可以属于本专利技术的范畴。本专利技术的较佳的实施例中，基于现有技术中存在的上述问题，现提供一种基于图像识别的智能导盲系统，如图1所示，具体包括一云端服务器1以及与云端服务器1连接的至少一用户端2；用户端2具体包括：信息采集模块21，信息采集模块21包括：图像采集单元211，用于本文档来自技高网...

【技术保护点】
1.一种基于图像识别的智能导盲系统，其特征在于，具体包括一云端服务器以及与所述云端服务器连接的至少一用户端；/n所述用户端具体包括：/n信息采集模块，所述信息采集模块包括：/n图像采集单元，用于实时采集视觉障碍者前方的视频图像数据；/n语音识别单元，用于实时采集所述视觉障碍者的语音信息，对所述语音信息进行识别，并将所述语音信息转换为语音导航指令；/n传感单元，用于采集所述视觉障碍者的实时运动数据；/n定位单元，用于获取所述视觉障碍者的实时位置信息；所述云端服务器具体包括：/n云端导航模块，用于根据所述语音导航指令和所述实时位置信息生成相应的导航路线，并根据所述导航路线引导所述视觉障碍者行进；/n云端决策模块，连接所述云端导航模块，用于在所述视觉障碍者行进过程中，根据所述视频图像数据和预先生成的第一目标检测模型检测所述视觉障碍者行进方向的目标物体，并根据所述目标物体和所述实时运动数据生成相应的云端反馈指令并输出；/n所述用户端还包括：/n反馈执行模块，用于根据所述云端反馈指令以语音播报的方式引导所述视觉障碍者行进；/n计时模块，连接所述反馈执行模块，用于在所述反馈执行模块每次接收到所述云端反馈指令时开始计时，并持续输出反馈计时结果；/n比较模块，连接所述计时模块，用于将所述反馈计时结果与预设的反馈时间阈值进行比较，并在所述反馈计时结果大于所述反馈时间阈值时生成相应的反馈比较结果；/n本地决策模块，分别连接所述信息采集模块、所述反馈执行模块和所述比较模块，用于在所述视觉障碍者行进过程中，根据所述反馈比较结果、所述视频图像数据和预先生成的第二目标检测模型检测所述视觉障碍者行进方向的目标物体，并根据所述目标物体和所述实时运动数据生成相应的本地反馈指令发送至所述反馈执行模块，以语音播报的方式引导所述视觉障碍者行进。/n...

【技术特征摘要】
1.一种基于图像识别的智能导盲系统，其特征在于，具体包括一云端服务器以及与所述云端服务器连接的至少一用户端；
所述用户端具体包括：
信息采集模块，所述信息采集模块包括：
图像采集单元，用于实时采集视觉障碍者前方的视频图像数据；
语音识别单元，用于实时采集所述视觉障碍者的语音信息，对所述语音信息进行识别，并将所述语音信息转换为语音导航指令；
传感单元，用于采集所述视觉障碍者的实时运动数据；
定位单元，用于获取所述视觉障碍者的实时位置信息；所述云端服务器具体包括：
云端导航模块，用于根据所述语音导航指令和所述实时位置信息生成相应的导航路线，并根据所述导航路线引导所述视觉障碍者行进；
云端决策模块，连接所述云端导航模块，用于在所述视觉障碍者行进过程中，根据所述视频图像数据和预先生成的第一目标检测模型检测所述视觉障碍者行进方向的目标物体，并根据所述目标物体和所述实时运动数据生成相应的云端反馈指令并输出；
所述用户端还包括：
反馈执行模块，用于根据所述云端反馈指令以语音播报的方式引导所述视觉障碍者行进；
计时模块，连接所述反馈执行模块，用于在所述反馈执行模块每次接收到所述云端反馈指令时开始计时，并持续输出反馈计时结果；
比较模块，连接所述计时模块，用于将所述反馈计时结果与预设的反馈时间阈值进行比较，并在所述反馈计时结果大于所述反馈时间阈值时生成相应的反馈比较结果；
本地决策模块，分别连接所述信息采集模块、所述反馈执行模块和所述比较模块，用于在所述视觉障碍者行进过程中，根据所述反馈比较结果、所述视频图像数据和预先生成的第二目标检测模型检测所述视觉障碍者行进方向的目标物体，并根据所述目标物体和所述实时运动数据生成相应的本地反馈指令发送至所述反馈执行模块，以语音播报的方式引导所述视觉障碍者行进。


2.根据权利要求1所述的基于图像识别的智能导盲系统，其特征在于，所述传感单元包括红外传感器，和/或超声传感器，和/或运动传感器，和/或方向传感器。


3.根据权利要求1所述的基于图像识别的智能导盲系统，其特征在于，所述用户端还包括本地导航模块，连接所述本地决策模块，所述本地导航模块具体包括：
信号检测单元，用于实时检测所述云端服务器的的网络信号，并在每次检测不到所述网络信号时进行计时，并持续输出实时计时结果；
比较单元，连接所述信号检测单元，用于将所述实时计时结果与预设的丢失时间阈值进行比较，并在所述实时计时结果大于所述丢失时间阈值时生成相应的计时比较结果；
本地导航单元，连接所述比较单元，所述本地导航单元包括：
存储子单元，用于由所述云端服务器获取所述实时位置信息对应的城市地图作为离线地图进行存储，以及由所述云端服务器获取所述...

【专利技术属性】
技术研发人员：黄明飞，姚宏贵，徐裕民，
申请(专利权)人：开放智能机器上海有限公司，
类型：发明
国别省市：上海;31