一种基于智能手机的移动导盲系统技术方案

本发明专利技术提供了一种基于智能手机的移动导盲系统，包括基础导航系统、综合图像处理系统和语音辅助系统，基础导航系统是通过获取实时GPS信号，利用手机内置的导航软件对信号进行处理得到定位数据，盲人通过语音输入目的地信息后，系统规划出行进路径；综合图像处理系统包括盲道路面识别模块和交通路口辨识模块，盲道路面识别模块是利用智能手机的摄像头实时采集盲道信息，通过处理实现对盲道区域的定位；交通路口辨识模块是利用智能手机获取交通路口的信息，在接近路口时通过对斑马线的定位实现路口信息的辨识；语音辅助系统将各系统的处理结果转换为相应的提示语音反馈给盲人，引导盲人行进。

Mobile guiding system based on intelligent mobile phone

The present invention provides a mobile guide system based on intelligent mobile phone, including the basis of integrated navigation system, image processing system and voice assistant system based navigation system by acquiring real-time GPS signal, the signal processing of location data obtained by the mobile phone built-in navigation software, blind input destination information by voice, system planning a path; integrated image processing system including blind road identification module and traffic identification module, blind road recognition module is camera real-time blind information using intelligent mobile phone, through the realization of positioning of the blind area; traffic identification module is obtained by using intelligent mobile phone traffic information, identification information by locating the intersection the zebra in near the intersection; voice assistant system will deal with the system The fruit is converted to a corresponding cue, the voice is fed to the blind, and the blind person is guided to travel.

【技术实现步骤摘要】
一种基于智能手机的移动导盲系统
本专利技术涉及数字图像处理领域，具体是涉及到一种基于智能手机的移动导盲系统。
技术介绍
盲人(视障人士)由于先天或后天原因，视觉器官的构造或机能发生部分或全部之障碍，对外界事物无法作准确的视觉辨识。根据世界卫生组织(WHO)2014年8月的最新调查显示，世界范围内视力受损的人数约为2.85亿，其中3900万人患有盲症，全世界大约90％的视力受损者生活在低收入国家。我国的视觉障碍人数占全世界总数的20％，约有5700多万人，是全球视觉障碍人口最多的国家。视觉障碍者在出行时，通常只能依靠市政基础导盲项目(如盲道和盲文标志)和辅助导盲设备(如导盲手杖)来辨别位置和方向。但是，在日常生活中，经常能看到盲道被占用或破坏的情况。另外，盲道的设计也存在不合理的情况，不能正确指引视障人士行走。近20多年来，针对视障人士，科研人员提出传感器件以“视觉替代”的方法来帮助感知环境信息，通过信息整合和再处理将感知到的环境信息以听觉、触觉等方式传递给视觉障碍患者。基于此原理，大量便携式和可穿戴的导盲系统问世，且大多具备障碍物检测，目标提取，路径导航，偏移校正等功能。此外，随着群智感知技术的高速发展，以群智感知融合大数据为主题的研究也吸引了国内外的热切关注。针对日常行走的盲道设计盲道识别模块，采用智能手机内置的多模传感模块进行盲道信息的捕获，实时检测盲道区域和盲道上可能出现的障碍。针对危险系数较高的交通路口，设计交通路口检测模块，采用智能手机内置的相机，麦克风，电子罗盘，陀螺仪和加速度计等进行分段式导航。交通路口模块在获取路口的大智信息之后，识别斑马线区域并引导视障人士与斑马线对齐后触发偏移校正模块，实时校正视障人士的行进方向。申请号为201010174012.8的中国专利技术专利公开了一种利用计算机视觉技术进行盲道和人行横道实时检测的方法，利用仿射变换模型训练分类器来得到盲道和人行横道的样本集进行目标的检测和处理。申请号为20110200597.0的中国专利技术专利公开了一种基于计算机视觉盲人户外支援系统，利用双目相机采集图像，借助嵌入式平台进行算法设计来辅助盲人进行路面场景的理解。申请号为201520044179.0的专利技术专利公开了一种多功能智能导盲系统及多功能智能导盲手杖，可以通过在导盲系统中设置GSM短信在紧急情况下通知用户的家人，同时利用ZigBee模块可以在路口接收红绿灯信息，指引用户安全通过路口。申请号为201620121367.3的专利技术专利公开了一种基于超声波测距的智能导盲系统，能够实时的检测行进方向的障碍信息，指引盲人安全独立的出行。申请号为201610272839.X的国家专利技术专利公开了一种基于GPS的视觉导航的导盲系统及其方法，该系统具有可选的工作模式和路径搜索的功能，可以为盲人的室内外活动提供便利。申请号为201610581588.3的国家专利技术专利公开了一种智能导盲系统，该系统能够获取当前运动环境的视觉图像信息和位置信息，为盲人出行提供路径规划和语音提示信息。上述已有的导盲系统和盲道图像识别算法均存在一定程度的问题：(1)需要的辅助感知设备过多，开发平台不够智能；(2)无法协助盲人有效的理解周围环境，如十字路口的判别和定位；(3)有关图像识别的算法众多，但是各种识别算法在盲道识别领域并没有完整的识别效果比较与分析；(4)没有一个相对完整的系统框架用于智能设备，大多停留在实验室验证阶段。
技术实现思路
针对现有技术中的缺陷，本专利技术提供一种基于智能手机的移动导盲系统，进一步完善了导盲系统的技术框架，针对综合图像处理部分做了深入的研究，解决了当前导盲系统操作复杂、价格昂贵的缺点，为以后导盲系统的开发提供了一个新的方向。本专利技术所述的基于智能手机的移动导盲系统，包括基础导航系统、综合图像处理系统和语音辅助系统三大部分。所述基础导航系统是通过获取实时GPS信号，利用手机内置的导航软件对信号进行处理得到定位数据，盲人通过语音输入目的地信息后，系统规划出行进路径。定位导航实现的原理：首先通过GPS芯片等硬件获取实时的GPS信号，然后利用导航软件对信号进行处理得到定位数据，最后将定位数据与地图进行匹配，将所在位置显示在导航电子地图中，从而可以计算所需路径实现导航的功能。本专利技术利用Android手机内置导航模块，百度地图API，百度定位API，盲道路面数据来实现基础导航模块的功能。Android手机一般自带GPS，可以用来作为接受GPS信号的硬件设备；软件方面，位置信息的获取与处理使用百度定位API，当应用程序向定位API发起定位请求时，定位API会根据应用的定位因素(GPS、基站、Wi-Fi信号)的实际情况(如是否开启GPS、是否连接网络、是否有信号等)来生成相应定位依据进行定位。在实际使用中，需要开启GPS，并处于能正常接收到GPS信号的室外场所，利用百度地图API主要是为了方便数据的显示和处理，地图的拓扑数据存储在SQLite数据库中。综合图像处理系统包括盲道路面识别模块和交通路口辨识模块，盲道路面识别模块是利用智能手机的摄像头实时采集盲道信息，通过处理实现对盲道区域的定位；交通路口辨识模块是利用智能手机获取交通路口的信息，在接近路口时通过对斑马线的定位实现路口信息的辨识。所述盲道路面识别模块包括盲道图像预处理单元、图像形态学处理单元、盲道区域粗定位单元、盲道区域精定位单元。；盲道图像预处理单元接收摄像头采集的盲道图像，获取图像的基本参数并保存，对盲道图像进行色彩空间的映射变换，提取相应的色彩分量并进行图像的灰度化和二值化处理，最后分别输出处理后的图像并保存。图像形态学处理单元对盲道图像预处理单元处理后的盲道图像进行腐蚀操作或膨胀操作或者二者的组合操作，然后分别保存相应的处理结果。盲道区域粗定位单元是在完成上述两个单元处理之后，首先对盲道进行色差盲道和无色差盲道的类型判断，若是色差盲道则直接进行图像分割操作，若是无色差盲道则先进行分析操作，然后再进行图像分割，对分割后的图像进行边缘检测；对边缘检测处理后的图像进行有无拐点的判定，若存在拐点则进行角点检测操作；对拐点判定处理之后的图像进行连续性检测，如果盲道图像不连续则说明盲道区域中存在障碍，对存在障碍的图像进行障碍检测，所有这些处理之后基本可以确定盲道的区域，实现盲道粗定位。盲道区域精定位单元是在盲道粗定位处理之后的图像进行归一化处理，然后针对白色像素依次进行行和列的扫描，确定盲道部分的左右和上下边界，同时在原始图像中标记出边界的轮廓，实现盲道精定位。经过上面四个单元的处理，可以得到盲道区域的实时信息，为视障人士在盲道上行走提供有利的指引。所述交通路口辨识模块包括交通路口辨别单元、斑马线图像预处理单元、斑马线区域粗定位单元和斑马线区域精定位单元。所述交通路口辨别单元利用智能手机的多模感知器在即将接近路口时识别路口，通过手机麦克风对路口提示音进行探测同时检测盲杖接触地面的声音，之后通过摄像头对斑马线进行拍摄，推断出相对的位置，并利用方向传感器、电子罗盘和加速度计对盲人的行进方向进行判定。斑马线图像预处理单元首先获取拍摄的斑马线图像，得到图像的基本参数，先对进行色彩空间的映射，将RGB颜色空间的图像转换成Lab颜色模式或者YUV模式，然后利用灰本文档来自技高网...

【技术保护点】
一种基于智能手机的移动导盲系统，其特征在于：包括基础导航系统、综合图像处理系统和语音辅助系统，其中，所述基础导航系统是通过获取实时GPS信号，利用手机内置的导航软件对信号进行处理得到定位数据，盲人通过语音输入目的地信息后，系统规划出行进路径；综合图像处理系统包括盲道路面识别模块和交通路口辨识模块，盲道路面识别模块是利用智能手机的摄像头实时采集盲道信息，通过处理实现对盲道区域的定位；交通路口辨识模块是利用智能手机获取交通路口的信息，在接近路口时通过对斑马线的定位实现路口信息的辨识；语音辅助系统将各系统的处理结果转换为相应的提示语音反馈给盲人，引导盲人行进。

【技术特征摘要】
1.一种基于智能手机的移动导盲系统，其特征在于：包括基础导航系统、综合图像处理系统和语音辅助系统，其中，所述基础导航系统是通过获取实时GPS信号，利用手机内置的导航软件对信号进行处理得到定位数据，盲人通过语音输入目的地信息后，系统规划出行进路径；综合图像处理系统包括盲道路面识别模块和交通路口辨识模块，盲道路面识别模块是利用智能手机的摄像头实时采集盲道信息，通过处理实现对盲道区域的定位；交通路口辨识模块是利用智能手机获取交通路口的信息，在接近路口时通过对斑马线的定位实现路口信息的辨识；语音辅助系统将各系统的处理结果转换为相应的提示语音反馈给盲人，引导盲人行进。2.根据权利要求1所述的基于智能手机的移动导盲系统，其特征在于：所述盲道路面识别模块包括盲道图像预处理单元、图像形态学处理单元、盲道区域粗定位单元、盲道区域精定位单元，盲道图像预处理单元接收摄像头采集的盲道图像，对盲道图像进行色彩空间的映射变换，提取相应的色彩分量并进行图像的灰度化和二值化处理；图像形态学处理单元对盲道图像预处理单元处理后的盲道图像进行腐蚀操作或膨胀操作或者二者的组合操作；盲道区域粗定位单元是在完成上述两个单元处理之后，首先对盲道进行色差盲道和无色差盲道的类型判断和处理，其次进行有无拐点的判定和处理，再对拐角判定处理之后的图像进行连续性检测，对存在障碍的图像进行障碍检测，实现盲道粗定位；盲道区域精定位单元是在盲道粗定位处理之后的图像进行归一化处理，然后针对白色像素依次进行行和列的扫描，确定盲道部分的左右和上下边界，同时在原始图像中标记出边界的轮廓，实现盲道精定位。3.根据权利要求1或2所述的基于智能手机的移动导盲系统，其特征在于：所述交通路口辨识模块包括交通路口辨别单元、斑马线图像预处理单元、斑马线区域粗定位单元和斑马线区域精定位单...

【专利技术属性】
技术研发人员：段书凯，张凤运，张金，林少波，王丽丹，王华敏，
申请(专利权)人：西南大学，
类型：发明
国别省市：重庆,50