基于立体视觉和电致触觉阵列的盲人导路器制造技术

本发明专利技术涉及一种基于立体视觉和电致触觉阵列的盲人导路器，佩戴在盲人身体上，包括双目微型摄像头、微处理器、电致触觉阵列、倾角传感器，所述微处理器信号输入端连接双目微型摄像头和倾角传感器，输出端连接电致触觉阵列，所述微处理器通过同步双目摄像头实时采集左、右图像视频图像，并经过滤波、图像校正，并计算出视差图和对校正后的图像进行边缘计算，得到边缘图像；所述微处理器依据倾角传感器的数据，对选择的图像进行旋转变换，并将旋转后的图像经由扫描控制模块传送到电致触觉阵列上，使盲人用户的皮肤得到刺激，感受到图像的内容。

A blind guide based on stereo vision and electro tactile array

The invention relates to a stereo vision and electro tactile array lead the blind device based on blind wear in the body, including the binocular micro camera, microprocessor, electro tactile array, tilt sensor, the microprocessor is connected to the signal input terminal of the binocular camera and micro angle sensor, the output end is connected with the electro tactile array, the the microprocessor through the left and right images real-time video image acquisition and synchronization of binocular camera, after filtering, image correction, and calculate the disparity map and edge of image after correction calculation, get edge images; the microprocessor according to tilt sensor data, the image rotation, and the rotated image through to the electro tactile array scanning control module is transmitted, the blind user's skin irritation, feel of the image Volume.

【技术实现步骤摘要】
基于立体视觉和电致触觉阵列的盲人导路器
本专利技术涉及一种盲人导路器，尤其是一种基于计算机视觉、数字图像处理、微电子技术的盲人导路器。
技术介绍
为盲人指路导航是一件很有意义的事情。早期的电子盲人导路器、导航仪等产品，大多采用超声波测距、激光测距来等主动单线探测手段来检测障碍物，准确度比较低，视野狭小，适用范围有限。现有的基于图像处理的盲人导路方案中，主要是对道路边界的提取技术，基于对道路的边界识别，或者通过图像处理对路面状况进行判决，然后将判决结果换递给盲人，而不是把图像内容以盲人可识别的方式直接传递给盲人，让盲人自己来判别。如何将指示信息传递给盲人，多数方案中采用了声音技术、振动以及机械触觉。由于盲人主要依靠听觉感知周围环境，因此“导路器”采用听觉则会占用盲人的听觉通道，使他们难以感知周围自然环境；而振动和其它机械触觉（触觉显示）装置则耗电量较大。如中国专利公开号CN201610513329.7，公开了一种用于人体佩戴的具有红外全景深感知功能的导盲帽，该导盲帽采用立体图像采集、视差计算、并采用主动红外照明，以及微型电磁铁控制触点撞针结构。
技术实现思路
本专利技术提出一款基于立体视觉和电致触觉阵列的盲人导路器，该导路器采用低功耗的微处理器，微处理器利用同步双目摄像头实时采集视频图像对，对左右两个图像进行旋转变换（以消除摄像机旋转带来的影响）和立体校正，然后通过立体视觉算法计算出画面中各个像素的视差，形成视差图，并根据视差图的数值的分布情况作出不同处理：（1）当视差全部接近0值时，将左右原始图像进行融合，并计算融合图像中的边缘信息，形成“边缘图”，最后通过扫描控制软件模块将边缘图直接呈现在“电致触觉阵列”上，使盲人感知到图像中的边缘信息分布；（2）当视差不全部接近0值时，则通过扫描控制软件模块将视差图直接呈现在“电致触觉阵列”上，从而让盲人感知到视差图的内容分布。为实现上述目的，本专利技术的技术方案是：一种基于立体视觉和电致触觉阵列的盲人导路器，佩戴在盲人身体上，包括双目微型摄像头、微处理器、电致触觉阵列、倾角传感器，所述微处理器信号输入端连接双目微型摄像头和倾角传感器，输出端连接电致触觉阵列，所述微处理器通过同步双目摄像头实时采集左、右图像视频图像，并经过滤波、图像校正，并计算出视差图和对校正后的图像进行边缘计算，得到边缘图像；所述微处理器依据倾角传感器的数据，对选择的图像进行旋转变换，并将旋转后的图像经由扫描控制模块传送到电致触觉阵列上，使盲人用户的皮肤得到刺激，感受到图像的内容。所述微处理器包括预处理、边缘计算、视差计算、视差图分析、图像选择、图像变换、扫描控制模块；所述视差图分析模块对视差图进行分析，分析的结果用来控制图像选择，如果视差图的全部像素都接近0值，则选择原始图像，否则选择视差图。所述双目微型摄像头和微处理器部分作为一个整体持在盲人手中、或者佩戴在额头部位，所述电致触觉阵列采用电刺激的方式，制作成薄膜电路或柔性电路，贴于盲人手掌背面、或者胳膊皮肤上、或者肚皮上、或者后背皮肤上。所述薄膜电路上分布有电极，电极呈矩形阵列排布，电极与微处理器相连，微处理器通过程序产生电脉冲，依次扫描作用在电极上。所述盲人导路器的供电采用锂离子电池便携电源；并附加有声音、震动器，用于辅助提示信息。本专利技术的有益效果是：本专利技术的导路器采用低功耗的微处理器，微处理器利用同步双目摄像头实时采集视频图像对，对左右两个图像进行旋转变换（以消除摄像机旋转带来的影响）和立体校正，然后通过立体视觉算法计算出画面中各个像素的视差，形成视差图，并根据视差图的数值的分布情况作出不同处理：（1）当视差全部接近0值时，将左右原始图像进行融合，并计算融合图像中的边缘信息，形成“边缘图”，最后通过扫描控制软件模块将边缘图直接呈现在“电致触觉阵列”上，使盲人感知到图像中的边缘信息分布；（2）当视差不全部接近0值时，则通过扫描控制软件模块将视差图直接呈现在“电致触觉阵列”上，从而让盲人感知到视差图的内容分布。本专利技术与现有技术相比，仅利用自然光图像；支持两种图像模式，即深度图像触觉显示和自然图像触觉显示，可在两者之间可以自动切换；采用“电致触觉阵列”，通过电刺激直接作用于皮肤细胞以产生触觉效果，而非电磁机械装置。附图说明图1为本专利技术的基于立体视觉和电致触觉阵列的盲人导路器工作原理图。具体实施方式下面结构附图与实施例对本专利技术作进一步说明，但不限于这里列出的具体器件型号和参数。软件模块的算法也可选择其它同类作用的算法。如图1所示，一种基于立体视觉和电致触觉阵列的盲人导路器，包括双目微型摄像头、微处理器、电致触觉阵列、倾角传感器。微处理器信号输入端连接双目微型摄像头和倾角传感器，输出端连接电致触觉阵列，所述微处理器通过同步双目摄像头实时采集左、右图像视频图像，并经过滤波、图像校正，并计算出视差图和对校正后的图像进行边缘计算，得到边缘图像；所述微处理器依据倾角传感器的数据，对选择的图像进行旋转变换，并将旋转后的图像经由扫描控制模块传送到电致触觉阵列上，使盲人用户的皮肤得到刺激，感受到图像的内容。本专利技术的盲人导路器采用便携电源（例如电池）供电，整个系统可“分体式”佩带在盲人身体上的适当部位。本专利技术的组成和工作原理详细描述如下：（1）预先对双目摄像头的参数予以标定，并存储参数；（2）微处理器通过双目摄像头实时采集彩色立体图像对，做适当的预处理，并依据摄像头的标定参数对图像对进行立体校正；（3）依据视差算法，微处理器中的视差计算软件依据校正后的“立体图像对”计算出视差图；（4）对原始图像进行边缘检测，得到边缘图；（5）微处理器分析视差图的数值分布情况，分析得结果作为图像选择的控制依据；（6）如果视差图的像素值不是全部接近0，则选择视差图，否则选择边缘图；（7）根据摄像头的倾角，对选择的图像进行旋转变换，以校正摄像头在使用过程中受到被动旋转所带来的影响。（8）旋转变换后的图像经由扫描控制模块转换成电致触觉阵列的输入扫描信号，从而将视差图呈现到电致触觉阵列上，让盲人通过皮肤感知到视差图的内容。其中，电致触觉阵列采用电刺激的方式。即制作成薄膜电路（或其他材质的柔性电路），贴在盲人的皮肤上。薄膜电路上分布有一定数量的电极，它们呈矩形阵列排布，电极与微处理器相连。微处理器通过程序产生电脉冲，依次扫描作用在电极上。电致触觉阵列的作用相当于一个触觉显示器。该专利技术盲人导路器可以佩戴在盲人身体上来，摄像头和微处理器部分可以作为一个整体持在手中、或者佩戴在额头等部位，而电致触觉阵列则需要贴于手掌背面、或者胳膊皮肤上、或者肚皮上、或者后背皮肤上等部位。该盲人导路器的供电可采用锂离子电池等大容量小体积的便携电源。该盲人导路器可附加采用声音、震动等辅助提示信息。摄像头采用全局快门的摄像头，以提高图像质量。电致触觉阵列采用薄膜电路、圆形电极阵列，根据电脉冲的频率、占空比、猝发结构、电压等级等方面的控制，使得皮肤感知到应有的触觉效果。微处理器中的软件包括预处理、边缘计算、视差计算、视差图分析、图像选择、图像变换、扫描控制等模块。双摄像机同步拍摄的左、右图像送入微处理器，并经过预处理（滤波、图像校正等），然后计算出视差图；同时对校正后的图像进行边缘计算，得到边缘图像。对视差图进行分析，分析本文档来自技高网...

【技术保护点】
一种基于立体视觉和电致触觉阵列的盲人导路器，佩戴在盲人身体上，包括双目微型摄像头、微处理器、电致触觉阵列、倾角传感器，其特征在于：所述微处理器信号输入端连接双目微型摄像头和倾角传感器，输出端连接电致触觉阵列，所述微处理器通过同步双目摄像头实时采集左、右图像视频图像，并经过滤波、图像校正，并计算出视差图和对校正后的图像进行边缘计算，得到边缘图像；所述微处理器依据倾角传感器的数据，对选择的图像进行旋转变换，并将旋转后的图像经由扫描控制模块传送到电致触觉阵列上，使盲人用户的皮肤得到刺激，感受到图像的内容。

【技术特征摘要】
1.一种基于立体视觉和电致触觉阵列的盲人导路器，佩戴在盲人身体上，包括双目微型摄像头、微处理器、电致触觉阵列、倾角传感器，其特征在于：所述微处理器信号输入端连接双目微型摄像头和倾角传感器，输出端连接电致触觉阵列，所述微处理器通过同步双目摄像头实时采集左、右图像视频图像，并经过滤波、图像校正，并计算出视差图和对校正后的图像进行边缘计算，得到边缘图像；所述微处理器依据倾角传感器的数据，对选择的图像进行旋转变换，并将旋转后的图像经由扫描控制模块传送到电致触觉阵列上，使盲人用户的皮肤得到刺激，感受到图像的内容。2.根据权利要求1所述的基于立体视觉和电致触觉阵列的盲人导路器，其特征在于：所述微处理器包括预处理、边缘计算、视差计算、视差图分析、图像选择、图像变换、扫描控制模块；所述视差图分析模块对视差图进行分析，分析的...

【专利技术属性】
技术研发人员：贾振堂，
申请(专利权)人：上海电力学院，
类型：发明
国别省市：上海,31