一种导盲方法技术

一种导盲方法涉及电子信息领域，通过摄像头采集正前方3米左右的景像，同时送入图像转声音模块进行图像到声音的转化，首先将图像RGB空间转化到HSV空间，其次获取每个像素点的H、S、V的值。将H、S、V的值映射到声音的正弦波具体映射方式为：H值赋给正弦波的初始相位，S值赋给正弦波的幅度值，V值赋给正弦波的频率。接着将同一列的图像像素的声音进行列叠加，最后按照图像中从左到右的顺序拼接成最终的声音片段。得到声音后，通过耳机将声音送到人耳中。人耳听此声音，判断出正前方障碍物的有无情况，达到户外导盲的目的。使用了C++语言编写并实现了图像转声音算法以及设计搭建了导盲装置，实现导盲的目的。的。的。

【技术实现步骤摘要】
一种导盲方法


[0001]本专利技术涉及电子信息领域，涉及到一种新的导盲方法，将前方拍摄的景像转化成声音。涉及一种低成本的图像转声音的导盲技术，服务于盲人。

技术介绍

[0002]盲人由于先天性的疾病或者后天的意外事故，被夺去了视力。从这时开始，他们只能靠触觉和听觉去感受整个世界。对于盲人来说，成千上万种图像信息对他们来讲都是无用的，而且相对于在屋内的生活，户外出行对他们来说更是一件比较艰难的事情，在道路两旁或者过马路时还容易发生危险。所以一些科学家开始在电子辅助行走这个领域进行研究，一部分研究都是以定位为主，比如根据卫星信号能得知自己身处的地点，去一个目的地的导航等，但是这些设备无法处理一些意外情况。另一部分虽然可以处理一些意外情况，但是其设备价格昂贵，无法普及到所有盲人。众所周知，导盲犬也是服务于盲人的，但是导盲犬自身就是百里挑一，通过层层筛选才能选出，甚至还要提前预约，由于数量不多，预约早已排了长队。
[0003]盲人虽失去了看世界的能力，但是他们的耳朵相对来讲会更加敏锐，所以引发了一种思考，是否可以通过跨媒体信息转化的思想，将前方图像转化成声音，让盲人根据听声音判断正前方的情况。本专利技术提出一种新的图像转声音方法，将前方景像转化成声音，通过盲人人耳去听，判断前方有无障碍物。实验表明，该方法实现简单，有良好的应用推广价值。其次设计一种新的低成本导盲装置，实现简单，服务于低收入盲人。

技术实现思路

[0004]为了解决上述技术问题，本专利技术提供一种新的图像转声音方法，通过人耳判断前方情况，解决户外出行时前方出现障碍物会有潜在危险的问题。同时设计一种新的低成本导盲装置，服务于低收入盲人群体。所述方法如下：
[0005]一种图像转声音方法，具体流程有：
[0006]①
将图像的RGB颜色空间通过公式转化成HSV颜色空间，使图像中的颜色更加符合人的视觉特性。转化公式如下：
[0007]max＝max(R,G,B)
[0008]min＝min(R,G,B)
[0009]delta＝max
‑
min
[0010][0011][0012][0013]其中：H、S、V对应色调、饱和度和明度值。max和min分别代表R、G、B的最大值和最小值，delta作为中间量，方便计算。
[0014]②
图像到声音的转化
[0015]要使图像信息与声音信息可以一一对应，为了解决此问题，所以本方法中使用的声音信号的表达式为正弦波这里A代表幅度、f代表频率、代表初始相位。
[0016]将H、S、V三个图像特征映射到声音的正弦波的三个参数幅度、频率和初始相位中。H取值范围为0
‑
360，S取值范围为0
‑
1，V的取值范围为0
‑
1。
[0017]图像信息向声音信息进行映射，图像信息的H值映射到声音信号的正弦波的初始相位，图像信息的S值映射到声音信号的正弦波的幅度，图像信息的V值映射到声音信号的正弦波的频率。映射方法为：通过计算得到的H、S、V的值直接赋给A、f、从而确定了每种声音参数。
[0018]图像三个分量信息向声音三个参数信息进行映射，根据不同的映射方法，最终可以得到6种不同的声音，分别为：
[0019]i：H值映射到正弦波的幅度，S值映射到正弦波的频率，V值映射到正弦波的初始相位。
[0020]ii：H值映射到正弦波的幅度，S值映射到正弦波的初始相位，V值映射到正弦波的频率。
[0021]iii：H值映射到正弦波的频率，S值映射到正弦波的幅度，V值映射到正弦波的初始相位。
[0022]iv：H值映射到正弦波的频率，S值映射到正弦波的初始相位，V值映射到正弦波的幅度。
[0023]v：H值映射到正弦波的初始相位，S值映射到正弦波的频率，V值映射到正弦波的幅度。
[0024]vi：H值映射到正弦波的初始相位，S值映射到正弦波的幅度，V值映射到正弦波的频率。
[0025]映射方法为：通过计算得到的H、S、V的值直接赋给A、f、从而确定了每种声音参
数。
[0026]通过客观评价方法，确定效果最佳的映射。
[0027]6种映射方法，每个像素点得到的声音的数学表达式如下，映射顺序与
②
中相同：
[0028][0029][0030][0031][0032][0033][0034]其中：H
i,j
、S
i,j
和V
i,j
均为第j列的第i个像素通过计算得到的H、S、V值，T表示最后总的波形时间，N为原图像像素的总列数。
[0035]③
列叠加
[0036]得到每个像素点所对应的声音后，需要对相同列上的声音进行叠加。将每一列M个像素所对应的声音进行叠加操作，最终每一列均合成一个时间长度为T/N的波形Ca(t)，6种映射方法公式如下：
[0037][0038][0039][0040][0041][0042][0043]④
最终输出
[0044]最后将图像的每列得到的声音，按照在图像中从左到右的顺序，将分开的几段合成波形首尾相连，最终合成一段时间为T的声音。
[0045](1)设计了一种低成本的导盲装置，具体流程如下：
[0046]①
首先给嵌入式硬件板子通电，使嵌入式硬件板子和摄像头可以正常工作。其次图像采集模块通过摄像头对正前方3米景物，每5秒进行1次采集并将采集图像送到图像转声音模块。
[0047]②
图像转声音模块将采集图像转化为一段声音的形式输出。
[0048]③
将生成的声音片段进行播放，通过耳机传到人耳中，人耳根据听声音判断前方有无障碍物，从而达到导盲的效果。
[0049]④
若导盲装置已完成相应的工作，则将导盲装置断电从而停止工作。
[0050]本装置通过摄像头采集正前方3米左右的景物，同时送入采集图像进行图像到声音的转化，得到声音片段后，通过耳机将声音送到人耳中。人耳听此声音片段，判断出正前方障碍物的有无情况，达到户外导盲的目的。使用了C++语言编写实现了图转声算法以及设计搭建新导盲装置，实现导盲的目的。
附图说明
[0051]图1：图转声方法的流程图。
[0052]图2：导盲装置流程图。
具体实施方式
[0053](1)将用到的硬件头戴式支架、摄像头、嵌入式硬件板子、移动电源和耳机搭建成新导盲装置。
[0054](2)装备后首先给嵌入式硬件板子通电，使嵌入式硬件板子和摄像头可以正常工作。其次采集图像模块通过摄像头对正前方3米景物每5秒进行1次采集并将图像送到图像转声音模块。
[0055](3)图像转声音模块将正前方的图像转化成一段声音的形式输出。此模块具体步骤如下：
[0056]①
将图像的RGB颜色空间通过公式转化成HSV颜色空本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种导盲方法，其特征在于：
①
将图像的RGB颜色空间通过公式转化成HSV颜色空间，转化公式如下：max＝max(R,G,B)min＝min(R,G,B)delta＝max
‑
minminmin其中：H、S、V对应色调、饱和度和明度值；max和min分别代表R、G、B的最大值和最小值，delta作为中间量；
②
图像到声音的转化使用的声音信号的表达式为正弦波这里A代表幅度、f代表频率、代表初始相位；将H、S、V三个图像特征映射到声音的正弦波的三个参数：幅度、频率和初始相位中；H取值范围为0
‑
360，S取值范围为0
‑
1，V的取值范围为0
‑
1；图像三个分量信息向声音三个参数信息进行映射，根据不同的映射方法，最终得到6种不同的声音，分别为：i：H值映射到正弦波的幅度，S值映射到正弦波的频率，V值映射到正弦波的初始相位；ii：H值映射到正弦波的幅度，S值映射到正弦波的初始相位，V值映射到正弦波的频率；iii：H值映射到正弦波的频率，S值映射到正弦波的幅度，V值映射到正弦波的初始相位；iv：H值映射到正弦波的频率，S值映射到正弦波的初始相位，V值映射到正弦波的幅度；v：H值映射到正弦波的初始相位，S值映射到正弦波的频率，V值映射到正弦波的幅度；vi：H值映射到正弦波的初始相位，S值映射到正弦波的幅度，V值映射到正弦波的频率；映射方法为：通过计算得到的H、S、V的值直接赋给A、f、从而确定了每种声音参数；下面通过客观评价方法，确定上述6种映射中的最佳映射；一.客观评价模型客观评价模型用到了基于长短期记忆循环神经网络LSTM模型；二.客观评价模型的结构
LSTM模型本身就是一个结构的多个复制组成，属于循环神经网络；此模型设置为4层，每一层结构中包括两个激活函数模块，设置为tanh函数，和3个循环激活函数模块，设置为sigmoid函数，损失函数同样使用交叉熵函数，迭代器选用adam优化算法；三.客观评价数据集的选择声音数据则为
②
中的6种图转声方法对图片转化得到；选取了3种对原图像数据增强的方法，分别是对比度的增加、亮度的增加和水平翻转；图像数据增加后，再通过图转声算法转换成声音文件；对所有的声音样本进行标记；标记的方法如下：i：将这些声音依次标号后，然后进...

【专利技术属性】
技术研发人员：王波涛，刘子豪，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：