基于听觉的盲人辅助感知头戴式装置制造方法及图纸

一种基于听觉的盲人辅助感知头戴式装置，包括：头戴固定结构、深度相机、多声道耳机、温度传感器、处理器和卫星导航器，其中：深度相机位于头戴固定结构的上方，耳机位于头戴固定结构的两侧，温度传感器和卫星导航器位于头戴固定结构与深度相机之间，处理器位于头戴固定结构的后侧并分别与深度相机、耳机、卫星导航器和温度传感器相连。本实用新型专利技术利用声音模拟，以增强现实的方法直观帮助盲人避障。以增强现实的方法直观帮助盲人避障。以增强现实的方法直观帮助盲人避障。

【技术实现步骤摘要】
基于听觉的盲人辅助感知头戴式装置


[0001]本技术涉及的是一种导航设备领域的技术，具体是一种基于听觉的盲人辅助感知头戴式装置。

技术介绍

[0002]现有的盲人避障技术多采用语音提示的方法提醒盲人，这需要人脑进一步对文字进行加工处理，不够直观，并且用文字同时传达过多信息容易产生混淆。

技术实现思路

[0003]上本技术针对现有技术存在的述不足，提出一种基于听觉的盲人辅助感知头戴式装置，利用声音模拟，以增强现实的方法直观帮助盲人避障。
[0004]本技术是通过以下技术方案实现的：
[0005]本技术涉及一种基于听觉的盲人辅助感知头戴式装置，包括：头戴固定结构、深度相机、多声道耳机、温度传感器、处理器和卫星导航器，其中：深度相机位于头戴固定结构的上方，耳机位于头戴固定结构的两侧，温度传感器和卫星导航器位于头戴固定结构与深度相机之间，处理器位于头戴固定结构的后侧并分别与深度相机、耳机、卫星导航器和温度传感器相连。
[0006]所述的处理器包括：依次相连的图像处理器、温度采集器、语音识别器、视觉听觉转化器和声音输出器，其中：图像处理器接收深度相机采集的深度信息并从中识别出物体的种类、方位、距离和尺寸；温度采集器通过温度传感器采集物体温度信息并传输至视觉听觉转化器；语音识别器获取并识别盲人发出的指令；视觉听觉转化器将物体的种类、方位、距离和尺寸转换为对应的不同音色、频率、相位差和强度的声音信息并传输至声音输出器，声音输出器根据障碍物方位、距离和大小对应分配至不同声道并通过耳机的相应声道播放。
[0007]所述的图像处理器，采用但不限于低时延高精度的神经网络实现物体的种类、方位、距离和尺寸的识别。
[0008]所述的语音识别器，识别切换普通避障模式或导航模式的指令以及识别导航模式下的目的地指令。
[0009]所述的声音信息包括：模拟障碍物声音、高温和低温警告、道路识别和指引和生物与非生物信息识别。
[0010]所述的处理器中的传输，可以采用高级语言编程，例如：python和matlab，其中：音频的传输采用数据流非阻塞的方式。
[0011]所述的转换包括：障碍物种类识别与音色匹配、障碍物与盲人距离与声音强度匹配、障碍物大小与声源数目匹配、动态障碍物与声音变化规律匹配。
[0012]所述的分配是指：通过声音输出器生成最终输出的音频矩阵Y，该音频矩阵Y包括针对物体的矩阵Y
o
和强化边缘的矩阵Y
e
组成。，即为Y＝Y
o
+Y
e
，其中：针对物体的矩阵采用精
确到像素的方式逼近面声源发声以更充分的利用深度信息，生成的音频矩阵对于每一个物体都带有物体形状维度的立体声信息，再通过多声道耳机声道维度的立体声信息提供给用户更丰富的体验；强化边缘的矩阵通过对边缘声音信息进行强化得到。
[0013]针对物体的矩阵其中，N为声道的数量，每一个声道的音频向量M为本帧检测到的物体的数目，β(θ) 为方向角函数，衰减矩阵元素a为归一化因子，距离矩阵元素D
ijk
＝||XYZ[i，k，：]‑ꢀ
H[j，k，：]||2其中i＝1，2...N，j＝1，2，...M，k＝1,2,...K，||
·
||为矩阵的l2范数，矩阵D精确到一个像素，音频序列y的长度t
la
st、f
s
分别为音频持续时间和音频采样率，表示下取整，对于音频序列的点列延迟矩阵相对距离矩阵D
rel
＝D
‑
min(D，1)， min(D，1)为D矩阵在每行方向上的最小值，v为当前环境下的声速。
[0014]当需要产生的音频矩阵为Y∈R
L
×
N
，其中：N为声道的数量，深度相机和彩色相机返回的物体位置矩阵K为一个物体在图像中占据的最大的像素数量，即轮廓所包含的像素数目，XYZ矩阵的精度是每个物体包含的每一个像素点的坐标。建模的声道位置矩阵矩阵生成距离矩阵D∈R
N
×
M
×
K
，R为实数，由距离矩阵根据声压衰减经验公式，R为实数，由距离矩阵根据声压衰减经验公式得到由于衰减引起的衰减矩阵，其中Q为考虑点声源在室内位置的指向性因子； r为测点离开声源的距离，环境常数为室内平均吸音系数；s为室内总表面积；由于本问题中的通过声道之间的相位差提供方位信息，所以在处理相位时只关心距离之差，因此将距离矩阵D转化为相对距离矩阵，显然经过处理后得到的D
rel
每列有一个元素为0，对应于定位时的基准声道。基于相对距离矩阵，得到对于音频序列的点列延迟矩阵，由点列延迟矩阵Delay和对应的声源序列y。
[0015]所述的强化边缘，是指将物体的边缘视为线性声源，通过计算获得其声音到达两耳时的综合声场，该算法可以采用如下步骤：将检测到的边缘端点的像素坐标由相机内参矩阵映射到相机坐标，结合深度信息得到实际坐标，此即真实世界的边缘线，再由自由声场中的声压衰减公式积分得到该边缘线声源的声压函数，由此得出距离矩阵，从而生成强化边缘的矩阵Y
e
。具体可以使用霍夫变换进行边缘检测，即通过在一个参数空间中进行投票程序在特定类型的形状内找到候选对象的不完美实例，在该参数空间中，通过计算累加器空间中的局部最大值得到候选对象，该累加器空间由霍夫变换算法构建得到。
[0016]所述的霍夫变换是从黑白图像中检测直线(线段)，能容忍特征边界描述中的间隙，并且相对不受图像噪声的影响，具体为：
[0017]①
设检测到的边缘的端点的像素坐标分别为x
A
，x
B
，由相机内参矩阵其中f
x
＝f/dx，f
y
＝f/dy,f为焦距，(u0,v0)是图像坐标系原点在像素坐标系中的坐标，dx和 dy分别为每个像素在图像平面x和y方向上的物理尺寸；将像素坐标映
射为相机坐标X
A
，X
B
，乘以深度相机得到的深度Z后便可以得到真实世界中的坐标，此即为一条真实世界中的边缘线；
[0018]②
针对此边缘线，由自由声场中的声压衰减公式积分得到该边缘线声源的声压函数：其中：d为观测点距离该边缘线声源中心线的距离，θ
A
，θ
B
为观测点与A，B间的夹角，从而产生强化边缘的矩阵Y
e
。
[0019]技术效果
[0020]本技术整体解决现有技术能够测得障碍物方位但不能分辨障碍物具体种类的不足，无法测得物体大小与距离的不足，同时，现有技术只能对静态物体进行测量，无法判断动态物体的运动状态。与现有技术相比，本技术测量盲人面前障碍物的大小与距离，并且将其对应声音的频率与强度传递给盲人，让盲人能够直观地感受到障碍物的物理状态。本技术具有针对动态本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于听觉的盲人辅助感知头戴式装置，其特征在于，包括：头戴固定结构、深度相机、多声道耳机、温度传感器、处理器和卫星导航器，其中：深度相机位于头戴固定结构的上方，耳机位于头戴固定结构的两侧，温度传感器和卫星导航器位于头戴固定结构的前侧，处理器位于头戴固定结构的后侧并分别与深度相机、耳机、卫星导航器和温度传感器相连。2.根据权利要求1所述...

【专利技术属性】
技术研发人员：侯思冰，姚舜，侯彧，葛立，赵春宇，黄震宇，
申请(专利权)人：上海交通大学，
类型：新型
国别省市：