基于三维重建的盲人辅助系统技术方案

本发明专利技术提供一种基于三维重建的盲人辅助系统，该系统包括双目摄像头、云端服务器和触摸盒；所述双目摄像头与所述云端服务器信号连接，所述云端服务器和所述触摸盒信号连接；所述双目摄像头用于拍摄双目图像，并将所述双目图像上传到所述云端服务器；所述云端服务器用于根据所述双目图像进行三维重建，获取所述双目图像对应的三维点云，并将所述三维点云发送给所述触摸盒；所述触摸盒用于通过触点阵列模拟所述三维点云的表面起伏。本发明专利技术有效提高用户的感知范围，提前了解道路状况，能有效避开不平整地形和障碍物。不平整地形和障碍物。不平整地形和障碍物。

【技术实现步骤摘要】
基于三维重建的盲人辅助系统


[0001]本专利技术涉及盲人辅助
，尤其涉及一种基于三维重建的盲人辅助系统。

技术介绍

[0002]出行活动在盲人的生活中是一项异常严峻的挑战。由于道路交通情况十分复杂，而且没有针对盲人出行的交通系统。因此若无人陪同，盲人的出行十分危险。
[0003]目前的盲人辅助装置可以对视频拍摄的图像使用深度学习目标识别的检测方法。在检测到面前存在障碍物或者不平整地形时，通过语音予以通知前面存在障碍物或不平整地形。
[0004]由于用户对障碍物或不平整地形的位置、大小和形状等信息并不了解。只能通过不断试错继续前行，无法有效避开障碍物或不平整地形，导致行走效率低，而且存在危险。

技术实现思路

[0005]本专利技术提供一种基于三维重建的盲人辅助系统，用以解决现有技术中盲人辅助装置不能辅助用户获取障碍物或不平整地形的详细信息缺陷，实现辅助用户获取障碍物或地形的有效信息，便于避开障碍物或不平整地形。
[0006]本专利技术提供一种基于三维重建的盲人辅助系统，包括双目摄像头、云端服务器和触摸盒；
[0007]所述双目摄像头与所述云端服务器信号连接，所述云端服务器和所述触摸盒信号连接；
[0008]所述双目摄像头用于拍摄双目图像，并将所述双目图像上传到所述云端服务器；
[0009]所述云端服务器用于根据所述双目图像进行三维重建，获取所述双目图像对应的三维点云，并将所述三维点云发送给所述触摸盒；
[0010]所述触摸盒用于通过触点阵列模拟所述三维点云的表面起伏。
[0011]根据本专利技术提供的一种基于三维重建的盲人辅助系统，所述云端服务器用于：
[0012]将所述双目图像中的每目图像划分成多个子图像，并提取每个子图像的角点；其中，每目图像划分的子图像的数量相同；
[0013]从每个子图像中提取每个子图像中各角点的特征向量；
[0014]计算所述双目图像的子图像之间角点的特征向量的相似度，将所述特征向量的相似度大于预设阈值的角点作为相匹配的角点；
[0015]根据所述双目摄像头的双目间距，计算每个所述相匹配的角点位于以所述双目摄像头的双目中点为原点的三维坐标系中的三维坐标；
[0016]根据所述相匹配的角点的三维坐标进行插值处理，获取所述双目图像对应的三维点云。
[0017]根据本专利技术提供的一种基于三维重建的盲人辅助系统，所述云端服务器用于：
[0018]对于每个子图像中各角点周围的多个像素点中的每个像素点，生成每个像素点与
每个像素点的相邻像素点之间的梯度方向；
[0019]将每个角点对应的所有梯度方向作为每个角点的特征向量。
[0020]根据本专利技术提供的一种基于三维重建的盲人辅助系统，还包括陀螺仪，用于获取所述双目摄像头的俯仰角度，并将所述俯仰角度上传到所述云端服务器；
[0021]所述云端服务器用于根据所述俯仰角度确定所述三维点云的旋转矩阵，根据所述旋转矩阵对所述三维点云进行坐标转换，获取新的三维点云，将所述新的三维点云发送给所述触摸盒。
[0022]根据本专利技术提供的一种基于三维重建的盲人辅助系统，所述云端服务器通过以下公式将所述旋转矩阵乘以所述三维点云的三维坐标，获取新的三维点云：
[0023][0024]其中，(x,y,z)为所述三维点云中任一点的三维坐标，θ为所述俯仰角度，(x',y',z')为任一点的坐标转换结果。
[0025]根据本专利技术提供的一种基于三维重建的盲人辅助系统，所述触摸盒包括触点阵列、多个空心杯电机和控制驱动电路；
[0026]所述触点阵列中触点和所述空心杯电机电连接，且一一对应；
[0027]所述控制驱动电路与所述空心杯电机电连接；
[0028]所述控制驱动电路用于根据所述三维点云计算所述触点阵列中每个触点的伸缩长度，根据每个触点的伸缩长度计算驱动每个触点的空心杯电机的转动圈数，根据每个空心杯电机的转动圈数控制每个空心杯电机转动，以带动每个触点进行伸缩。
[0029]根据本专利技术提供的一种基于三维重建的盲人辅助系统，所述触点为丝杆，所述丝杆在所述空心杯电机的带动下以旋转方式进行伸缩。
[0030]根据本专利技术提供的一种基于三维重建的盲人辅助系统，所述云端服务器用于：基于深度学习网络模型对所述双目图像进行实例分割，获取所述双目图像中的目标和每个目标的类别；
[0031]将每个目标的类别作为属于每个目标的所述相匹配的角点之间的三维点云的类别；
[0032]所述触摸盒还用于：在获取到所述触点阵列中的触点被按压的情况下，获取并播放按压的所述触点对应的三维点云的类别。
[0033]根据本专利技术提供的一种基于三维重建的盲人辅助系统，所述触摸盒还用于：将类别为斑马线的三维点云对应的触点设置为振动状态。
[0034]根据本专利技术提供的一种基于三维重建的盲人辅助系统，所述触摸盒还包括距离调节旋钮；
[0035]所述距离调节旋钮用于调节通过所述触点阵列模拟的三维点云的距离范围。
[0036]本专利技术提供的基于三维重建的盲人辅助系统，通过双目摄像头拍摄的双目图像进行三维重建，根据重建的三维点云控制触点阵列来模拟道路表面起伏，用户通过触摸触点阵列即可感受到前方道路的地形和障碍物，从而提前了解前方道路中不平整地形和障碍物
的形状、大小和位置等，有效提高用户的感知范围，不必真正走到障碍物前才能感知到，从而有效避开不平整地形和障碍物，如台阶、凸起、坑洼和凹陷等。
附图说明
[0037]为了更清楚地说明本专利技术或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0038]图1是本专利技术提供的基于三维重建的盲人辅助系统的结构示意图之一；
[0039]图2是本专利技术提供的基于三维重建的盲人辅助系统中触摸盒的结构示意图；
[0040]图3是本专利技术提供的基于三维重建的盲人辅助系统中云端服务器的图像识别和目标距离获取的流程示意图；
[0041]图4是本专利技术提供的基于三维重建的盲人辅助系统的结构示意图之二。
具体实施方式
[0042]为使本专利技术的目的、技术方案和优点更加清楚，下面将结合本专利技术中的附图，对本专利技术中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0043]下面结合图1描述本专利技术的一种基于三维重建的盲人辅助系统，包括双目摄像头、云端服务器和触摸盒；所述双目摄像头与所述云端服务器信号连接，所述云端服务器和所述触摸盒信号连接；
[0044]可选地，由于5G网络具有低延迟、大带宽和本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于三维重建的盲人辅助系统，其特征在于，包括双目摄像头、云端服务器和触摸盒；所述双目摄像头与所述云端服务器信号连接，所述云端服务器和所述触摸盒信号连接；所述双目摄像头用于拍摄双目图像，并将所述双目图像上传到所述云端服务器；所述云端服务器用于根据所述双目图像进行三维重建，获取所述双目图像对应的三维点云，并将所述三维点云发送给所述触摸盒；所述触摸盒用于通过触点阵列模拟所述三维点云的表面起伏。2.根据权利要求1所述的基于三维重建的盲人辅助系统，其特征在于，所述云端服务器用于：将所述双目图像中的每目图像划分成多个子图像，并提取每个子图像的角点；其中，每目图像划分的子图像的数量相同；从每个子图像中提取每个子图像中各角点的特征向量；计算所述双目图像的子图像之间角点的特征向量的相似度，将所述特征向量的相似度大于预设阈值的角点作为相匹配的角点；根据所述双目摄像头的双目间距，计算每个所述相匹配的角点位于以所述双目摄像头的双目中点为原点的三维坐标系中的三维坐标；根据所述相匹配的角点的三维坐标进行插值处理，获取所述双目图像对应的三维点云。3.根据权利要求2所述的基于三维重建的盲人辅助系统，其特征在于，所述云端服务器用于：对于每个子图像中各角点周围的多个像素点中的每个像素点，生成每个像素点与每个像素点的相邻像素点之间的梯度方向；将每个角点对应的所有梯度方向作为每个角点的特征向量。4.根据权利要求2所述的基于三维重建的盲人辅助系统，其特征在于，还包括陀螺仪，用于获取所述双目摄像头的俯仰角度，并将所述俯仰角度上传到所述云端服务器；所述云端服务器用于根据所述俯仰角度确定所述三维点云的旋转矩阵，根据所述旋转矩阵对所述三维点云进行坐标转换，获取新的三维点云，将所述新的三维点云发送给所述触摸盒。5.根据权利要求4所述的基于三维重建的...

【专利技术属性】
技术研发人员：丁良奎，
申请(专利权)人：中移系统集成有限公司中国移动通信集团有限公司，
类型：发明
国别省市：