交互式导盲方法、系统及设备技术方案

本发明专利技术提供了一种交互式导盲方法、系统及设备，所述方法包括以下步骤：设置用户的出发地与目的地，生成第一导航路线；扫描并识别所述用户所处环境的场景信息，生成VR三维场景；根据所述第一导航路线以及VR三维场景，实时生成第一导航信息，并语音提示所述用户所述第一导航信息；实时计算所述用户的当前行进路线与所述第一导航路线的偏移量，在所述偏移量大于阈值时，提示所述用户矫正行进方向。本发明专利技术实现VR三维场景下的实时导盲，提高用户的导盲体验。同时，通过获取识别的用户的语音信息以及所述环境的场景信息，根据用户的需求，实现取用目标物品、内置用户辅助导航、辅助功能服务等增值功能，提高用户的服务体验。

Interactive Blind Guide Method, System and Equipment

【技术实现步骤摘要】
交互式导盲方法、系统及设备
本专利技术涉及导盲
，更具体地说，涉及一种交互式导盲方法、系统及设备。
技术介绍
现有的盲人导航仪主要有测距、保护盲人行程安全和GPS导航等功能，但还需要依靠导盲犬、拐杖等辅助工具来进行导航，且盲人导航仪的导航地图为二维图像，获取的数据并不全面，无法真实有效的对盲人进行导航，功能比较单一，无法达到实时快速的反馈，真正成为盲人的眼。随着人工智能技术AI3D传感技术、VR技术、AI场景物体识别技术、GPS导航技术、语音识别技术、云计算技术、大数据技术等的不断发展，应用领域越来越广泛，但尚未应用到导盲产品中，可采用上述技术同步协作处理导盲场景，在虚拟世界中全方位立体的展现用户所处的现实世界，丰富盲人导航仪的功能，满足用户的需求。
技术实现思路
本专利技术要解决的技术问题在于，针对上述导盲技术方案存在的不足，提出一种交互式导盲方法、系统及设备。本专利技术实施例解决上述技术问题的技术方案是，提供一种交互式导盲方法，所述方法包括以下步骤：设置用户的出发地与目的地，生成第一导航路线；扫描并识别所述用户所处环境的场景信息，生成VR三维场景；根据所述第一导航路线以及VR三维场景，实时生成第一导航信息，并语音提示所述用户所述第一导航信息；实时计算所述用户的当前行进路线与所述第一导航路线的偏移量，在所述偏移量大于阈值时，提示所述用户矫正行进方向。在上述交互式导盲方法中，所述扫描并识别所述用户所处环境的场景信息，生成VR三维场景包括：将用户所处环境的场景信息上传至云端服务器，所述场景信息包括物品信息；在所述VR三维场景中标记所述物品信息，并获取所述VR三维场景中用户的当前位置；获取并识别用户取用目标物品的语音信息，生成所述用户的当前位置到目标物品的第二导航路线及第二导航信息，并语音提示所述用户所述第二导航信息。在上述交互式导盲方法中，所述根据所述第一导航路线以及VR三维场景，实时生成第一导航信息，并语音提示所述用户所述第一导航信息包括：添加或删除内置用户，并设置所述内置用户的权限；获取所述云端服务器中所述场景信息，根据所述内置用户的权限，查看用户所处环境，远程实时监控用户的当前行进路线；所述内置用户根据用户所处环境以及第一导航路线，实时发送辅助导航信息至用户。在上述交互式导盲方法中，所述实时计算所述用户的当前行进路线与所述第一导航路线的偏移量，在所述偏移量大于阈值时，提示所述用户矫正行进方向包括：设置所述用户的当前行进路线与所述第一导航路线的偏移量的阈值；以激光射线为基准指针，获取当前位置的方向角度数据，实时测量所述用户的当前位置与目的地的距离，计算所述用户的当前行进路线与所述第一导航路线的偏移量；在所述偏移量大于阈值时，通过语音提示或/和通过设置在所述用户身上的VR感应器振动提示所述用户矫正行进方向。在上述交互式导盲方法中，所述交互式导盲方法还包括：添加并定制辅助功能对应的应用程序或小程序；获取并识别用户需求的辅助功能的语音信息以及用户所处环境的场景信息，并保存至云端服务器；所述云端服务器启动所述辅助功能对应的应用程序或小程序，按用户的需求匹配相应服务并实时以语音反馈服务信息到用户。本专利技术实施例还提供了一种交互式导盲系统，包括GPS导航定位模块、头戴设备、导盲模块、VR感应器、物体识别模块，其中：所述GPS导航定位模块，用于设置用户的出发地与目的地，生成第一导航路线；所述头戴设备，用于扫描所述用户所处环境的场景信息；所述物体识别模块，用于识别所述用户所处环境的场景信息并生成VR三维场景；所述导盲模块，用于根据所述第一导航路线以及VR三维场景，实时生成第一导航信息，并语音提示所述用户所述第一导航信息；并通过所述VR感应器获得所述用户当前位置信息，实时计算所述用户的当前行进路线与所述第一导航路线的偏移量，在所述偏移量大于阈值时，提示所述用户矫正行进方向。在上述交互式导盲系统中，所述交互式导盲系统还包括云端服务器、通信模块以及语音识别模块，其中：所述通信模块，用于将用户所处环境的场景信息上传至云端服务器，所述场景信息包括物品信息；所述导盲模块，用于在所述VR三维场景中标记所述物品信息，并获取所述VR三维场景中用户的当前位置；所述语音识别模块，用于获取并识别用户取用目标物品的语音信息，所述导盲模块根据用户取用目标物品的语音信息生成所述用户的当前位置到目标物品的第二导航路线及第二导航信息，并语音提示所述用户所述第二导航信息。在上述交互式导盲系统中，所述头戴设备，用于添加或删除内置用户，并设置所述内置用户的权限；所述通信模块，用于获取所述云端服务器中所述场景信息，根据所述内置用户的权限，查看用户所处环境，远程实时监控用户的当前行进路线；所述内置用户根据用户所处环境以及第一导航路线，实时发送辅助导航信息至用户。在上述交互式导盲系统中，所述交互式导盲系统还包括辅助功能模块，其中：所述头戴设备，用于以激光射线为基准指针，获取当前位置的方向角度数据，实时测量所述用户的当前位置与目的地的距离，计算所述用户的当前行进路线与所述第一导航路线的偏移量；所述导盲模块，用于设置所述用户的当前行进路线与所述第一导航路线的偏移量的阈值；在所述偏移量大于阈值时，通过语音提示或/和通过设置在所述用户身上的VR感应器振动提示所述用户矫正行进方向；所述辅助功能模块，用于添加并定制辅助功能对应的应用程序或小程序；通过所述语音识别模块获取并识别用户需求的辅助功能的语音信息，并获取用户所处环境的场景信息，通过所述通信模块保存至云端服务器；通过所述云端服务器启动所述辅助功能对应的应用程序或小程序，按用户的需求匹配相应服务并实时以语音反馈服务信息到用户。本专利技术实施例还提供了一种交互式导盲设备，包括存储器和处理器，且所述存储器中存储有可在所述处理器运行的计算机程序，所述处理器执行所述计算机程序实现上述任一项所述交互式导盲方法的步骤。本专利技术实施例的交互式导盲方法、系统和设备，通过头戴设备获取用户所述环境的场景信息，并识别和生成VR三维场景，结合导航路线实时生成导航信息并语音提示用户导航信息，实现VR三维场景下的实时导盲，提高用户的导盲体验。同时，通过获取识别的用户的语音信息以及所述环境的场景信息，根据用户的需求，实现取用目标物品、内置用户辅助导航、辅助功能服务等增值功能，提高用户的服务体验。附图说明图1是本专利技术实施例交互式导盲方法的流程示意图；图2是本专利技术实施例交互式导盲系统的功能模块示意图；图3是本专利技术实施例交互式导盲设备的示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。需要说明的是，本专利技术的说明书和权利要求书及上述附图中使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。如图1所示，为本专利技术实施例交互式导盲方法的流程示意图。该交互式导盲方法包括以下步骤：S1、设置用户的出发地与目的地，生成第一导航路线。在步骤S1中，用户可通过语音提问的方式口述或者手机设置出发地与目的地，根据设本文档来自技高网...

【技术保护点】
1.一种交互式导盲方法，其特征在于，所述方法包括以下步骤：设置用户的出发地与目的地，生成第一导航路线；扫描并识别所述用户所处环境的场景信息，生成VR三维场景；根据所述第一导航路线以及VR三维场景，实时生成第一导航信息，并语音提示所述用户所述第一导航信息；实时计算所述用户的当前行进路线与所述第一导航路线的偏移量，在所述偏移量大于阈值时，提示所述用户矫正行进方向。

【技术特征摘要】
1.一种交互式导盲方法，其特征在于，所述方法包括以下步骤：设置用户的出发地与目的地，生成第一导航路线；扫描并识别所述用户所处环境的场景信息，生成VR三维场景；根据所述第一导航路线以及VR三维场景，实时生成第一导航信息，并语音提示所述用户所述第一导航信息；实时计算所述用户的当前行进路线与所述第一导航路线的偏移量，在所述偏移量大于阈值时，提示所述用户矫正行进方向。2.根据权利要求1所述的交互式导盲方法，其特征在于，所述扫描并识别所述用户所处环境的场景信息，生成VR三维场景包括：将用户所处环境的场景信息上传至云端服务器，所述场景信息包括物品信息；在所述VR三维场景中标记所述物品信息，并获取所述VR三维场景中用户的当前位置；获取并识别用户取用目标物品的语音信息，生成所述用户的当前位置到目标物品的第二导航路线及第二导航信息，并语音提示所述用户所述第二导航信息。3.根据权利要求2所述的交互式导盲方法，其特征在于，所述根据所述第一导航路线以及VR三维场景，实时生成第一导航信息，并语音提示所述用户所述第一导航信息包括：添加或删除内置用户，并设置所述内置用户的权限；获取所述云端服务器中所述场景信息，根据所述内置用户的权限，查看用户所处环境，远程实时监控用户的当前行进路线；所述内置用户根据用户所处环境以及第一导航路线，实时发送辅助导航信息至用户。4.根据权利要求3所述的交互式导盲方法，其特征在于，所述实时计算所述用户的当前行进路线与所述第一导航路线的偏移量，在所述偏移量大于阈值时，提示所述用户矫正行进方向包括：设置所述用户的当前行进路线与所述第一导航路线的偏移量的阈值；以激光射线为基准指针，获取当前位置的方向角度数据，实时测量所述用户的当前位置与目的地的距离，计算所述用户的当前行进路线与所述第一导航路线的偏移量；在所述偏移量大于阈值时，通过语音提示或/和通过设置在所述用户身上的VR感应器振动提示所述用户矫正行进方向。5.根据权利要求1所述的交互式导盲方法，其特征在于，所述交互式导盲方法还包括：添加并定制辅助功能对应的应用程序或小程序；获取并识别用户需求的辅助功能的语音信息以及用户所处环境的场景信息，并保存至云端服务器；所述云端服务器启动所述辅助功能对应的应用程序或小程序，按用户的需求匹配相应服务并实时以语音反馈服务信息到用户。6.一种交互式导盲系统，其特征在于，包括GPS导航定位模块、头戴设备、导盲模块、VR感应器、物体识别模块，其中：所述GPS导航定位模块，用于设置用户的出发地与目的地，生成第一导航路线；所述头戴设...

【专利技术属性】
技术研发人员：方许昌，
申请(专利权)人：深圳市御嘉鑫五金制品有限公司，
类型：发明
国别省市：广东,44