一种面向服务机器人的人机交互系统技术方案

本发明专利技术公开了一种面向服务机器人人机交互系统。该系统能够安装于通用的移动平台，包括但并不限于如平板电脑等智能终端。其特征是将家庭服务机器人系统划分为“执行与感知层-信息中心层-应用资源层”三层云架构，并通过定义每个设备的“消息文件”、“话题类型”来将每个设备封装为服务供应商，并在信息中心层维护设备列表、话题队列、消息队列等资源列表，从而将机器人等设备作为云服务提供给用户。同时又可利用云端资源如语音云、图像云来实现语音识别等多种高友好度的人机交互方式。该系统还可提供给用户由真实数据驱动的三维可视化仿真环境，既允许用户进行仿真演示，也可连接真实系统对机器人和其他设备进行控制。

【技术实现步骤摘要】
一种面向服务机器人的人机交互系统
本专利技术涉及一种面向服务机器人人机交互系统。尤其是在家庭服务领域应用的人 机交互系统
技术介绍
工业机器人技术已经日趋成熟并已大量应用到了制造业。随着机器人技术的发 展，家庭服务机器人正在进入高速发展的起步期。在机器人进入家庭的进程中，如何改 善工业机器人那种单一的机器臂、冰冷的金属材质带给人心理上的不适应性是机器人走进 家庭的过程中必须解决的问题。除了从外形设计和性能改善两方面改善机器人给人的印象 夕卜，良好的人机交互系统也是家服机器人得到推广和应用的重要条件。 传统的人机交互设备都是通过按钮、开关等识别用户意图，人机交互不够友好，而 如果要开发如语音识别、基于图像等的手势识别等高友好度的人机交互方式，开发者需要 维护庞大的语音库、图像库，并进行识别算法等的开发工作，人机交互设备的软硬件成本和 时间周期都将大大提高。同时，由于这些人机交互设备是都是针对特定机器人--如PUMA、 新松机器人--专门设计，因此，一旦人机交互设备制作完成，就只能执行特定种类的人机 交互任务，当需要扩展新的功能时往往需要重新设计人机交互设备，扩展性差。最后，由于 传统的人机交互设备都是针对特定机器人设计，不同种类机器人往往需要不同的人机交互 设备，通用性差。 而基于Android、iOS平台的通用移动设备为构建通用便携、高友好度的机器人 人机交互系统提供了一个有效手段。首先，智能移动终端内置了各种光照、温度等各种 传感器，为开发者提供了多种多样的人机交互接口。同时，智能移动终端的图形界面与 Multi-Touch触屏等交互技术可实现灵活便捷、自然高效的机器人多模态人机交互。另一方 面，智能移动终端通用便捷，携带方便，可方便地接入无线网络，完成与机器人本体的交互 并从服务器端及传感器端下载信息。
技术实现思路
有鉴于此，本专利技术的目的是解决现有人机交互设备的软硬件成本高，通用性差等 问题，开发出一套能够安装在通用平台上的，具备良好通用性和扩展性，人机交互手段友好 度高的基于Android平台的面向服务机器人的人机交互系统。 本专利技术提供的面向服务机器人的人机交互系统，是基于云架构进行设计的，该系 统能够安装于通用的移动平台和智能终端（包括但不限于如平板电脑、手机等智能终端）。 如图1所示，该系统一方面将家庭中传感器、机器人、智能终端等设备封装为服务的提供 者和请求者，将机器人自身资源配置为云服务提供给用户。另一方面又能够基于云架构来 获取云端资源，利用语音云、图像云等云端资源方便地实现如语音识别、手势识别等高友好 度的人机交互方式。 上述所述的云架构是基于RaaS(Robot as a Service)思想，将家庭服务机器人系 统划分为执行与感知层-信息中心层-应用资源层的三层云架构，一方面能将自身资源 配置成云服务供用户调用，另一方面也能利用云端资源为机器人服务。其中，执行与感知 层通过为传感器、机器人等设备设计其消息文件，由该消息文件定义该设备提供的服 务的数据结构。同时，定义该设备的话题类型，定义该设备所能提供的服务的类型、服务 ID、对应的消息文件等并在信息中心层注册，从而将家服系统中的传感器或机器人等设备 封装为统一的服务接口，作为云服务提供给用户。信息中心层向下管理执行与感知层 的设备和服务资源，为其提供云存储与云计算支持。向上为应用资源层提供服务接口， 提供机器人和其他设备的各项服务，包括但并不限于如资源管理与调度、存储、计算等功能 服务。在信息中心层维护着执行与感知层所能提供的设备队列、话题队列、消 息队列等多张资源链表，管理家庭中的设备和服务等资源。人机交互设备的终端位于应 用资源层，如图2所示，应用资源层主要具有三个功能：一是向信息中心层发起服务 请求调用服务。用户通过该层接入家服系统，享受执行与感知层提供的各项云服务。服 务的请求者可以是处于家庭中的智能终端，也可以是远程浏览器终端用户等。二是构建云 端社区，形成资源共享平台。如在家庭A中的机器人设计了自动巡航的服务，而原先未开发 该功能的家庭B的机器人可通过云端社区获得该项能力。三是获取大云端如语音云、图像 云等资源，为机器人服务，能够利用云端资源来实现多种高友好度的人机交互方式。包括但 不限于如利用语音云进行语音识别、利用图像云进行物体识别及人脸识别等。家服系统不 仅可以将自身功能配置为云服务供云端用户使用，更可以利用云端丰富资源，扩展机器人 能力，为机器人服务。 在上述所示的三层云架构的支持下，该系统提供给用户由真实数据驱动的三维仿 真环境。该三维仿真环境的建模采用分层思想，如图3所示，首先由OpenGL ES绘制出基本 形状类包，可绘制包括圆、求、矩形、立方体、圆锥等基本形状。在该类包的支持绘制第二层， 即家庭环境和机器人模型的基本构成要素，如桌子、角柱、装饰体、机器人关节、转动轴等。 接下来绘制第三层，由第二层的类包支持，可绘制家庭环境和机器人的基本组成单元，如里 墙、外墙、地板、天花板、机器人本体、机器人左右手臂、机器人头部等，最后由第四层完成家 庭环境和机器人模型的搭建，其最终显示效果如图4所示。 在上述所示的三维仿真环境，机器人位姿、手臂各关节值、摄像头位置等信息由上 述所示的三层云架构的信息中心层提供。在信息中心层的真实数据驱动下，既允许 用户对虚拟机器人和其他设备进行仿真演示，也可实际连接系统对机器人和其他设备进行 实际控制。包括但并不限于如机器人手臂、移动底盘、家中摄像头等设备。同时，该系统既 提供给用户导航盘式的控制，又允许用户直接输入对机器人各关节值、云台相机PTZ值、机 器人位姿等设定值，同时可根据需要选择显示或隐藏该功能。 在上述的三维仿真环境下，本专利技术还提供一种由屏幕坐标系到三维世界坐标系转 化的算法。其特征是建立固结于智能终端的屏幕坐标系，通过摄像机的位置和投影矩阵求 解该坐标系在世界坐标系中的变换矩阵。从而根据用户点击位置在屏幕坐标系中的值反解 出该点在世界坐标中的位置。进而由视点坐标和该点坐标可得一条射线方程。通过求解该 射线与三维环境中物体的交点而确定用户点击的位置或坐标。 根据上述所声明的坐标转化算法，可通过求解用户点击屏幕位置与视点形成的射 线方程与三维世界坐标系物体的交点，从而提供一种用户体验度很高的触控点击的交互方 式，允许用户直接控制家中设备。如，通过求取该射线与地板的交点，确定用户点击的位置 坐标，从而允许用户通过触控点击的方式对移动机器人设定巡视路径，并以直线及如图4 中圆锥与圆球的组合体形状实时表示出巡视路线和中间路径点，允许用户对路径点进行增 力口、删除、更改坐标值等动态管理。 本专利技术的优点和有益效果： 第一，本专利技术中采用三层云架构体系，将家庭中的设备封装为服务的提供者和请 求者，从而屏蔽掉了设备底层的差异，使得不同的设备可由统一的方式进行调用，从而提高 了人机交互系统的通用性。 第二，由于本专利技术的人机交互系统能够安装在通用的智能移动终端，不需要专门 针对某一类型机器人设计硬件，从而降低了人机交互设备的开发成本和开发周期。 第三，当家庭添加新的设备或机器人增加新的功能时，本文档来自技高网...

【技术保护点】
一种面向服务机器人的人机交互系统，该系统能够安装于通用的移动平台和智能终端，其特征在于该系统，基于RaaS(Robot as a Service)思想，将家庭服务机器人系统划分为“执行与感知层‐信息中心层‐应用资源层”三层云架构，一方面能将自身资源配置成云服务供用户调用，另一方面也能利用云端资源为机器人服务。

【技术特征摘要】
1. 一种面向服务机器人的人机交互系统，该系统能够安装于通用的移动平台和智能终 端，其特征在于该系统，基于RaaS(Robot as a Service)思想，将家庭服务机器人系统划分 为执行与感知层-信息中心层-应用资源层三层云架构，一方面能将自身资源配置成云 服务供用户调用，另一方面也能利用云端资源为机器人服务。2. 根据权利要求1所述的面向服务机器人的人机交互系统，其特征在于所述的云架构 体系中的执行与感知层，为传感器或机器人设备设计消息文件，该消息文件定义了 该设备提供的服务的数据结构，同时，定义该设备的话题类型，定义该设备所能提供的服 务的类型、服务ID、对应的消息文件并在信息中心层注册，将传感器或机器人设备作为云服 务提供给用户。3. 根据权利要求1所述的面向服务机器人的人机交互系统，其特征在于所述的云架构 体系中的信息中心层，用于维护执行与感知层所能提供的设备队列、话题队列、 消息队列多张资源链表，管理家庭中的设备和服务资源。4. 根据权利要求1所述的面向服务机器人的人机交互系统，其特征在于所述的云架构 体系中的应用资源层，一方面能够通过向信息中心层发起服务请求调用服务，另一方 面，构建云端社区，形成资源共享平台，以及能够利用云端资源来实现多种高友好度的人机 交互方式。5. 根据权利要求1所述的面向服务机器人的人机交互系统，其特征在于所述的云架构 体系在信息中心层的真实数据驱动下，该系统能够提供给用户由真实数据驱动的三维仿 真环境，...

【专利技术属性】
技术研发人员：刘景泰，李高峰，郝洁，英鑫，王鸿鹏，
申请(专利权)人：南开大学，
类型：发明
国别省市：天津;12