一种多模态交互智能遥控系统技术方案

本发明专利技术公开了一种多模态交互智能遥控系统，包括遥控器、无线接收机、智动脑、机器人控制器、网络摄像头、云平台、Pad、传感器和5G基站，遥控器通过RF433与无线接收机无线连接，无线接收机通过CAN总线与智动脑电连接，智动脑通过CAN总线与机器人控制器电连接，智动脑通过RS485总线与传感器电连接，智动脑通过网口线与网络摄像头电连接，智动脑通过5G基站与云平台连接。本发明专利技术多模态交互智能遥控系统，施工人员可以通过遥控器达到身临其境位于操作现场的目的，甚至还可以异地操作施工，安全性及可靠性均得到了显著提升，通过大量数据采集及记录人为操作的过程，大数据分析系统将能够提供机器开启半自动/自动的开采模式。

A multimode interactive intelligent remote control system

【技术实现步骤摘要】
一种多模态交互智能遥控系统
本专利技术涉及工程机械设备
，具体为一种多模态交互智能遥控系统。
技术介绍
工程机械是装备工业的重要组成部分。概括地说，凡土石方施工工程、路面建设与养护、流动式起重装卸作业和各种建筑工程所需的综合性机械化施工工程所必需的机械装备，称为工程机械。它主要用于国防建设工程、交通运输建设，能源工业建设和生产、矿山等原材料工业建设和生产、农林水利建设、工业与民用建筑、城市建设、环境保护等领域。目前的工程机械设备在施工时，由于生产或施工现场不能使用遥控器控制设备、手动使用遥控器来不及实时控制或多机协同控制而导致无法人工决策，使得现场生产或施工的安全性和可靠性低下，因此，急需一种多模态交互智能遥控系统来解决上述技术中所存在的缺陷。
技术实现思路
本专利技术的目的在于提供一种多模态交互智能遥控系统，施工人员可以通过遥控器达到身临其境位于操作现场的目的，甚至还可以异地操作施工，安全性及可靠性均得到了显著提升，通过大量数据采集及记录人为操作的过程，大数据分析系统将能够提供机器开启半自动/自动的开采模式，可以解决现有技术中的问题。为实现上述目的，本专利技术提供如下技术方案：一种多模态交互智能遥控系统，包括遥控器、无线接收机、智动脑、机器人控制器、网络摄像头、云平台、Pad、传感器和5G基站，所述遥控器通过RF433与无线接收机无线连接，所述无线接收机通过CAN总线与智动脑电连接，所述智动脑通过CAN总线与机器人控制器电连接，所述智动脑通过RS485总线与传感器电连接，所述智动脑通过网口线与网络摄像头电连接，所述智动脑通过5G基站与云平台连接，所述智动脑还通过Wifi与Pad无线连接。优选的，所述遥控器内置有无线发射模块，所述无线接收机内置有无线接收模块。优选的，所述遥控器的输出端与无线发射模块的输入端电连接，所述无线发射模块的输出端与无线接收模块的输入端电连接，所述无线接收模块的输出端与无线接收机的输入端电连接。优选的，所述无线接收机的输出端与智动脑的输入端电连接，所述智动脑的输出端与机器人控制器的输入端电连接。优选的，所述网络摄像头和传感器的输出端均与智动脑的输入端电连接，所述智动脑的输出端与Pad的输入端电连接。优选的，所述智动脑的输出端还与云平台的输入端电连接。与现有技术相比，本专利技术的有益效果如下：本专利技术多模态交互智能遥控系统，通过在施工机器中加入ROS系统，通过slam可以对设备现场实施感知，并传送给遥控器，遥控器可以通过视频、音频、slam导航图等多方面数据全面了解机器状况，以更好的进行远程施工操作，可有效保证施工现场人员的安全性，施工人员可以通过遥控器达到身临其境位于操作现场的目的，甚至还可以异地操作施工，安全性及可靠性均得到了显著提升，此外，通过大量数据采集及记录人为操作的过程，大数据分析系统将能够提供机器开启半自动/自动的开采模式，可以在某些重复性劳动下开启自动开采。附图说明图1为本专利技术的智动脑与云平台交互的示意图；图2为本专利技术的遥控器与机器人在隧道工作场景下的示意图；图3为本专利技术的遥控器与机器人在隧道工作场景下的模块框图；图4为本专利技术的遥控器在地面工作场景下的示意图；图5为本专利技术的遥控器在地面工作场景下的模块框图。图中：1、遥控器；11、无线发射模块；2、无线接收机；21、无线接收模块；3、智动脑；4、机器人控制器；5、网络摄像头；6、云平台；7、Pad；8、传感器；9、5G基站。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。实施例一参阅图1-2，一种多模态交互智能遥控系统，包括遥控器1、无线接收机2、智动脑3、机器人控制器4、网络摄像头5、云平台6、Pad7、传感器8和5G基站9，遥控器1通过RF433与无线接收机2无线连接，遥控器1为了能够适应某些恶劣的现场场景，采用了三防与电磁防护，可防盗、防拆、防病毒及防网络盗用，其扩展、安装及维护便捷，无线接收机2通过CAN总线与智动脑3电连接，智动脑3通过CAN总线与机器人控制器4电连接，智动脑3根据收到的指令结合传感器8实时采集的数据利用本地智能算法进行计算，并把结果发给机器人控制器4，智动脑3通过RS485总线与传感器8电连接，智动脑3通过RS485总线收集各个传感器8数据，智动脑3通过网口线与网络摄像头5电连接，智动脑3通过5G基站9与云平台6连接，在网络良好的情况下，智动脑3把本地缓存的传感器8数据上传到云平台6，同时更新本地算法包，智动脑3还通过Wifi与Pad7无线连接，Pad7通过Wifi访问智动脑3进而来获取网络摄像头5所拍摄的图像以及传感器8实时采集的数据，通过Wifi可延长遥控器1操控机器人的距离，多种方式的无线通信，有线/无线共存，RS485/CAN/BT/WIFI/LORA/4G/5G等多种通信模块兼容，可随意更换，可同时对多台设备遥控或协同管控，生产或工程机械设备通过多种网络通信协议接入云平台6，将机器自身数据及传感器8数据和音视频数据全部发给云平台6，而遥控器1通过与云平台6的通信，将设备及遥控器1进行绑定，开启实时操作及数据上传，通过在施工机器中加入ROS系统，通过slam可以对设备现场实施感知，并传送给遥控器1，遥控器1可以通过视频、音频、slam导航图等多方面数据全面了解机器状况，以更好的进行远程施工操作，通过大量数据采集及记录人为操作的过程，大数据分析系统将能够提供机器开启半自动/自动的开采模式，达到很好的效果。参阅图3，遥控器1内置有无线发射模块11，无线接收机2内置有无线接收模块21，遥控器1的输出端与无线发射模块11的输入端电连接，无线发射模块11的输出端与无线接收模块21的输入端电连接，无线接收模块21的输出端与无线接收机2的输入端电连接，无线接收机2的输出端与智动脑3的输入端电连接，智动脑3的输出端与机器人控制器4的输入端电连接，网络摄像头5和传感器8的输出端均与智动脑3的输入端电连接，智动脑3的输出端与Pad7的输入端电连接，智动脑3的输出端还与云平台6的输入端电连接，遥控器1通过无线发射模块11和无线接收模块21向无线接收机2发送指令信息，无线接收机2接收到指令信息后将其指令信息传递给智动脑3，与此同时，网络摄像头5所拍摄的图像以及传感器8实时采集的数据通过智动脑3向Pad7传递信息并在Pad7上显示，智动脑3根据收到的指令信息结合传感器8实时采集的数据利用本地智能算法进行计算，并把结果发给机器人控制器4，通过机器人控制器4控制机器人工作，通过现场的人/机/环境一体化智能感知、音视频多模态交互、智能决策和多机协同控制，增加了现场生产或施工的安全性和可靠性，通过数据记录及大数据分析，增加了多模态交互智能遥控系本文档来自技高网...

【技术保护点】
1.一种多模态交互智能遥控系统，包括遥控器(1)、无线接收机(2)、智动脑(3)、机器人控制器(4)、网络摄像头(5)、云平台(6)、Pad(7)、传感器(8)和5G基站(9)，其特征在于：所述遥控器(1)通过RF433与无线接收机(2)无线连接，所述无线接收机(2)通过CAN总线与智动脑(3)电连接，所述智动脑(3)通过CAN总线与机器人控制器(4)电连接，所述智动脑(3)通过RS485总线与传感器(8)电连接，所述智动脑(3)通过网口线与网络摄像头(5)电连接，所述智动脑(3)通过5G基站(9)与云平台(6)连接，所述智动脑(3)还通过Wifi与Pad(7)无线连接。/n

【技术特征摘要】
1.一种多模态交互智能遥控系统，包括遥控器(1)、无线接收机(2)、智动脑(3)、机器人控制器(4)、网络摄像头(5)、云平台(6)、Pad(7)、传感器(8)和5G基站(9)，其特征在于：所述遥控器(1)通过RF433与无线接收机(2)无线连接，所述无线接收机(2)通过CAN总线与智动脑(3)电连接，所述智动脑(3)通过CAN总线与机器人控制器(4)电连接，所述智动脑(3)通过RS485总线与传感器(8)电连接，所述智动脑(3)通过网口线与网络摄像头(5)电连接，所述智动脑(3)通过5G基站(9)与云平台(6)连接，所述智动脑(3)还通过Wifi与Pad(7)无线连接。


2.根据权利要求1所述的一种多模态交互智能遥控系统，其特征在于：所述遥控器(1)内置有无线发射模块(11)，所述无线接收机(2)内置有无线接收模块(21)。


3.根据权利要求1所述...

【专利技术属性】
技术研发人员：李学恩，谭建忠，姜建胜，韩亚峰，
申请(专利权)人：智动时代北京科技有限公司，
类型：发明
国别省市：北京;11