一种基于视频流的设备控制方法技术

本发明专利技术提供了设备控制技术领域的一种基于视频流的设备控制方法，包括：步骤S10、在计算机上搭建并训练开关检测模型；步骤S20、计算机获取展厅内的全景视频流，利用开关检测模型识别全景视频流中各设备的开关，将识别的各所述开关标记在全景视频流上，并记录各开关在全景视频流上的坐标范围；步骤S30、计算机将全景视频流投射到显示屏上；步骤S40、计算机通过激光雷达识别用户手指触摸显示屏的距离、角度以及手势，并通过雷达坐标转化模型将距离和角度转换为用户手指触摸的坐标；步骤S50、计算机通过比对坐标范围以及坐标判断用户欲操作的开关，并结合所述手势对开关对应的设备进行控制。本发明专利技术的优点在于：极大的提升了设备控制的灵活性以及便捷性。的灵活性以及便捷性。的灵活性以及便捷性。

【技术实现步骤摘要】
一种基于视频流的设备控制方法


[0001]本专利技术涉及设备控制
，特别指一种基于视频流的设备控制方法。

技术介绍

[0002]展厅是以业务场景为平台，利用互联网技术、数字多媒体技术、智能硬件、体感互动技术和多元化智能展示技术将企业展厅与创新理念相互融合，提升参观者的体验感和互动感。
[0003]展厅通过计算机和中央控制系统控制投影仪、展示台、屏幕、摄像头等多媒体设备来播放展示内容，控制灯光、空调、音响、话筒等背景设备来营造展厅气氛，设备构成的复杂性给中央控制系统的控制带来了一定的难度。
[0004]当需要控制展厅内的设备时，中央控制系统需要通过监控来实时查看展厅的具体情况，再上操作不同设备的开关控制面板，或者通过I PAD等触控屏对各设备对应的按钮图标进行点击，中央控制系统在接收到开关控制面板或者触控屏的触发信号后再执行对应的操作。但是存在如下缺点：由于开关控制面板和触控屏的限制，中央控制系统不能灵活根据展厅当前情况及时做出调整，也不能根据时间段来进行不同的调控，触控屏只停留在对按钮图标的点击，功能单一，操作起来不够便捷。
[0005]因此，如何提供一种基于视频流的设备控制方法，实现提升设备控制的灵活性以及便捷性，成为一个亟待解决的问题。

技术实现思路

[0006]本专利技术要解决的技术问题，在于提供一种基于视频流的设备控制方法，实现提升设备控制的灵活性以及便捷性。
[0007]本专利技术是这样实现的：一种基于视频流的设备控制方法，包括如下步骤：
[0008]步骤S10、在计算机上搭建一开关检测模型，获取大量的开关图像对所述开关检测模型进行训练；
[0009]步骤S20、计算机通过摄像头获取展厅内的全景视频流，利用所述开关检测模型识别全景视频流中各设备的开关，将识别的各所述开关标记在全景视频流上，并记录各所述开关在全景视频流上的坐标范围；
[0010]步骤S30、计算机将标记了所述开关的全景视频流投射到显示屏上；
[0011]步骤S40、计算机通过激光雷达识别用户手指触摸显示屏的距离、角度以及手势，并通过雷达坐标转化模型将所述距离和角度转换为用户手指触摸的坐标；
[0012]步骤S50、计算机通过比对所述坐标范围以及坐标判断用户欲操作的开关，并结合所述手势对开关对应的设备进行控制。
[0013]进一步地，所述步骤S10具体包括：
[0014]步骤S11、在计算机上基于ResNet 50、FPN、SPP以及SubNet创建一开关检测模型；
[0015]步骤S12、获取展厅内包含各设备的视频流，从所述视频流的每帧数据中提取开关
图像；
[0016]步骤S13、对各所述开关图像进行数据增强处理，增加样本量；
[0017]步骤S14、对图像增强处理后的各所述开关图像进行标注，并调整图像大小以及文件名得到数据集；
[0018]步骤S15、利用所述数据集对开关检测模型进行训练。
[0019]进一步地，所述步骤S13具体为：
[0020]对各所述开关图像进行旋转、平移、缩放或者边缘填充的数据增强处理，增加样本量。
[0021]进一步地，所述步骤S14具体为：
[0022]利用l abe l Img对图像增强处理后的各所述开关图像进行人工标注，将各所述开关图像的图像大小统一缩小至预设的分辨率，基于标注的内容修改各所述开关图像的文件名后得到数据集。
[0023]进一步地，所述步骤S10中，所述开关检测模型的损失函数采用smooth
‑
L1函数和Foca l函数。
[0024]进一步地，所述步骤S10中，所述开关检测模型训练前需设置至少包括训练批次、迭代次数以及学习率的模型参数。
[0025]进一步地，所述步骤S40具体为：
[0026]计算机通过激光雷达测量激光雷达与用户手指的距离s，激光雷达和用户手指连线与水平线的夹角α，结合已知的激光雷达与显示屏的距离d、显示屏的宽度W、显示屏的高度H，计算出用户手指触摸显示屏的坐标，通过激光雷达测量到用户手指点击的次数以及运动的方向识别手势。
[0027]进一步地，所述步骤S40中，所述手势至少包括单指长按单击、单指双击、单指三击、单指按住开关并向上移动、单指按住开关并向下移动、双指单击以及双指双击。
[0028]本专利技术的优点在于：
[0029]1、通过开关检测模型识别全景视频流中各设备的开关，并进行标记和记录坐标范围后，将全景视频流投射到显示屏上，计算机通过激光雷达识别用户手指触摸显示屏的距离、角度以及手势后，将距离和角度转化为用户手指的坐标，通过判断坐标在哪个坐标范围内匹配对应的开关，进而联动操作对应的设备，整个操作过程无需额外使用开关控制面板或者触控屏，通过投射全景视频流的显示屏还能直接查看展厅内的情况，计算机可根据展厅当前情况及时调整手势关联的操作，或者根据时间段区分相同手势的不同操作，最终极大的提升了设备控制的灵活性以及便捷性。
[0030]2、通过ResNet 50、FPN、SPP以及SubNet创建开关检测模型，由于ResNet 50使梯度消失的负影响大大减小；FPN将不同维度的特征整合在一起，提高信息的丰富度；SPP解决输入图像大小不一造成的缺陷，从不同的角度进行特征提取，增加识别精度；SubNet整合了分类和回归两个功能；最终极大的提升了全景视频流中开关识别的精度。
[0031]3、通过采用Foca l函数作为开关检测模型的损失函数，由于Foca l函数在原来的交叉熵函数前加上权重系数，减弱了“类别极为不平衡”产生的负面影响，进一步提升了全景视频流中开关识别的精度。
附图说明
[0032]下面参照附图结合实施例对本专利技术作进一步的说明。
[0033]图1是本专利技术一种基于视频流的设备控制方法的流程图。
[0034]图2是本专利技术一种基于视频流的设备控制方法的硬件架构图。
[0035]图3是本专利技术开关检测模型的架构图。
[0036]图4是本专利技术激光雷达坐标计算的示意图。
具体实施方式
[0037]本申请实施例中的技术方案，总体思路如下：通过开关检测模型识别展厅的全景视频流中各设备的开关，并对开关进行标记和记录坐标范围后，将全景视频流投射到显示屏上，计算机通过激光雷达识别用户手指触摸显示屏的距离、角度以及手势后，将距离和角度转化为用户手指的坐标，通过坐标范围、坐标以及手势识别用户欲操作的开关以及对应的命令，进而直接联动操作对应的设备，以提升设备控制的灵活性以及便捷性。
[0038]请参照图1至图4所示，本专利技术需使用如下硬件架构，包括一计算机、一激光雷达、至少一摄像头以及一显示屏；所述激光雷达、摄像头以及显示屏均分别与计算机连接；所述激光雷达与显示屏位于同一水平面；所述激光雷达通过USB接口与计算机连接。
[0039]本专利技术一种基于视频流的设备控制方法的较佳实施例，包括如下步骤：...

【技术保护点】

【技术特征摘要】
1.一种基于视频流的设备控制方法，其特征在于：包括如下步骤：步骤S10、在计算机上搭建一开关检测模型，获取大量的开关图像对所述开关检测模型进行训练；步骤S20、计算机通过摄像头获取展厅内的全景视频流，利用所述开关检测模型识别全景视频流中各设备的开关，将识别的各所述开关标记在全景视频流上，并记录各所述开关在全景视频流上的坐标范围；步骤S30、计算机将标记了所述开关的全景视频流投射到显示屏上；步骤S40、计算机通过激光雷达识别用户手指触摸显示屏的距离、角度以及手势，并通过雷达坐标转化模型将所述距离和角度转换为用户手指触摸的坐标；步骤S50、计算机通过比对所述坐标范围以及坐标判断用户欲操作的开关，并结合所述手势对开关对应的设备进行控制。2.如权利要求1所述的一种基于视频流的设备控制方法，其特征在于：所述步骤S10具体包括：步骤S11、在计算机上基于ResNet 0、FPN、SPP以及SubNet创建一开关检测模型；步骤S12、获取展厅内包含各设备的视频流，从所述视频流的每帧数据中提取开关图像；步骤S13、对各所述开关图像进行数据增强处理，增加样本量；步骤S14、对图像增强处理后的各所述开关图像进行标注，并调整图像大小以及文件名得到数据集；步骤S15、利用所述数据集对开关检测模型进行训练。3.如权利要求2所述的一种基于视频流的设备控制方法，其特征在于：所述步骤S13具体为：对各所述开关图像进行旋转、...

【专利技术属性】
技术研发人员：林开荣，李贵生，卢丽煌，王梓俊，徐艺文，
申请(专利权)人：福建氢启健康科技有限公司，
类型：发明
国别省市：