基于多层卷积神经网络的检测设备放置在显示屏上的方法技术

本发明专利技术涉及一种基于多层卷积神经网络的检测设备放置在显示屏上的方法，包括：将带有图像采集装置的智能设备放置在点亮状态的显示屏上，且图像采集装置面向显示屏；构建基于多层卷积神经网络的检测模型，并加载权重参数集；通过朝向显示屏方向的图像采集装置采集图像，将图像输入到基于多层卷积神经网络的检测模型进行推理，给出图像的分类信息以及概率值；对于给出的分类信息及概率值，如果图像属于放置在显示屏上的类别概率值最高或者超过设定阈值，则认为智能设备放置在显示屏上。与现有技术相比，本发明专利技术具有误识别率低、检测精度高、检测速度快等优点。

【技术实现步骤摘要】
基于多层卷积神经网络的检测设备放置在显示屏上的方法
本专利技术涉及一种多屏互动技术，尤其是涉及一种基于多层卷积神经网络的检测设备放置在显示屏上的方法。
技术介绍
多屏互动是指通过无线网络连接，在不同的多媒体终端设备上(如常见的手机与电视之间等等)，可进行多媒体(音频，视频，图片)内容的传输、解析、展示、控制等一系列操作，可以在不同终端设备显示同样的内容，并实现各个终端之间的内容互通。现有技术WO2016066079A1公开了一种多屏互动方法及系统，包括获取固定终端的位置，并监测移动终端的位置；判断移动终端的位置距离固定终端的位置是否在设定范围内，若在，则自动将移动终端与固定终端进行对接，进行多屏互动本专利技术对移动终端的位置进行监测，若移动终端在固定终端的设定范围内，则将移动终端与固定终端进行对接，进行多屏互动，不需要用户寻找发现固定终端，只要移动终端与固定终端在设定范围内即可立即进行多屏互动，从而实现无缝对接，极大的方便了用户使用，大大提高用户的使用效果和体验。现有互动技术中，检测智能设备是否放置在显示屏上，主要依靠陀螺仪、重力感应器等传感器，通过检测传感器值的变化是否符合预先设计的特征来进行识别的方法，在多智能设备存在干扰的情况下，误识别率较高。
技术实现思路
本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种误识别率低、检测精度高、检测速度快的基于多层卷积神经网络的检测设备放置在显示屏上的方法。本专利技术的目的可以通过以下技术方案来实现：一种基于多层卷积神经网络的检测设备放置在显示屏上的方法，包括：将带有图像采集装置的智能设备放置在点亮状态的显示屏上，且图像采集装置面向显示屏；构建基于多层卷积神经网络的检测模型，并加载权重参数集；通过朝向显示屏方向的图像采集装置采集图像，将图像输入到基于多层卷积神经网络的检测模型进行推理，给出图像的分类信息以及概率值；对于给出的分类信息及概率值，如果图像属于放置在显示屏上的类别概率值最高或者超过设定阈值，则认为智能设备放置在显示屏上。优选地，所述的构建基于多层卷积神经网络的检测模型，并加载权重参数集具体包括：使用智能设备分别采集放置在显示屏上时的图像，以及未放置在显示屏上时的图像，对图像进行类别信息标注；对图像进行筛查；构建多层卷积神经网络；将图像输入多层卷积神经网络，训练多层卷积网络直至收敛，获取最终权重参数集，得到最终的分类网络模型。优选地，所述的使用智能设备采集放置在显示屏上时的图像具体为：将智能设备放置在显示屏上的不同区域，显示屏显示内容不停变化，改变智能设备摄像头曝光和快门参数，改变显示屏背光亮度和运动补偿参数，改变环境光亮度，采集到不同情况下智能设备放置在显示屏上的样本图像，确保样本的多样性，标记为放置在显示屏上的类别。优选地，所述的使用智能设备采集未放置在显示屏上时的图像具体为：将智能设备放置到普通不发光物体表面、透明玻璃或者普通发光物表面，改变智能设备摄像头曝光和快门参数，改变环境光亮度，采集到不同情况下智能设备不放置在显示屏上的样本图像，并标记为不放置在显示屏上的类别。优选地，所述的对图像进行筛查具体为：对于连续拍摄的图像，判断相似度是否超过设定阈值，如果是则仅保留设定数量同样场景下的图像，确保各种场景图像的均衡性。优选地，所述的构建多层卷积神经网络，该网络包括卷积层、深度可分离卷积层、批处理层、池化层、全局平均池化层、以及全连接层。优选地，所述的具体包括以下步骤：步骤S401:选定训练模型的优化方法；步骤S402:设置训练模型所需的超参数；步骤S403:根据训练样本的特点，在训练模型时进行数据增强；；步骤S404:选定softmax函数，作为最终的分类概率的计算，其中softmax的计算公式为：其中，xij是第i个样本再神经网络最后一层的第j个输出，C是类别个数，是第i个样本属于第j个类别的概率；步骤S405:选定交叉熵损失函数衡量模型预测值与真实值间的差距，其中交叉熵损失函数的计算公式为：其中，为损失值，n为批处理数，yij表示第i个样本是否属于第j个类别的真实标签，如果属于第j个类别的真实标签，则yij＝1，否则yij＝0，C是类别个数，是第i个样本属于第j个类别的概率；步骤S406:加载预训练模型；步骤S407:基于训练样本对整个模型进行训练，直至收敛，得到最终的分类模型。优选地，所述的数据增强方法包括随机翻转、随机裁剪和随机色调变化。优选地，所述的步骤3)中，可将图像通过网络传输到云端服务器或者其它设备上使用多层卷积神经网络进行推理。与现有技术相比，本专利技术具有以下优点：1)误识别率低，通过多层卷积神经网络进行识别，在多智能设备存在干扰的情况下，有效降低了误识别率；2)检测精度高，通过在源头采集不同的样本，确保了样本的多样性，提高了模型的训练精度，进一步提高了检测精度；3)检测速度快，通过设计轻量级多层卷积神经网络模型，在保证检测精度的同时，提高了检测速度。附图说明图1为shufflenetv2网络结构中的BasicBlock示意图；图2为shufflenetv2网络结构中的DownSampleBlock示意图；图3为神经网络模型训练步骤流程图；图4为手机摄像头不同距离拍摄显示器显示图像的对比图，其中S501是手机距离显示器较远距离拍摄的图像，S502是手机贴近显示器时近距离拍摄的图像。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术的一部分实施例，而不是全部实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本专利技术保护的范围。本专利技术公开了一种基于多层卷积神经网络的检测设备放置在显示屏上的方法，具体包括：1.智能设备带有图像采集装置，显示屏处于点亮状态，当智能设备放置在显示屏上时，图像采集装置朝向显示屏；2.构建基于多层卷积神经网络的检测模型，并加载权重参数集，其步骤如下：a)将智能设备放置在显示屏上的不同区域，显示屏显示内容不停变化，改变智能设备摄像头曝光、快门等参数，改变显示屏背光亮度、运动补偿等参数，改变环境光亮度：比如拿着强光灯照射显示屏、关闭灯光、户外环境等,采集到各种情况下智能设备放置在显示屏上的样本图像，确保样本的多样性，标记为放置在显示屏上的类别；b)智能设备不放置在显示屏上，不放置在任何表面，放置到普通不发光物体表面、透明玻璃、普通发光物表面等，改变智能设备摄像头曝光、快门等参数，改变环境光亮度：比如拿着强光灯照射显示屏、关闭灯光、户外环境等,采集到各种情况下智能设备不放置在显示屏上的样本图像，确保样本的多样性，标记为不放置在本文档来自技高网...

【技术保护点】
1.一种基于多层卷积神经网络的检测设备放置在显示屏上的方法，其特征在于，包括：/n将带有图像采集装置的智能设备放置在点亮状态的显示屏上，且图像采集装置面向显示屏；/n构建基于多层卷积神经网络的检测模型，并加载权重参数集；/n通过朝向显示屏方向的图像采集装置采集图像，将图像输入到基于多层卷积神经网络的检测模型进行推理，给出图像的分类信息以及概率值；/n对于给出的分类信息及概率值，如果图像属于放置在显示屏上的类别概率值最高或者超过设定阈值，则认为智能设备放置在显示屏上。/n

【技术特征摘要】
1.一种基于多层卷积神经网络的检测设备放置在显示屏上的方法，其特征在于，包括：
将带有图像采集装置的智能设备放置在点亮状态的显示屏上，且图像采集装置面向显示屏；
构建基于多层卷积神经网络的检测模型，并加载权重参数集；
通过朝向显示屏方向的图像采集装置采集图像，将图像输入到基于多层卷积神经网络的检测模型进行推理，给出图像的分类信息以及概率值；
对于给出的分类信息及概率值，如果图像属于放置在显示屏上的类别概率值最高或者超过设定阈值，则认为智能设备放置在显示屏上。


2.根据权利要求1所述的方法，其特征在于，所述的构建基于多层卷积神经网络的检测模型，并加载权重参数集具体包括：
使用智能设备分别采集放置在显示屏上时的图像，以及未放置在显示屏上时的图像，对图像进行类别信息标注；
对图像进行筛查；
构建多层卷积神经网络；
将图像输入多层卷积神经网络，训练多层卷积网络直至收敛，获取最终权重参数集，得到最终的分类网络模型。


3.根据权利要求2所述的方法，其特征在于，所述的使用智能设备采集放置在显示屏上时的图像具体为：
将智能设备放置在显示屏上的不同区域，显示屏显示内容不停变化，改变智能设备摄像头曝光和快门参数，改变显示屏背光亮度和运动补偿参数，改变环境光亮度，采集到不同情况下智能设备放置在显示屏上的样本图像，标记为放置在显示屏上的类别。


4.根据权利要求2所述的方法，其特征在于，所述的使用智能设备采集未放置在显示屏上时的图像具体为：
将智能设备放置到普通不发光物体表面、透明玻璃或者普通发光物表面，改变智能设备摄像头曝光和快门参数，改变环境光亮度，采集到不同情况下智能设备不放置在显示屏上的样本图像，并标记为不放置在显示屏上的类别。


5.根据权利要...

【专利技术属性】
技术研发人员：雷秀洋，赵国荣，陆飞，易典，
申请(专利权)人：上海品奇数码科技有限公司，
类型：发明
国别省市：上海;31