一种用于理化生智能考评中过滤粗盐水实验的三层滤纸定位方法技术

本发明专利技术揭示了一种用于理化生智能考评中过滤粗盐水实验的三层滤纸定位方法，包括如下步骤：输入相关实验视频；根据上述输入的实验视频提取出包含漏斗的照片；对上述提取的照片做基于热图的关键点检测及模型分类；根据检测的所述关键点确定直线方程并结合模型分类结果确定三层滤纸区域。本发明专利技术能够实现对三层滤纸区域的准确判断，具有利于标注、检测精度高、网络轻量化节省硬件成本等优点，可以更好的针对相关化学实验进行更加精确的考、教、评。评。评。

【技术实现步骤摘要】
一种用于理化生智能考评中过滤粗盐水实验的三层滤纸定位方法


[0001]本专利技术涉及图像处理
，特别是涉及一种用于理化生智能考评中过滤粗盐水实验的三层滤纸定位方法。

技术介绍

[0002]随着深度学习的兴起，计算机视觉技术得到了不断的发展，其中尤为显著的便是以目标检测和实例分割为代表的物体检测技术，在各行各业都有着不错的落地方案，常见的智能考评方案多基于目标检测，通过检测框的相对位置及变化来判断一些实验操作的正确与否，本专利技术面向初高中理化生实验考试考评中化学实验里的过滤粗盐水实验，在本实验中，一项重要的考察点便是玻璃棒引流过程中是否抵住漏斗中三层滤纸处，如果没有抵住三层滤纸处，则极易导致漏斗中滤纸破损，从而影响过滤效果，因此在实验的智能考评中，对于漏斗中三层滤纸区域的定位就显得尤为重要。
[0003]针对漏斗中三层滤纸的检测，目前常见的方法主要有以下几种：
[0004]1、直接基于目标检测，通过检测框(矩形框)框选出三层滤纸部分，该方法对于三层滤纸和单层滤纸分界线刚好垂直或水平与屏幕时方才有理想的效果，一但有一定的角度，检测框便会将非三层滤纸的区域也包括进来，造成实验逻辑的误判断。
[0005]2、基于语义分割的检测方法，直接分割出三层滤纸的区域，该方法可以精确的检测出相关区域，且效果足够鲁棒，但是语义分割的标注会花费巨大的人力和物力，同时，语义分割对于算力的要求也会较高。
[0006]因此提出一种用于理化生智能考评中过滤粗盐水实验的三层滤纸定位方法，用于解决上述提出的问题。

技术实现思路

[0007]本专利技术的目的在于，提供一种用于理化生智能考评中过滤粗盐水实验的三层滤纸定位方法，实现对三层滤纸区域进行准确判断。
[0008]为解决上述技术问题，本专利技术提供一种用于理化生智能考评中过滤粗盐水实验的三层滤纸定位方法，包括如下步骤：
[0009]输入相关实验视频；
[0010]根据上述输入的实验视频提取出包含漏斗的照片；
[0011]对上述提取的照片做基于热图的关键点检测及模型分类；
[0012]根据检测的所述关键点确定直线方程并结合模型分类结果确定三层滤纸区域。
[0013]进一步的，所述实验视频提取采用目标检测网络。
[0014]进一步的，所述关键点包括滤纸折痕的两个顶点。
[0015]进一步的，所述关键点检测的方法为：
[0016]由一个轻量级骨干网络作为特征提取器，后面接两个SEB模块进行图片的上采样，
再用一个卷积神经网络得到相应特征张量；
[0017]上述得到的特征张量与第二个SEB模块生成的张量做concat处理实现特征融合，融合后的特征通过卷积层后输出特征张量result1，完成关键点检测。
[0018]进一步的，所述模型分类的方法为：
[0019]在进行关键点检测的同时，轻量级骨干网络引出一路分支，通过softmax运算输出result2实现区域二分类。
[0020]进一步的，所述关键点检测及模型分类采用深度学习模型，所述深度学习模型的训练方法为：
[0021]对两个关键点对应的特征张量result1均进行sigmoid处理，得到关键点热图heatmap1和heatmap2；
[0022]根据坐标信息，利用二维高斯核函数对上述得到的关键点热图进行处理，获取新的热图heatmap1’
和heatmap2’
作为标签；
[0023]定义heatmap1’
和heatmap2’
中值取大于零的区域为正样本，分别得到其在特征向量矩阵中的索引one
‑
pos
‑
mask和two
‑
pos
‑
mask；
[0024]定义heatmap1’
和heatmap2’
中值取等于零的区域为负样本，分别得到其在特征向量矩阵中的索引one
‑
neg
‑
mask和two
‑
neg
‑
mask；
[0025]根据索引取出heatmap1和heatmap1
’
中的正负样本分别做损失，得到one
‑
pos
‑
loss和one
‑
neg
‑
loss，同理heatmap2和heatmap2
’
得到two
‑
pos
‑
loss和two
‑
neg
‑
loss；
[0026]对result2采用交叉熵损失，得到class
‑
loss；
[0027]根据上述获取的损失计算最终损失函数。
[0028]进一步的，所述损失计算采用MSELoss损失函数。
[0029]进一步的，所述最终损失函数为：
[0030]Loss＝1*one
‑
pos
‑
loss+2*two
‑
pos
‑
loss+0.1*one
‑
neg
‑
loss+0.2*two
‑
neg
‑
loss+3*class
‑
loss。
[0031]本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现上述所述的方法中的步骤。
[0032]相比于现有技术，本专利技术至少具有以下有益效果：
[0033]本专利技术能够实现对三层滤纸区域的准确判断，具有利于标注、检测精度高、网络轻量化节省硬件成本等优点，可以更好的针对相关化学实验进行更加精确的考、教、评。
附图说明
[0034]图1为本专利技术实施例中用于理化生智能考评中过滤粗盐水实验的三层滤纸定位方法整体流程示意图；
[0035]图2为本专利技术实施例中关键点分布示意图；
[0036]图3为本专利技术实施例中关键点检测流程示意图。
具体实施方式
[0037]下面将结合示意图对本专利技术的用于理化生智能考评中过滤粗盐水实验的三层滤纸定位方法进行更详细的描述，其中表示了本专利技术的优选实施例，应该理解本领域技术人
员可以修改在此描述的本专利技术，而仍然实现本专利技术的有利效果。因此，下列描述应当被理解为对于本领域技术人员的广泛知道，而并不作为对本专利技术的限制。
[0038]在下列段落中参照附图以举例方式更具体地描述本专利技术。根据下面说明和权利要求书，本专利技术的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本专利技术实施例的目的。
[0039]如图1所示，本专利技术实施例提出了一种用于理化生智能考评中过滤粗盐水实验的三层滤纸定位方法，包括如下步本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于理化生智能考评中过滤粗盐水实验的三层滤纸定位方法，其特征在于，包括如下步骤：输入相关实验视频；根据上述输入的实验视频提取出包含漏斗的照片；对上述提取的照片做基于热图的关键点检测及模型分类；根据检测的所述关键点确定直线方程并结合模型分类结果确定三层滤纸区域。2.如权利要求1所述的用于理化生智能考评中过滤粗盐水实验的三层滤纸定位方法，其特征在于，所述实验视频提取采用目标检测网络。3.如权利要求1所述的用于理化生智能考评中过滤粗盐水实验的三层滤纸定位方法，其特征在于，所述关键点包括滤纸折痕的两个顶点。4.如权利要求3所述的用于理化生智能考评中过滤粗盐水实验的三层滤纸定位方法，其特征在于，所述关键点检测的方法为：由一个轻量级骨干网络作为特征提取器，后面接两个SEB模块进行图片的上采样，再用一个卷积神经网络得到相应特征张量；上述得到的特征张量与第二个SEB模块生成的张量做concat处理实现特征融合，融合后的特征通过卷积层后输出特征张量result1，完成关键点检测。5.如权利要求4所述的用于理化生智能考评中过滤粗盐水实验的三层滤纸定位方法，其特征在于，所述模型分类的方法为：在进行关键点检测的同时，轻量级骨干网络引出一路分支，通过softmax运算输出result2实现区域二分类。6.如权利要求5所述的用于理化生智能考评中过滤粗盐水实验的三层滤纸定位方法，其特征在于，所述关键点检测及模型分类采用深度学习模型，所述深度学习模型的训练方法为：对两个关键点对应的特征张量result1均进行sigmoid处理，得到关键点热图heatmap1和heatmap2；根据坐标信息，利用二维高斯核函数对上述得到的关键点热图进行处理，获取新的热图heatmap1’
和heatmap2’
作为标签；定义heatmap1’
和heatmap2’
中值取大于零的区域为正样本，分别得到其在特征向量矩阵中的索引one
‑
pos
‑
mask和two
‑
pos
...

【专利技术属性】
技术研发人员：刘凯，
申请(专利权)人：上海锡鼎智能科技有限公司，
类型：发明
国别省市：