一种基于计算机视觉及深度学习在中学实验自动评分方法及系统技术方案

本发明专利技术涉及计算机视觉及深度学习的目标检测及行为分析领域领域，具体为一种基于计算机视觉及深度学习的中学实验自动评分方法及系统，通过后台智能AI分析服务器获取实验视频，分析实验结果，之后通过数据库将数据信息、实验视频以及分析结果传送给智能课桌设备前端供学生学习查看，并通过数据库处数据信息、实验视频以及分析结果传送到WebZ主机供教师展示或查看，基于不同实验考核评分内容不同，算法工作十分定制化，很难泛化，本方案提出了一种构建有向图评价模型方法，将考核点与评价内容通过评价网络进行结构化，有效解决不同考核评分内容，提升算法的适用性及莽性。提升算法的适用性及莽性。提升算法的适用性及莽性。

【技术实现步骤摘要】
nms)进行目标过滤。
[0016](三)有益效果
[0017]与现有技术相比，本专利技术提供了一种一种基于计算机视觉及深度学习在中学实验自动评分方法及系统，具备以下有益效果：
[0018]该基于计算机视觉及深度学习的中学实验自动评分方法采用深度学习目标检测方法进行实验仪器检测，根据实验应用场景提出了一种多类别、多优先级的非极大值抑制方式(muticlass-level-nms)的目标过滤方法，通过增加先验知识，更精准的过滤无效目标。提升检测准确率。
[0019]基于不同实验考核评分内容不同，算法工作十分定制化，很难泛化，本方案提出了一种构建有向图评价模型方法，将考核点与评价内容通过评价网络进行结构化，有效解决不同考核评分内容，提升算法的适用性及莽性。
附图说明
[0020]图1为本专利技术的系统示意图；
[0021]图2为本专利技术图的方法结构示意图；
[0022]图3为本专利技术图的评价网络结构示意图；
[0023]图4为本专利技术图的IOU计算交并比结构示意图；
具体实施方式
[0024]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0025]请参阅图1-4，本专利技术的本专利技术的一种基于计算机视觉及深度学习的中学实验自动评分系统，包括智能课桌设备前端、数据库、后台智能AI分析服务器以及WebZ主机，所述数据库设置在后台智能AI分析服务器内，所述数据库与智能课桌设备前端以及WebZ主机连接。
[0026]一种基于计算机视觉及深度学习的中学实验自动评分方法，包括以下步骤：
[0027]步骤1、收集实验器材数据、训练检测模型；
[0028]步骤2、细分实验步骤及实验状态，结合得分点构件有向图评价模型；
[0029]步骤3、数据获取，图像预处理；
[0030]步骤4、对图像进行处理，获取实验仪器位置及状态，结合实验人手部动
[0031]作，识别出实验状态及进度；
[0032]步骤5、讲实验结果输入评价模型，给出实验得分。
[0033]本专利技术基于计算机视觉及深度学习的中学实验自动评分系统，通过后台智能AI分析服务器获取实验视频，分析实验结果，之后通过数据库将数据信息、实验视频以及分析结果传送给智能课桌设备前端供学生学习查看，并通过数据库处数据信息、实验视频以及分析结果传送到WebZ主机供教师展示或查看。
[0034]本专利技术改进有，步骤2中细分实验步骤各个阶段为：实验器材准备阶段、实验进行
阶段、实验完成阶段，整理实验器材阶段，实验结束；
[0035]细分实验步骤的具体方法如下：
[0036]定义实验起始阶段为start节点，第一阶段为Stage_1，第一阶段Stage_1中有{Status<1,1>，Status<1,2>
…
,Status<1,>}m1m1个状态；第二阶段Stage_2中有{Status<2,1>，Status<2,2>
…
,Status<2,m2>}m2个状态；依次类推，第n-1阶段Stage_n-1中有{Status<n-1,1>，Status<n-1,2>
…
,Status<n-1,m
n-1
>}m
n-1
个状态。结束点为end节点。我们将第i阶段，第j状态节点标记为s
i,j
。
[0037]定义由start到Stage_1的第m1个状态节点的奖励权重为其中s
0,0
为start节点，定义由start到Stage_1的奖励权重矩阵为：
[0038][0039]由Stage_1到Stage_2的各个状态节点的权重奖励矩阵为：
[0040][0041]在实际实验中，如果不存在从到的状态则为0，最后一层Stage_n-1到end节点的权重奖励矩阵为：
[0042][0043]其中s
n,0
为end节点，因此最终构建的评价网络Net为如图3所示。
[0044]本专利技术改进有，步骤4中对图像进行处理，获取实验仪器位置及状态时针对不同仪器特性及形态，采用一种基于多类别、多优先级的非极大值抑制方式(muticlass-level-nms)进行目标过滤；
[0045]定义目标类别数为N，检测目标集合G＝{g
1 g2ꢀ…ꢀ
g
N
}，对应的优先级分别为prior1，prior2…
prior
n
，类别为k的目标子集每个Obj
k,j
的坐标框及置信度分别为box
k,j
，prob
k,j
。定义同一类别如第k类进行nms阈值为thresh
k
，不同类别间如第k类与k+1类nms阈值为Thresh
k,k+1
。
[0046]该方法主要流程：
[0047]流程一：先对G＝{g
1 g2ꢀ…ꢀ
g
N
}中每个相同class的目标类别子集g
k
内做nms，如对第k类目标集合g
k
进行根据置信度prob
k,j
由高到低排序，使得prob
k,j
＞＝prob
k,j+1
，然后进行遍历，进行IOU计算iou(box
k,j
,box
k,j+1
)。IOU(Intersection over Union)为交并比，如图4所示，IOU相当于两个区域交叉的部分除以两个区域的并集部分得出的结果。
[0048]当由此g
k
进行nms后得到g
′
k
。
[0049]流程二：对流程一中更新后的集合{g
′
1 g
′2ꢀ…ꢀ
g
′
N
}按照其对应优先级prior
i
＞prior
j
进行从大到小排序，得到排序后的集合{g
″
1 g
″2ꢀ…ꢀ
g
″
N
}，在不同类别g
″
k
之间做nms。
[0050]具体流程伪码如下：
[0051][0052]对不同class类别的Obj
i,j
的box
i,j
...

【技术保护点】

【技术特征摘要】
1.一种基于计算机视觉及深度学习的中学实验自动评分系统，其特征在于，包括智能课桌设备前端、数据库、后台智能AI分析服务器以及WebZ主机，所述数据库设置在后台智能AI分析服务器内，所述数据库与智能课桌设备前端以及WebZ主机连接。2.一种基于计算机视觉及深度学习的中学实验自动评分方法，包括以下步骤：步骤1、收集实验器材数据、训练检测模型；步骤2、细分实验步骤及实验状态，结合得分点构件有向图评价模型；步骤3、数据获取，图像预处理；步骤4、对图像进行处理，获取实验仪器位置及状态，结合实验人手部动作，识别出实验状态及进...

【专利技术属性】
技术研发人员：李国东，
申请(专利权)人：灵图云谷北京科技有限公司，
类型：发明
国别省市：