一种试题难度值的置信度评价方法、装置及存储介质制造方法及图纸

本发明专利技术公开了一种试题难度值的置信度评价方法、装置及存储介质，所述试题难度值的置信度评价方法，包括：抽取试题库中的一定数量的试题，两两组成试题对；获取试题对中试题的试题难度值，并进行试题难度值大小比较，汇总得到系统评价结果数据；针对试题对中试题的难度大小关系进行人工评价，获取人工评价结果数据；以所述人工评价结果数据为评价标准，与所述系统评价结果数据进行结果比对，统计计算比对相同的试题对占比，得到用于评价试题库中试题难度值信息的置信度。本发明专利技术不再关注具体每道试题的试题难度值，通过针对试题对难度值大小关系比较结果，统计计算人工评价结果数据与系统评价结果数据相一致的占比，实现对试题难度值的置信度评价。度值的置信度评价。度值的置信度评价。

【技术实现步骤摘要】
一种试题难度值的置信度评价方法、装置及存储介质


[0001]本专利技术涉及在线教育
，具体的涉及一种试题难度值的置信度评价方法、装置及存储介质。

技术介绍

[0002]在线教育平台为了提供拍照搜题、智能练习、作业批改等线上服务，一般都需要基于强大的试题数据库。针对试题数据库中的试题，为了给用户提供更加全面的使用体验，常常会标注试题的学科、年级、区域以及难度值等试题属性标签，其中学科、年级、区域等试题属性标签可由获取试题的试卷资源中自动获取，而试题的难度值的标注主观性较强，由于缺乏评价标准，导致试题难度值的置信度无法评价。
[0003]现有试题难度值大多通过老师人工进行标注的方式，由于试题的难度值具有主观因素，多名老师对于同一道试题的评判标准不同，导致对于同一道试题的难度值的标注存在偏差。这种特性造成了很难去评价一道试题的难度值是否合理，即试题难度值是否具有参考价值。
[0004]另外，针对试题难度值的标注还有通过系统算法自动批量得到的，但是出于对系统算法可靠性的考虑，同样需要针对试题难度值进行置信度评价。
[0005]有鉴于此，特提出本专利技术。

技术实现思路

[0006]本专利技术为了解决上述技术问题，提供了一种试题难度值的置信度评价方法、装置及存储介质，具体技术方案如下：
[0007]本专利技术提出了一种试题难度值的置信度评价方法，包括：
[0008]抽取试题库中的一定数量的试题，两两组成试题对；
[0009]获取试题对中试题的试题难度值，并进行试题难度值大小比较，汇总得到系统评价结果数据；
[0010]针对试题对中试题的难度大小关系进行人工评价，获取人工评价结果数据；
[0011]以所述人工评价结果数据为评价标准，与所述系统评价结果数据进行结果比对，统计计算比对相同的试题对占比，得到用于评价试题库中试题难度值信息的置信度。
[0012]作为本专利技术的可选实施方式，所述获取试题对中试题的试题难度值，并进行试题难度值大小比较，汇总得到系统评价结果数据包括：
[0013]所述试题对中的试题按照格式{试题A，试题B}进行存储；
[0014]预设试题难度值差值n，n为正数；
[0015]若试题A的试题难度值
‑
试题B的试题难度值≥n，则判定为试题A的试题难度值大于试题B的试题难度值，系统评价结果数据记为i1；
[0016]若试题A的试题难度值
‑
试题B的试题难度值≤
‑
n，则判定为试题A的试题难度值小于试题B的试题难度值，系统评价结果数据记为i2；
[0017]若|试题A的试题难度值
‑
试题B的试题难度值|＜n，则判定为试题A的试题难度值与试题B的试题难度值相当，系统评价结果数据记为i0；
[0018]汇总统计系统评价结果数据i0、i1及i2。
[0019]作为本专利技术的可选实施方式，所述针对试题对中试题的难度大小关系进行人工评价，获取人工评价结果数据包括：
[0020]所述试题对中的试题按照格式{试题A，试题B}存储为试题对数据包；
[0021]将所述试题对数据包发送至至少一个人工评价账号；
[0022]若人工评价试题A的试题难度值大于试题B的试题难度值，则人工评价结果数据j1；
[0023]若人工评价试题A的试题难度值小于试题B的试题难度值，则人工评价结果数据j2；
[0024]若人工评价试题A的试题难度值与试题B的试题难度值相当，则人工评价结果数据j0；
[0025]汇总统计人工评价结果数据j0、j1及j2。
[0026]作为本专利技术的可选实施方式，若将同一所述试题对数据包发送至多个人工评价账号，则分别获取多个人工评价账号的人工评价结果数据；
[0027]针对试题对数据包中的各个试题对分别进行人工评价结果数据的统计和投票选出占比高的人工评价结果数据作为该试题对的人工评价结果；
[0028]若存在人工评价结果数据占比相同的试题对，则综合考虑试题对数据包中其它试题对的人工评价结果数据确定该试题对的人工评价结果，或者系统抽取该试题对再次进行人工评价投放。
[0029]作为本专利技术的可选实施方式，所述以所述人工评价结果数据为评价标准，与所述系统评价结果数据进行结果比对，统计计算比对相同的试题对占比，用于评价试题库中试题难度值信息的置信度包括：
[0030]针对各试题对分别用系统评价结果数据与人工评价结果数据进行比对；
[0031]若系统评价结果数据的i0对应人工评价结果数据j0、系统评价结果数据的i1对应人工评价结果数据j1、系统评价结果数据的i2对应人工评价结果数据j2，则系统评价结果数据与人工评价结果数据比对相同，标记为R，否则比对不同，标记为F；
[0032]统计标记R的数量，计算标记R的占比并输出，得到用于评价试题库中试题难度值信息的置信度；
[0033]可选地，将所述系统评价结果数据的i0、人工评价结果数据j0均记为0，将所述系统评价结果数据的i1、人工评价结果数据j1均记为1，系统评价结果数据的i2、人工评价结果数据j2均记为2；将比对结果标记R记为1，比对结果标记F记为0。
[0034]作为本专利技术的可选实施方式，所述抽取试题库中的一定数量的试题，两两组成试题对包括：
[0035]在所述试题库中随机抽取一定数量的试题；
[0036]根据试题属性筛选条件筛选出试题属性相同的试题；
[0037]将筛选出的所述试题两两组成试题对，并进行编号；
[0038]或者，预设试题属性筛选条件，在试题库中筛选出符合筛选条件的试题属性相同
的试题；
[0039]随机抽取一定数量的筛选出的试题，两两组成试题对，并进行编号；
[0040]可选地，所述的试题属性包括年级、学科以及题型。
[0041]作为本专利技术的可选实施方式，所述抽取试题库中的一定数量试题的试题难度值由同一人工标注账号，或者相同的试题难度值标注规则进行标注；
[0042]根据得到的置信度评价所述人工标注账号或者试题难度值标注规则标注试题难度的准确性。
[0043]作为本专利技术的可选实施方式，系统预设第一置信度Z1和第二置信度Z2，所述的第一置信度Z1小于第二置信度Z2；
[0044]若统计计算得到的置信度大于第二置信度Z2，则由试题库中抽取试题的试题难度值准确，保留当前试题难度值标签；
[0045]若统计计算得到的置信度小于第一置信度Z1，则由试题库中抽取试题的试题难度值不准确，舍弃当前试题难度值标签，并将所述试题再次进行试题难度值标注投放；
[0046]若统计计算得到的置信度大于等于第一置信度Z1且小于等于第二置信度Z2，则由试题库中抽取试题的试题难度值待评估，将所述试题再次进行试题难度值的置信度评价投放。
[0047]本专利技术同时提供一种试题难度值的置信度评价装置，包括：
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种试题难度值的置信度评价方法，其特征在于，包括：抽取试题库中的一定数量的试题，两两组成试题对；获取试题对中试题的试题难度值，并进行试题难度值大小比较，汇总得到系统评价结果数据；针对试题对中试题的难度大小关系进行人工评价，获取人工评价结果数据；以所述人工评价结果数据为评价标准，与所述系统评价结果数据进行结果比对，统计计算比对相同的试题对占比，得到用于评价试题库中试题难度值信息的置信度。2.根据权利要求1所述的一种试题难度值的置信度评价方法，其特征在于，所述获取试题对中试题的试题难度值，并进行试题难度值大小比较，汇总得到系统评价结果数据包括：所述试题对中的试题按照格式{试题A，试题B}进行存储；预设试题难度值差值n，n为正数；若试题A的试题难度值
‑
试题B的试题难度值≥n，则判定为试题A的试题难度值大于试题B的试题难度值，系统评价结果数据记为i1；若试题A的试题难度值
‑
试题B的试题难度值≤
‑
n，则判定为试题A的试题难度值小于试题B的试题难度值，系统评价结果数据记为i2；若|试题A的试题难度值
‑
试题B的试题难度值|＜n，则判定为试题A的试题难度值与试题B的试题难度值相当，系统评价结果数据记为i0；汇总统计系统评价结果数据i0、i1及i2。3.根据权利要求2所述的一种试题难度值的置信度评价方法，其特征在于，所述针对试题对中试题的难度大小关系进行人工评价，获取人工评价结果数据包括：所述试题对中的试题按照格式{试题A，试题B}存储为试题对数据包；将所述试题对数据包发送至至少一个人工评价账号；若人工评价试题A的试题难度值大于试题B的试题难度值，则人工评价结果数据j1；若人工评价试题A的试题难度值小于试题B的试题难度值，则人工评价结果数据j2；若人工评价试题A的试题难度值与试题B的试题难度值相当，则人工评价结果数据j0；汇总统计人工评价结果数据j0、j1及j2。4.根据权利要求3所述的一种试题难度值的置信度评价方法，其特征在于，若将同一所述试题对数据包发送至多个人工评价账号，则分别获取多个人工评价账号的人工评价结果数据；针对试题对数据包中的各个试题对分别进行人工评价结果数据的统计和投票选出占比高的人工评价结果数据作为该试题对的人工评价结果；若存在人工评价结果数据占比相同的试题对，则综合考虑试题对数据包中其它试题对的人工评价结果数据确定该试题对的人工评价结果，或者系统抽取该试题对再次进行人工评价投放。5.根据权利要求3所述的一种试题难度值的置信度评价方法，其特征在于，所述以所述人工评价结果数据为评价标准，与所述系统评价结果数据进行结果比对，统计计算比对相同的试题对占比，用于评价试题库中试题难度值信息的置信度包括：针对各试题对分别用系统评价结果数据与人工评价结果数据进行比对；若系统评价结果数据的i...

【专利技术属性】
技术研发人员：王伟戌，陶扬，陈俊文，崔寅生，张思羽，刘洋，
申请(专利权)人：作业帮教育科技北京有限公司，
类型：发明
国别省市：