简答题评分预测制造技术

实施包括计算机实现的方法、计算机可读介质和/或用于简答题评分预测的系统。

【技术实现步骤摘要】
【国外来华专利技术】简答题评分预测相关申请本申请主张申请号为62/717,723的美国临时专利申请的优先权，该临时专利申请的名称为“简答题评分预测”，该临时专利申请提交于2018年8月10日，本申请要求该临时专利申请的全部优先权。
技术介绍
有些类型的考题的评分已经可以自动化，例如多项选择题，数字型答案的题目，等等。然而，其他类型的试题，例如简答题，等等，采用自由文本的形式，评分可能会很耗时间。为简答题格式的试题提供自动评分或预测就非常必要。此处提供的背景描述是为了一般地呈现本申请的研究范围。目前提及的专利技术人的工作，在某种程度上，是在这个背景状况下以及一些可能不属于本申请提交时的现有技术的内容前提下进行描述的，该工作内容并没有被现有技术明确或隐含披露。
技术实现思路
提供一些实施方案，这些实施方案通常与计算机测试有关，特别是与简答题评分预测的系统、方法和计算机可读介质有关。一些实施方案可以包括计算机实现的方法。该方法可以包括接收对一测试例的简答题作答，以及确定对应该测试例的预评分作答的数量。该方法还可以包括，当所述预评分作答的数量落入一阈值时，将该简答题作答、一个或多个预评分作答及所述测试例应用于一相似度模型中，利用该相似度模型，确定该简答题作答与一个或多个预评分作答之间的相似度。该方法可以进一步包括：将该简答题作答与该一个或多个预评分作答之间的该相似度和与该一个或多个预评分作答相对应的预定分数应用于一评分模型中，使用该评分模型，产生一与该简答题作答相对应的评分预测。在一些实施例中，确定该简答题作答与该一个或多个预评分作答之间的相似度包括：通过程式基于该简答题作答中的字符、单词、单词用法、词序或单词位置中的一个或多个来确定该相似度。在一些实施例中，确定该简答题作答与该一个或多个预评分作答之间的相似度包括：确定一具有范围的数值，该范围表示该简答题作答与该一个或多个预评分作答之间的相似度等级。该方法还包括：显示一用户界面以呈现该评分预测。该方法还可以进一步包括：将该评分预测存储于一数据库。该方法还可以包括：将该评分预测与该学生在一特定测试中的其他作答的评分合并，以生成该学生在该特定测试中的总得分。该方法还可以进一步包括：向教师提供该评分预测建议，及提供一用户界面供教师选择接受或修改该评分预测。该方法还可以进一步包括：训练该相似度模型。其中，该相似度模型的训练包括：生成一个或多个问题及答案元组作为训练样本，其中，每个该问题及答案元组均包括两个或更多的答案；将该一个或多个问题及答案元组应用于该相似度模型中，生成一相似度分数值，该相似度分数值代表该两个或更多的答案的相似度；基于该相似度分数值通过该评分模型预测得到一评分预测；及，基于该评分模型预测得到的该评分预测调整该相似度模型中的一个或多个参数。在一些实施例中，训练该相似度模型还进一步包括：比较通过该相似度模型得到的该评分预测及与一训练样本对应的已知分数；其中，该相似度模型包括一神经网络，调整该相似度模型中的一个或多个参数包括：调整该神经网络的一层或多层的一个或多个权重，作为该相似度模型得到的该评分预测及与该训练样本对应的该已知分数的差异的反馈。在一些实施例中，当一个或多个该相似度模型预测的评分预测落入一个或多个对应的已知分数的阈值内时，相似度模型或评分模型的训练完成。该方法还可以包括：提供该相似度模型的输入值，包括：基于该简答题作答及多个预评分作答中的一个的第一相似度函数值，基于该简答题作答、多个预评分作答及该测试例中的一个的第二相似度函数值，及基于该简答题作答及多个预评分作答中的一个的重叠函数值。该方法还可以进一步包括：提供该简答题作答、该一个或多个预评分作答及该一个或多个预评分作答的评分之间的相似点分布，并将该相似点分布作为该评分模型的输入值。在一些实施例中，还可以包括：存储有上述指令的非瞬时计算机可读存储介质，当上述指令被一处理器执行时，使所述处理器运行一些操作。该操作可以包括：接收对一测试例的一简答题作答，以及确定对应该测试例的预评分作答的数量。该方法还可以包括：当该预评分作答的数量落入一阈值时，将该简答题作答、一个或多个预评分作答及所述测试例应用于一相似度模型中，利用该相似度模型，确定该简答题作答与一个或多个预评分作答之间的相似度。该方法还可以进一步包括：将该简答题作答与该一个或多个预评分作答之间的该相似度及与该一个或多个预评分作答相对应的预定分数应用于一评分模型中，使用该评分模型，产生一与该简答题作答相对应的评分预测。在一些实施例中，确定该简答题作答与该一个或多个预评分作答之间的相似度包括：通过程式基于该简答题作答中的字符、单词、单词用法、词序或单词位置中的一个或多个来确定该相似度。在一些实施例中，确定该简答题作答与该一个或多个预评分作答之间的相似度包括：确定一具有范围的数值，该范围表示该简答题作答与该一个或多个预评分作答之间的相似度等级。一些实施例还可以包括：一系统，包括一个或多个处理器及与所述第一个或多个处理器相匹配的存储器，该存储器存储有一些指令，当上述指令被执行时，使该一个或多个处理器运行一些操作。该操作可以包括：接收对一测试例的一简答题作答，以及确定该测试例的预评分作答的数量。该操作还可以包括：当该预评分作答的数量落入一阈值时，将该简答题作答、一个或多个预评分作答及所述测试例应用于一相似度模型中，利用该相似度模型，确定该简答题作答与一个或多个预评分作答之间的相似度。该操作还可以进一步包括：将该简答题作答与该一个或多个预评分作答之间的该相似度及与该一个或多个预评分作答相对应的预定分数应用于一评分模型中，使用该评分模型，生产一与该简答题作答相对应的评分预测。该操作还可以进一步包括：将该评分预测与该学生在一特定测试中的其他作答的评分合并，以生成该学生在该特定测试中的总得分。该操作还可以进一步包括：向教师提供该评分预测建议，及提供一用户界面供教师选择接受或修改该评分预测。该操作还可以进一步包括：提供该相似度模型的输入值，包括：基于该简答题作答及多个预评分作答中的一个的第一相似度函数值，基于该简答题作答、多个预评分作答及该测试例中的一个的第二相似度函数值，及基于该简答题作答及多个预评分作答中的一个的重叠函数值。该操作还可以进一步包括：提供该简答题作答、该一个或多个预评分作答及该一个或多个预评分作答的评分之间的相似点分布，并将该相似点分布作为该评分模型的输入值。附图说明图1是一些实施例中的一示例性的简答测试打分系统及网络环境的模块图。图2是一些实施例中的具有示例输入和输出的简答题评分预测系统的示意图。图3是一些实施例中的示例性的简答题评分预测方法的流程图。图4是一些实施例中的示例性的训练一简答题评分预测模型的方法的流程图。图5是用于本申请一个或多个实施例的示例性装置的模块图。图6是一些实施例中的用于简答题评分预测的示例性用户界面的示意图。图7是一些实施例中的具有示例输入和输出的简答题评分预测系统的示意图。图8是一些实施例本文档来自技高网...

【技术保护点】
1.一种计算机实现的方法，包括：/n收到对测试例的简答题作答；/n确定该测试例的预评分作答的数量；/n当该测试例的预评分作答的数量落入一阈值时：/n向一相似度模型提供该简答题应答、一个或多个预评分作答以及该测试例；/n使用该相似度模型确定该简答题应答与一个或多个预评分作答之间的相似度；/n将该简答题应答和该一个或多个预评分作答之间的相似度，以及对该一个或多个预评分作答的预定评分提供至一评分模型；和/n使用该评分模型生成对该简答题作答的评分预测。/n

【技术特征摘要】
【国外来华专利技术】20180810 US 62/717,7231.一种计算机实现的方法，包括：
收到对测试例的简答题作答；
确定该测试例的预评分作答的数量；
当该测试例的预评分作答的数量落入一阈值时：
向一相似度模型提供该简答题应答、一个或多个预评分作答以及该测试例；
使用该相似度模型确定该简答题应答与一个或多个预评分作答之间的相似度；
将该简答题应答和该一个或多个预评分作答之间的相似度，以及对该一个或多个预评分作答的预定评分提供至一评分模型；和
使用该评分模型生成对该简答题作答的评分预测。


2.根据权利要求1所述的方法，其中，确定该简答题应答与一个或多个预评分作答之间的相似度的步骤包括：基于该简答题作答内的字符、单词、单词使用、单词顺序或单词配置中的一个或多个通过程式确定所述相似度。


3.根据权利要求1所述的方法，其中，确定该简答题应答与一个或多个预评分作答之间的相似度的步骤包括：确定一具有范围的数值，该范围表示该简答题应答与该预评分作答之间的相似度。


4.根据权利要求1所述的方法，还包括通过显示一用户界面呈现该评分预测。


5.如权利要求4所述的方法，还包括将该评分预测存储在一数据库中。


6.如权利要求4所述的方法，其特征在于，还包括将该评分预测与在特定测试期间提供的其他作答的评分相结合，以生成该特定测试的总得分。


7.根据权利要求1所述的方法，还包括：
向教师提供该评分预测的建议；和
向该教师提供用户界面以接受或修改该评分预测。


8.如权利要求1所述的方法，其特征在于，还包括使用一语言模型来对所述测试例和所述简答题应答的语言进行建模。


9.根据权利要求8所述的方法，还包括：
训练该相似度模型；其中，该相似度模型的训练包括：
生成一个或多个问题和答案元组作为训练样本，其中该问题和答案元组的每个都包括两个或多个答案；
向该相似度模型提供一个或多个问题和答案元组；
生成代表该两个或多个答案之间相似度的相似度分数；
基于该相似度得分使用该评分模型来预测评分；和
根据评该分模型预测的评分，调整该相似度模型的一个或多个参数。


10.根据权利要求9所述的方法，其中，训练该相似度模型的步骤还包括：将由该相似度模型预测的评分与对应训练样本的已知评分进行比较；其中，该相似度模型包括神经网络，并且，其中，调整该相似度模型的一个或多个参数包括：使用该评分模型所预测的评分与相应训练样本的已知评分之间的差异作为反馈来调整神经网络的一层或多层中的一个或多个权重；以及
其中，当由该评分模型所预测的一个或多个评分在一个或多个相应的已知评分的阈值内时，完成该相似度模型的训练。


11.根据权利要求1所述的方法，还包括：基于该简答题作答及多个该预评分作答中的一个的第一相似度函数值，基于该简答题作答、多个该预评分作答及该测试例中的一个的第二相似度函数值，及基于该简答题作答及多个该预评分作答中的一个的重...

【专利技术属性】
技术研发人员：杰伊·戈亚尔，谢尔盖·费尔德曼，伊利亚·巴尔沙，
申请(专利权)人：主动学习有限公司，
类型：发明
国别省市：美国;US