题目作答质量的评估方法、装置、设备及存储介质制造方法及图纸

本申请涉及计算机领域，特别涉及人工智能领域，提供了一种题目作答质量的评估方法、装置、设备及存储介质。该方法包括：获取各目标对象针对同一道主观题输入的作答结果，分别基于每个作答结果的中间相似度向量与各作答结果的中间相似度向量，获得相应作答结果的目标相似度向量，其中，每个目标相似度向量表征：该作答结果的第一相似程度分布情况，与各作答结果的第一相似程度分布情况之间的第二相似程度分布情况；再分别基于获得的各目标相似度向量，确定相应作答结果的作答质量评估特征，并将各作答质量评估特征输入到目标评估模型中，获得相应作答结果的作答质量评估结果。采用向量运算的方式进行特征提取，运算量小、延迟低，应用场景广泛。应用场景广泛。应用场景广泛。

【技术实现步骤摘要】
题目作答质量的评估方法、装置、设备及存储介质


[0001]本申请涉及计算机领域，特别涉及人工智能领域，提供了一种题目作答质量的评估方法、装置、设备及存储介质。

技术介绍

[0002]近年来随着计算机技术的发展，自动阅卷技术逐渐应用到考试中去，不仅减少了老师的工作量，提高了阅卷效率，还确保了考试的公平性与公正性。自动阅卷技术针对选择题、填空题、判断题等客观题，可以实现自动阅卷，但主观题因答案的多样性、评判标准的灵活性等因素，一直是自动阅卷技术中需要攻克的技术难题。因此，针对主观题的自动阅卷技术成为了该领域的研究重点。
[0003]一开始是使用主题词匹配与离题检测模型相结合的方案，判断试卷中的主观题是否离题。然而，在应用阶段中，基于规则的主题词匹配无法覆盖所有主题词，召回效果并不好，进而影响到模型的检测准确率。
[0004]为了提高模型的检测准确率，目前主流的离题检测方法是使用基于自然语言处理(Natural Language Processing,NLP)技术构建的离题检测模型，提取出考试题目与学生回答之间的相关性特征，再基于该相关性特征，对每名学生的作答结果进行离题检测。
[0005]虽然这种检测方法在一定程度上提高了模型的检测准确率，但庞大的神经网络，又带来了运算量大、延迟高的新问题，无法满足实时性较高的应用场景的检测需求。此外，由于现阶段的NLP技术不够成熟，离题检测模型无法从训练阶段未涉及的应用场景中，准确提取出相应的相关性特征，反而降低了模型的检测准确率与鲁棒性。

技术实现思路

[0006]本申请实施例提供了一种题目作答质量的评估方法、装置、设备及存储介质，以解决在提取特征时存在的运算量大、延迟高，以及只能提取特定场景的特征的问题。
[0007]第一方面，本申请实施例提供了一种题目作答质量的评估方法，包括：
[0008]分别获取各目标对象针对同一道主观题输入的作答结果，以及分别获得各作答结果对应的中间相似度向量，其中，每个中间相似度向量表征相应的作答结果与所述各作答结果之间的第一相似程度分布情况；
[0009]针对获得的各中间相似度向量，分别执行以下操作：基于一个作答结果的中间相似度向量与所述各作答结果的中间相似度向量，获得相应的目标相似度向量，其中，每个目标相似度向量表征：所述一个作答结果的第一相似程度分布情况，与所述各作答结果的第一相似程度分布情况之间的第二相似程度分布情况；
[0010]分别基于获得的各目标相似度向量，确定相应作答结果的作答质量评估特征，并将各作答质量评估特征输入到目标评估模型中，获得所述目标评估模型输出的相应作答结果的作答质量评估结果。
[0011]第二方面，本申请实施例还提供了一种题目作答质量的评估装置，包括：
[0012]向量化处理单元，用于分别获取各目标对象针对同一道主观题输入的作答结果，以及分别获得各作答结果对应的中间相似度向量，其中，每个中间相似度向量表征相应的作答结果与所述各作答结果之间的第一相似程度分布情况；
[0013]特征提取单元，用于针对获得的各中间相似度向量，分别执行以下操作：基于一个作答结果的中间相似度向量与所述各作答结果的中间相似度向量，获得相应的目标相似度向量，其中，每个目标相似度向量表征：所述一个作答结果的第一相似程度分布情况，与所述各作答结果的第一相似程度分布情况之间的第二相似程度分布情况；
[0014]作答质量评估单元，用于分别基于获得的各目标相似度向量，确定相应作答结果的作答质量评估特征，并将各作答质量评估特征输入到目标评估模型中，获得所述目标评估模型输出的相应作答结果的作答质量评估结果。
[0015]可选的，所述作答质量评估单元用于：
[0016]依次获取所述目标相似度向量的各维特征向量，每获取一次，执行以下操作：将当前获取到的第j1维特征向量与所述邻居门限值进行比较，并基于比较结果表征的关联关系，确定所述邻居向量的第j
11
维特征向量，其中，一个比较结果表征相应的作答结果与所述一个作答结果之间是否存在关联关系，1≤j1≤N，1≤j
11
≤N，N为所述各作答结果的总数目；
[0017]基于获得的N维特征向量，获得所述一个作答结果的邻居向量。
[0018]可选的，所述作答质量评估单元用于：
[0019]在当前获取到的所述第j1维特征向量小于所述邻居门限值时，基于所述比较结果表征的关联关系，确定所述邻居向量的第j
11
维特征向量为第一特征向量值；
[0020]在当前获取到的所述第j1维特征向量超过所述邻居门限值时，基于所述比较结果表征的关联关系，确定所述邻居向量的第j
11
维特征向量为第二特征向量值。
[0021]可选的，所作答质量评估单元用于：
[0022]对所述一个邻居向量的各维特征向量进行相加，并将特征向量之和确定为所述邻居数量。
[0023]可选的，所述作答质量评估单元用于：
[0024]使用所述一个作答结果的邻居向量，对所述一个作答结果的目标相似度向量进行掩膜处理，获得一个邻居权重向量，其中，所述一个邻居权重向量包含多个维度的特征向量，每个维度的特征向量对应所述多个作答结果中的一个，以及，每个维度的特征向量表征：相应的作答结果与所述一个作答结果之间的关联程度；
[0025]基于所述一个邻居权重向量与所述邻居数量，获得相应的平均邻居权重。
[0026]可选的，所述向量化处理单元用于：
[0027]分别对所述各作答结果进行向量化处理，获得相应的作答结果向量；
[0028]针对获得的各作答结果向量，分别执行以下操作：基于所述一个作答结果的作答结果向量与所述各作答结果的作答结果向量，获得相应的中间相似度向量。
[0029]可选的，所述向量化处理单元用于：
[0030]依次遍历所述各作答结果的作答结果向量，当遍历到第j个作答结果的作答结果向量时，基于所述一个作答结果的作答结果向量与所述第j个作答结果的作答结果向量，确定所述中间相似度向量的第j
111
维特征向量，其中，1≤j≤N，1≤j
111
≤N，N为所述各作答结果的总数目；
[0031]基于获得的N维特征向量，获得所述一个作答结果的中间相似度向量。
[0032]第三方面，本申请实施例还提供了一种计算机设备，包括处理器和存储器，其中，所述存储器存储有程序代码，当所述程序代码被所述处理器执行时，使得所述处理器执行上述任意一种题目作答质量的评估方法的步骤。
[0033]第四方面，本申请实施例还提供了一种计算机可读存储介质，其包括程序代码，当程序产品在计算机设备上运行时，所述程序代码用于使所述计算机设备执行上述任意一种题目作答质量的评估方法的步骤。
[0034]第五方面，本申请实施例还提供了一种计算机程序产品，包括计算机指令，所述计算机指令被处理器执行上述任意一种题目作答质本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种题目作答质量的评估方法，其特征在于，包括：分别获取各目标对象针对同一道主观题输入的作答结果，以及分别获得各作答结果对应的中间相似度向量，其中，每个中间相似度向量表征相应的作答结果与所述各作答结果之间的第一相似程度分布情况；针对获得的各中间相似度向量，分别执行以下操作：基于一个作答结果的中间相似度向量与所述各作答结果的中间相似度向量，获得相应的目标相似度向量，其中，每个目标相似度向量表征：所述一个作答结果的第一相似程度分布情况，与所述各作答结果的第一相似程度分布情况之间的第二相似程度分布情况；分别基于获得的各目标相似度向量，确定相应作答结果的作答质量评估特征，并将各作答质量评估特征输入到目标评估模型中，获得所述目标评估模型输出的相应作答结果的作答质量评估结果。2.如权利要求1所述的方法，其特征在于，所述基于一个作答结果的中间相似度向量与所述各作答结果的中间相似度向量，获得相应的目标相似度向量，包括：依次获取所述各作答结果的中间相似度向量，每获取一次，执行以下操作：基于当前获取到的第j个作答结果的中间相似度向量，结合所述一个作答结果的中间相似度向量，确定所述目标相似度向量的第j1维特征向量，其中，1≤j≤N，1≤j1≤N，N为所述各作答结果的总数目；基于获得的N维特征向量，获得所述一个作答结果的目标相似度向量。3.如权利要求1所述的方法，其特征在于，所述分别基于获得的各目标相似度向量，确定相应的作答结果的作答质量评估特征，包括：针对每个目标相似度向量，通过执行以下操作，获得相应作答结果的作答质量评估特征：基于所述一个作答结果的目标相似度向量与设定的邻居门限值，确定一个邻居向量；所述一个邻居向量包含多个维度的特征向量，每个维度的特征向量对应多个作答结果中的一个，以及，每个维度的特征向量表征：相应的作答结果与所述一个作答结果之间是否存在关联关系；基于所述一个邻居向量确定相应的邻居数量，以及，基于所述一个作答结果的目标相似度向量与所述一个邻居向量，确定相应的平均邻居权重，其中，所述平均邻居权重表征：所述各作答结果与所述一个作答结果之间的关联程度的平均值；将所述邻居数量与所述平均邻居权重，作为所述一个作答结果的作答质量评估特征。4.如权利要求3所述的方法，其特征在于，所述基于所述一个作答结果的目标相似度向量与设定的邻居门限值，确定相应的邻居向量，包括：依次获取所述目标相似度向量的各维特征向量，每获取一次，执行以下操作：将当前获取到的第j1维特征向量与所述邻居门限值进行比较，并基于比较结果表征的关联关系，确定所述邻居向量的第j
11
维特征向量，其中，一个比较结果表征相应的作答结果与所述一个作答结果之间是否存在关联关系，1≤j1≤N，1≤j
11
≤N，N为所述各作答结果的总数目；基于获得的N维特征向量，获得所述一个作答结果的邻居向量。5.如权利要求4所述的方法，其特征在于，所述将当前获取到的第j1维特征向量与所述邻居门限值进行比较，并基于比较结果表征的关联系，确定所述邻居向量的第j
11
维特征向
量，包括：在当前获取到的所述第j1维特征向量小于所述邻居门限值时，基于所述比较结果表征的关联关系，确定所述邻居向量的第j
11
维特征向量为第一特征向量值；在当前获取到的所述第j1维特征向量超过所述邻居门限值时，基于所述比较结果表征的关联关系，确定所述邻居向量的第j
11
维特征向量为第二特征向量值。6.如权利要求5所述的方法，其特征在于，所述基于所述一个邻居向量确定相应的邻居数量，包括：对所述一个邻居向量的各维特征向量进行相加，并将特征向量之和确定为所述邻居数量。7.如权利要求3所述的方法，其特征在于，所述基于所述一个作答结果的目标相似度向量与所述邻居向量，确定相应的平均邻居权重，包括：使用所述一个作答结果的邻居向量，对所述一个作答结果的目标相似度向量进行掩膜处理，...

【专利技术属性】
技术研发人员：董胜，徐浩，林炳怀，张力，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：