一种口语考试主观题评分方法及装置制造方法及图纸

本发明专利技术公开了一种口语考试主观题的评分方法及装置，上述的评分方法包括如下步骤：通过不同场景构建多个特征模组；对分布不均匀的特征模组进行调整；将多个评分算法的集成方案基于特征模组分别建模，上述建模在受限测试集的场景下计算预测结果；对每个预测结果计算容错一致度、皮尔森相关系数、最小均方差，并对上述结果进行加权平均，选取加权平均的最高分作为最终的评分方案，本发明专利技术通过构建不同特征模组来匹配不同评分标准要求，通过将多个评分算法进行自集成基于特征模组分别建模，然后建模在受限测试集的场景下计算预测结果，最后对计算预测结果进行加权平均后得到多个评分，选取最高分作为最终的评分方案，评分的准确性高。评分的准确性高。评分的准确性高。

【技术实现步骤摘要】
一种口语考试主观题评分方法及装置


[0001]本专利技术涉及一种口语评分方法，尤其涉及一种基于多特征模组与自集成学习的口语考试主观题评分方法及装置。

技术介绍

[0002]作为人际交流的重要媒介，且随着社会经济的不断发展和经济全球化趋势的进行，因此口语语言在实际生活中占有极其重要的地位。同时，人们对语言学习的效率以及语言评估的客观性、公正性和规模化测试也提出了越来越高的要求；而口语考试中的主观表达题、问答题、朗读题等主观题是反映语言学习者口语表达能力的重要题型，所以做好这类题型的技术评估是保证客观性、公正性和规模化的必然要求。
[0003]现有构建这类题型的评分架构大多采用特征集合与回归模型的方式，即对不同的题型采用不同的特征集合，再输入到回归模型进行评分，但是这种架构在面对不同考试场景、不同评分标准容易存在如下问题：
[0004]一、在不同地区构成评分模型的最优特征组合极有可能是不同的，如果采用单一特征集合可能很难得到最优评分模型；
[0005]二、不会有一个回归模型在面对不同分布的特征时，都能得到最好的评分效果。
[0006]因此急需一种既能极大的支持现有考试评分业务模式，又能同时保证了评分的准确性的口语考试主观题评分方法。

技术实现思路

[0007]本专利技术目的是为了克服现有技术的不足而提供一种口语考试主观题评分方法及装置，能极大的支持现有考试评分业务模式，同时保证了评分的准确性。
[0008]为达到上述目的，本专利技术采用的技术方案是：一种口语考试主观题的评分方法，包括如下步骤：
[0009]通过不同场景构建多个特征模组；
[0010]对分布不均匀的特征模组进行调整；
[0011]将多个评分算法的集成方案基于上述特征模组分别建模，然后上述建模在受限测试集的场景下计算预测结果；
[0012]对每个建模的预测结果计算的容错一致度、皮尔森相关系数、最小均方差，并对容错一致度、皮尔森相关系数、最小均方差进行加权平均，选取加权平均的最高分作为最终的评分方案。
[0013]进一步的，在构建特征模组外，还新增一个综合特征组，上述综合特征组为由内容、发音、语法、连惯性四个维度构成。
[0014]进一步的，利用算法对特征模组中的分布不均匀进行调整；其中，所述算法包括：重复采样、降采样和smote采样算法。
[0015]进一步的，多个评分算法的集成方案有如下两种：一种是多种评分算法以排列组
合的方式组合；另一种是从算法效率的角度，预置多种评分算法中最有可能的组合方式。
[0016]进一步的，建模在受限测试集的场景下计算预测结果的步骤如下：
[0017]S10.预设多个评分算法进行自集成的方式；
[0018]S11.选择自集成方式中的某个评分算法后基于特征模组获得预测结果；
[0019]S12.获取所有特征模组在不同评分算法下的预测结果；
[0020]S13.对自集成的多个评分算中，采用基于加权平均的方式来获取组合的所有的预测结果。
[0021]进一步的，S11选择自集成方式中的某个评分算法后基于特征模组获得预测结果的步骤如下：
[0022]S110.获取某个特征模组、特定分布调整后的自适应样本集；
[0023]S111.将样本随机等分成K份，执行交叉验证算法寻找最优超参下的模型，并保留对应最优性能下的K份的初始预测结果；
[0024]S112.合并所有K份预测结果即为整个有限测试集的一个预测结果。
[0025]进一步的，所述评分算法包括：SVR、基于svm的多分类序数回归和基于DNN的多分类的序数回归。
[0026]进一步的，在受限测试集的场景下，对预测结果的容错一致度、皮尔森相关系数、最小均方差进行加权平均后得到多个评分的公式如下：
[0027]SolutionScore
i
＝a1*Agr+a2*Pearson+a3*MSE；
[0028]其中，Agr表示预测结果与标注打分之间的容错一致度；Pearson表示预测结果与标注打分之间的Pearson相关系数；MSE表示预测结果与标注打分之间的均方误差。
[0029]一种口语考试主观题的评分装置，包括：
[0030]特征模组构建模组，用于通过不同场景构建多个特征模组；
[0031]特征分布调整模组，用于对分布不均匀的特征模组进行调整；
[0032]模组自集成学习模块，用于将多个评分算法的集成方案基于上述特征模组分别建模，然后上述建模在受限测试集的场景下计算预测结果；
[0033]模型评价模块，对每个建模的预测结果计算的容错一致度、皮尔森相关系数、最小均方差，并对容错一致度、皮尔森相关系数、最小均方差进行加权平均，选取加权平均的最高分作为最终的评分方案。
[0034]由于上述技术方案的运用，本专利技术与现有技术相比具有下列优点：
[0035]本专利技术方案口语考试主观题评分方法及装置，通过构建不同特征模组来匹配不同评分标准要求，通过对特征模组的分布不均匀进行调整，再通过将多个评分算法进行自集成后基于特征模组进行建模，然后上述建模在受限测试集的场景下计算预测结果，最后基于上述的计算预测结果，选定某个评分算法，对每个建模的预测结果的容错一致度、皮尔森相关系数、最小均方差进行加权平均后得到多个评分，选取最高分作为最终的评分方案，这既极大的支持现有考试评分业务模式，同时保证了评分的准确性。
附图说明
[0036]下面结合附图对本专利技术技术方案作进一步说明：
[0037]图1为本专利技术一实施例中口语考试主观题评分方法的流程图；
[0038]图2为本专利技术一实施例中口语考试主观题评分方法的评分过程示意图。
具体实施方式
[0039]为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
[0040]本专利技术提供了一种口语考试主观题评分方法及装置，以解决现有技术中在不同地区构成评分模型的最优特征组合极有可能是不同的，如果采用单一特征集合可能很难得到最优评分模型；另外，不会有一个回归模型在面对不同分布的特征时，都能得到最好的评分效果的问题。
[0041]参阅图1至图2，本专利技术实施例所述的一种口语考试主观题评分方法，包括如下步骤：
[0042]S1：通过不同场景构建多个特征模组；
[0043]在本实施例的步骤S1中，特征模组的构建是指对同一评分题型可以支持多种特征模组，不同的特征模组表示对该题型的评分样本的不同特征表达，以及，考虑口语主观题的题型差异性以及不同考试地区的评分标准的差异性，在本实施例中，可以酌情根据相应的情形设计相关特征模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种口语考试主观题的评分方法，其特征在于，包括如下步骤：通过不同场景构建多个特征模组；对分布不均匀的特征模组进行调整；将多个评分算法的集成方案基于上述特征模组分别建模，然后上述建模在受限测试集的场景下计算预测结果；对每个建模的预测结果计算的容错一致度、皮尔森相关系数、最小均方差，并对容错一致度、皮尔森相关系数、最小均方差进行加权平均，选取加权平均的最高分作为最终的评分方案。2.如权利要求1所述的口语考试主观题的评分方法，其特征在于：在构建特征模组外，还新增一个综合特征组，上述综合特征组为由内容、发音、语法、连惯性四个维度构成。3.如权利要求1所述的口语考试主观题的评分方法，其特征在于：利用算法对特征模组中的分布不均匀进行调整；其中，所述算法包括：重复采样、降采样和smote采样算法。4.如权利要求1所述的口语考试主观题的评分方法，其特征在于，多个评分算法的集成方案有如下两种：一种是多种评分算法以排列组合的方式组合；另一种是从算法效率的角度，预置多种评分算法中最有可能的组合方式。5.如权利要求1所述的口语考试主观题的评分方法，其特征在于，建模在受限测试集的场景下计算预测结果的步骤如下：S10.预设多个评分算法进行自集成的方式；S11.选择自集成方式中的某个评分算法后基于特征模组获得预测结果；S12.获取所有特征模组在不同评分算法下的预测结果；S13.对自集成的多个评分算中，采用基于加权平均的方式来获取组合的所有的预测结果。6.如权利要求5所述的口语考试主观题的评分方法，其特征在于，S11选择自集成方式中的某个评分算...

【专利技术属性】
技术研发人员：方敏，葛海柱，彭书勇，王维娜，孙暐，
申请(专利权)人：苏州驰声信息科技有限公司，
类型：发明
国别省市：