【技术实现步骤摘要】
本专利技术属于实验操作检测，具体涉及基于视觉语言模型的理化生实操考试自动评分方法及系统。
技术介绍
1、在传统的理化生实操考试中，评分通常由人工完成，这不仅需要大量的人力和时间，还容易受到主观因素的影响，导致评分结果的公平性和一致性受到质疑，同时学生也无法及时获得评分结果和详细的反馈信息，难以改进和提高自己的实验操作能力。现有的自动化评分系统使用深度学习模型为核心构建系统，降低了人力需求，提高了评分的效率，可以及时为学生进行反馈。但是深度学习模型的鲁棒性较低，在少样本和零样本的情况下识别能力差，容易发生误判，从而影响考生的成绩，同时可能会出现评分误差，所以需要对分数进行置信度评测，提高分数的可信度与说服力。在人工智能领域，视觉语言模型是结合计算机视觉和自然语言处理技术的一种新型模型，它能够理解图像与文本之间的对应关系，相较于深度学习模型处理少样本和零样本的能力更强，更适用于实验操作的多样性与复杂性，其输出结果更加准确，可用于对分数进行置信度评测。
技术实现思路
1、针对目前实操考试中评分准确率差和评分可信度低的问题，本专利技术提供了基于视觉语言模型的理化生实操考试自动评分方法及系统。
2、为了达到上述目的，本专利技术采用了下列技术方案：
3、基于视觉语言模型的理化生实操考试自动评分系统，包括实操行为识别模块、评分模块、置信度评测模块；
4、所述实操行为识别模块，用于对考生行为进行分析和识别；
5、所述评分模块，用于将考生实验操作与标准
6、所述置信度评测模块，用于对本次实操考试分数的合理性进行评测。
7、进一步，所述实操行为识别模块，通过视觉语言模型实现，所述视觉语言模型包括：visual encoder层、projection layer层和llm层；
8、所述visual encoder层，用于将视觉信息转化为模型可理解和处理的表示形式，从原始视觉数据中提取特征、学习到视觉信息的潜在表示、增强模型的视觉感知能力；visual encoder层使用预训练的视觉编码器clip-vit-l/14来提取每帧的视觉特征。
9、所述projection layer层，用于将视觉编码器提取的特征映射到与语言模型相匹配的表示空间中；projection layer层通过学习一个权重矩阵，将视觉特征向量映射到一个更低维度的向量空间中，使得视觉特征与语言特征能够更好地对齐和交互。
10、所述llm层，用于学习visual encoder层提供的视觉信息的表示，获得在任务上的生成能力，根据输入的图像生成相应的文本输出。llm通过视觉特征向量识别出考生实操的一个关键实验步骤后，输出该步骤的文本描述，与实验无关的行为不进行文本描述，同时生成记录文件记录该行为在视频片段中的位置信息。
11、进一步，所述实操行为识别模块识别的行为包括：考生实操考试行为、作弊行为以及与考试无关的行为。
12、进一步，所述评分模块包括实验对比单元和评分单元；所述实验对比单元用于将考生实验操作的视频和文本描述分别与标准实验操作的视频和文本描述进行比较，将考生实验操作和标准实验操作之间的区别作为评分依据；所述评分单元根据视觉语言特征之间的差别整合出得考生失分点，再依据打分规则生成相应的分数。所述实验对比单元，不仅关注标准实验操作操作的视频与文本描述中的具体实操行为，还要关注全局语义信息，确保在理解每个具体实验步骤时也能考虑到每个实验步骤在整个实验过程中的意义。
13、基于视觉语言模型的理化生实操考试自动评分方法，包括以下步骤：
14、步骤1，拍摄多视角的学生实操考试的过程，并保存视频数据；
15、步骤2，通过实操行为识别模块识别学生实操考试的行为；将识别好的视频片段与标记出的文本描述发送给评分模块；
16、步骤3，通过评分模块对视频与视频、视频与文本和文本与文本的特征进行比较，根据标记剔除与考试无关的视频片段的特征，并记录考生的失分原因，对考生的本次实操考试进行打分；
17、步骤4，通过置信度评测模块，通过考生实操考试的表示特征、标准实操考试的表示特征和考试分数来计算本次实操考试分数的合理性；
18、步骤5，教师对分数置信度低的考生进行实操分数校正，对考生质疑的分数，教师通过人工校验的方式重新校正。考生实操考试结束后可立即查看分数，同时可以查看自己的失分原因，及时获得反馈。使用置信度评测的方式体现评分的公平性，减少了监考老师的主观因素影响，体现了考试的公正性。
19、所述步骤2中通过实操行为识别模块识别学生实操考试的行为，当检测到学生存在作弊行为时，将作弊行为所在的视频片段进行标记，在文本描述中记录作弊行为，同时考试成绩记为0分；当检测到学生存在与考试无关的行为时，将无关行为所在的视频片段进行标记，在文本描述中不记录与考试无关的行为。
20、所述步骤2，通过实操行为识别模块识别学生实操考试的行为；将识别好的视频片段与标记出的文本描述发送给评分模块；具体是：
21、实操行为识别模块将步骤1保存的视频划分为若干个片段，每个片段代表一个关键的实验步骤，聚合每个片段内的显著特征，生成每个步骤的紧凑表示；
22、按照实验步骤发生的时间顺序生成对应表示，用来保持实操过程的连贯性，使模型理解并识别出实操考试的实际流程；同时关注代表整个视频的全局语义信息，将全局信息与每个片段的特征结合，确保在理解每个具体实验步骤时考虑到每个实验步骤在整个实验过程中的意义；
23、考生实操考试的视频片段的特征v的计算公式为：v＝visual encoder(av)；考生实操考试的文本描述的特征t的计算公式为：t＝llm(projection layer(v))；
24、建立关键实验步骤的视频片段与文本描述之间的联系，生成表示考生实操考试的特征hs＝{(v1,t1),(v2,t2),…,(vk,tk)}，其中，vk表示视频片段的特征，tk表示文本描述的特征，k表示视频片段的个数，文本描述可看作视频片段的标签；实操行为识别模块将每个视频片段的文本描述按时间顺序进行整合形成学生实操考试过程的描述。
25、所述通过评分模块对视频与视频、视频与文本和文本与文本的特征进行比较具体是：将v表示为考生实操考试的视频片段的特征，t表示为考生实操考试的文本描述的特征，v′表示为标准实操考试的视频片段的特征，t′表示为标准实操考试的文本描述的特征；
26、将考生实操考试的视频片段的特征与标准实操考试的视频片段的特征进行比较，表示为(v,v′)；
27、(v,v′)的对比方式是通过计算两种视频片段的全局特征向量之间的余弦相似度来获得相似度分数。
28、将考生实操考试的视频片段的特征与标准实操考试的文本描述的特征进行比较，表示为(v,t')；
29、将考生本文档来自技高网...
【技术保护点】
1.基于视觉语言模型的理化生实操考试自动评分系统，其特征在于：包括实操行为识别模块、评分模块、置信度评测模块；
2.根据权利要求1所述的基于视觉语言模型的理化生实操考试自动评分系统，其特征在于：所述实操行为识别模块，通过视觉语言模型实现，所述视觉语言模型包括：Visualencoder层、Projection layer层和LLM层；
3.根据权利要求1所述的基于视觉语言模型的理化生实操考试自动评分系统，其特征在于：所述实操行为识别模块识别的行为包括：考生实操考试行为、作弊行为以及与考试无关的行为。
4.根据权利要求1所述的基于视觉语言模型的理化生实操考试自动评分系统，其特征在于：所述评分模块包括实验对比单元和评分单元；所述实验对比单元用于将考生实验操作的视频和文本描述分别与标准实验操作的视频和文本描述进行比较，将考生实验操作和标准实验操作之间的区别作为评分依据；所述评分单元根据视觉语言特征之间的差别整合出得考生失分点，再依据打分规则生成相应的分数。
5.根据权利要求1～4任意一项所述的基于视觉语言模型的理化生实操考试自动评分方法，
6.根据权利要求5所述的基于视觉语言模型的理化生实操考试自动评分方法，其特征在于：所述步骤2中通过实操行为识别模块识别学生实操考试的行为，具体是：当检测到学生存在作弊行为时，将作弊行为所在的视频片段进行标记，在文本描述中记录作弊行为，同时考试成绩记为0分；当检测到学生存在与考试无关的行为时，将无关行为所在的视频片段进行标记，在文本描述中不记录与考试无关的行为。
7.根据权利要求5所述的基于视觉语言模型的理化生实操考试自动评分方法，其特征在于：所述步骤2，通过实操行为识别模块识别学生实操考试的行为；将识别好的视频片段与标记出的文本描述发送给评分模块；具体是：
8.根据权利要求5所述的基于视觉语言模型的理化生实操考试自动评分方法，其特征在于：所述步骤3中通过评分模块对视频与视频、视频与文本和文本与文本的特征进行比较具体是：
9.根据权利要求5所述的基于视觉语言模型的理化生实操考试自动评分方法，其特征在于：所述步骤3，通过评分模块对视频与视频、视频与文本和文本与文本的特征进行比较，根据标记剔除与考试无关的视频片段的特征，并记录考生的失分原因，对考生的本次实操考试进行打分，具体是：
10.根据权利要求5所述的基于视觉语言模型的理化生实操考试自动评分方法，其特征在于：所述置信度评测模块，采用的计算方式是信任分数；计算公式为：
...【技术特征摘要】
1.基于视觉语言模型的理化生实操考试自动评分系统，其特征在于：包括实操行为识别模块、评分模块、置信度评测模块；
2.根据权利要求1所述的基于视觉语言模型的理化生实操考试自动评分系统，其特征在于：所述实操行为识别模块，通过视觉语言模型实现，所述视觉语言模型包括：visualencoder层、projection layer层和llm层；
3.根据权利要求1所述的基于视觉语言模型的理化生实操考试自动评分系统，其特征在于：所述实操行为识别模块识别的行为包括：考生实操考试行为、作弊行为以及与考试无关的行为。
4.根据权利要求1所述的基于视觉语言模型的理化生实操考试自动评分系统，其特征在于：所述评分模块包括实验对比单元和评分单元；所述实验对比单元用于将考生实验操作的视频和文本描述分别与标准实验操作的视频和文本描述进行比较，将考生实验操作和标准实验操作之间的区别作为评分依据；所述评分单元根据视觉语言特征之间的差别整合出得考生失分点，再依据打分规则生成相应的分数。
5.根据权利要求1～4任意一项所述的基于视觉语言模型的理化生实操考试自动评分方法，其特征在于：包括以下步骤：
6.根据权利要求5所述的基于视觉语言模型的理化生实操考试自动评分方法，其特...
【专利技术属性】
技术研发人员：谭红叶，曹悦，强鹏鹏，陈玉，张永伟，赵井阳，
申请(专利权)人：山西大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。