【技术实现步骤摘要】
本专利技术涉及人工智能，特别是涉及一种基于多模态多大模型的教学双向评价与复审方法及系统。
技术介绍
1、多模态信息融合是指将来自不同传感器、源头或模态的信息整合在一起，以便更全面、深入地理解和分析某一过程或现象。在教育领域，多模态信息融合技术可以应用于教学过程的双向评价中，通过整合来自不同模态的数据(如文本、音频、视频、生理信号等)，提供更全面、多维度的信息，从而更准确地评估教学效果和学习成果。
2、而目前的多模态信息融合技术存在以下缺陷：(1)在多模态信息融合过程中，由于不同模态的数据可能存在重复或相似的信息，导致融合后的数据中存在冗余。这些冗余数据不仅增加了数据存储和处理的负担，还可能影响后续评价和分析的准确性。
3、(2)高级语义关联是指不同模态数据之间深层次的、非线性的关系。现有技术往往难以有效捕捉这些关联，导致融合后的数据无法全面、准确地反映教学过程的实际情况。
4、(3)在实时环境中，来自不同模态的数据需要准确地同步，以便进行有效的分析和决策。然而，由于不同模态的数据采集方式和处理速度存在差异，实现数据同步是一个技术上的挑战。
5、现如今评价系统通过调查问卷的形式进行评价会导致评价结果单一而且准确度不高，且现有双向互动技术往往依赖于单一的互动方式(如语音或视频通话)，缺乏多样化的互动手段。这限制了师生之间的交流和互动效果，影响了教学过程的流畅性和互动性。
6、因此，提出一种基于多模态多大模型的教学双向评价与复审方法及系统，来解决现有技术中存在的困难，是本领域
技术实现思路
1、本专利技术的目的是提供一种基于多模态多大模型的教学双向评价与复审方法及系统，通过双向评价不仅提升了教师的教学质量，还促进了学生的个性化学习，使每位学生都能在合适的节奏和方式下获得最佳学习效果。
2、为实现上述目的，本专利技术提供了如下方案：
3、一种基于多模态多大模型的教学双向评价与复审方法，包括以下步骤：
4、步骤100、获取与指定目标相关的多模态信息，包括学生评价教师信息、教师评价学生信息、学生平时成绩信息、学生最终成绩信息、学生主动行为信息、学生无感行为信息；
5、步骤200、对多模态信息添加标签和复审，其中对多模态信息中教师相关信息添加标签和复审的方法即步骤210包括：
6、步骤211、对多模态信息中的教师相关信息进行清洗融合得到教师融合信息tmi；
7、步骤212、根据步骤211中得到的tmi进行分析，以班级为单位计算班级的平均信息，根据不同模态的数据和等级得到不同的建议，将建议按照对应的数据的顺序进行排列，得到评价教师标签ett；
8、步骤213、评价步骤212得到的ett是否符合步骤211中得到的tmi，对步骤212的ett进行打分，得到rtt；
9、步骤300、对教师大模型和学生大模型进行训练，教师大模型包括评价教师大模型和评价教师复审大模型，其中对教师大模型的训练流程即步骤310包括：
10、步骤311、使用框架提供的工具加载预训练的评价教师大模型，将特征值tmi和标签值ett放入评价教师大模型中进行训练，并完成后续的验证调参环节，得到etm；
11、步骤312、使用框架提供的工具加载预训练的评价教师复审大模型，将tmi和ett组合为特征值，rtt为标签值，输入至评价教师复审大模型中进行训练，并完成后续的验证调参环节，得到rtm；
12、步骤400、利用训练好的所述教师大模型和所述学生大模型进行教学过程双向评价。
13、优选的，步骤100包括：
14、步骤101、获得学生评价教师信息：学生通过教学业务系统对教师进行评价，在系统中填写问卷对教师的各个维度进行百分制打分，得到学生评价教师信息score_s2t；并作为输入信息之一进入多模态评价教师信息融合和多模态评价学生信息融合；
15、步骤102、获得教师评价学生信息；在该步骤中计算学生每一题的评分成绩与综合全部同学每一题的评分成绩的比较差别；得到学生评价教师信息score_t2s；并作为输入信息之一进入多模态评价教师信息融合和多模态评价学生信息融合；
16、步骤103、获得学生平时成绩信息：根据学生上课互动、签到、作业等情况综合评价打分，得到学生平时成绩信息sug；
17、步骤104、获得学生最终成绩信息：教师综合学生期末成绩和平时成绩，按照比例进行汇总，得到学生的最终成绩sfg；
18、步骤105-106、获得学生主动行为信息和无感行为信息：通过人和位置绑定视觉采集装置，来收集学生们的课堂表现，并通过信息输出装置，对学生的微表情，精神状态信息转化为数据sub，输入进入多模态评价教师信息融合和多模态评价学生信息融合。
19、优选的，步骤200中对多模态信息中学生相关信息添加标签和复审的方法即步骤220包括：
20、步骤221、对多模态信息中的学生相关信息进行清洗融合得到学生融合信息smi；
21、步骤222、根据步骤221中得到的smi进行分析，以每位学生为单位，根据不同模态的数据和等级对学生给出不同的建议，将建议按照对应的数据的顺序进行排列，得到评价教师标签est；
22、步骤223、评价步骤222得到的est是否符合步骤211中得到的smi，对步骤222的est进行打分，得到rst。
23、优选的，步骤300中学生大模型包括评价学生大模型和评价学生复审大模型，对学生大模型的训练流程即步骤320包括：
24、步骤321、使用框架提供的工具加载预训练的评价学生大模型，将特征值smi和标签值est放入评价学生大模型中进行训练，并完成后续的验证调参环节，得到esm；
25、步骤322、使用框架提供的工具加载预训练的评价学生复审大模型，将smi和est组合为特征值，rst为标签值，输入进评价学生复审大模型中进行训练，并完成后续的验证调参环节，得到rsm。
26、优选的，步骤400包括获得教师大模型评价预测结果即步骤410包括：
27、步骤411：以步骤211得到的tmi为特征值，通过步骤311中训练好的评价教师大模型，获得教师的评价etr；
28、步骤412：针对步骤411进行复审，生成对步骤411所得的etr的评价，保证etr尽可能准确；以步骤411得到的评价以及步骤211得到的特征值为输入，通过步骤312中训练好的评价教师复审大模型，生产针对每一条步骤411的评价ete。
29、优选的，步骤400还包括获得学生大模型评预测结果即步骤420包括：
30、步骤421：以步骤221得到的smi为特征值，通过步骤321中训练好的评价学生大模型，得到关于学生的评价esr；
31、步骤422：针对步骤421进行复审，生成对步骤421所得的esr的评本文档来自技高网...
【技术保护点】
1.一种基于多模态多大模型的教学双向评价与复审方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于多模态多大模型的教学双向评价与复审方法，其特征在于，步骤100包括：
3.根据权利要求1所述的一种基于多模态多大模型的教学双向评价与复审方法，其特征在于，步骤200中对所述多模态信息中学生相关信息添加标签和复审的方法即步骤220包括：
4.根据权利要求1所述的一种基于多模态多大模型的教学双向评价与复审方法，其特征在于，步骤300中学生大模型包括评价学生大模型和评价学生复审大模型，对所述学生大模型的训练流程即步骤320包括：
5.根据权利要求1所述的一种基于多模态多大模型的教学双向评价与复审方法，其特征在于，步骤400包括获得教师大模型评价预测结果即步骤410包括：
6.根据权利要求5所述的一种基于多模态多大模型的教学双向评价与复审方法，其特征在于，步骤400还包括获得学生大模型评价预测结果即步骤420包括：
7.一种基于多模态多大模型的教学双向评价与复审系统，应用执行于权利要求1-6任一所述的基于多
8.根据权利要求8所述的一种基于多模态多大模型的教学双向评价与复审系统，其特征在于，视频分析系统中包括学习提醒方法：学生围坐在第n_table个岛状的桌子周围，在第n_table个岛状桌子的中间部署视频采集装置，用视频采集装置采集所有学生的人脸，对人脸动作识别，如果学生长期没有进入学习状态，则启动视频采集装置的拍照功能，并发出提示声音，从而提醒学生进入良好的学习状态。
9.根据权利要求8所述的一种基于多模态多大模型的教学双向评价与复审系统，其特征在于，在学生终端中的签到方法为：在上课时间内将每个学生的人脸和所在学生终端mac地址绑定，下课前学生通过绑定的mac地址进行人脸识别签到，每个mac地址绑定一个同学的人脸。
10.根据权利要求8所述的一种基于多模态多大模型的教学双向评价与复审系统，其特征在于，信息输出装置中教学内容呈现方法为：在每面墙都有n个屏幕，教室的四周则有4n个屏幕；学生使用网络协同编辑表格或协同编辑文档软件，将呈现的内容发布到屏幕上。
...【技术特征摘要】
1.一种基于多模态多大模型的教学双向评价与复审方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于多模态多大模型的教学双向评价与复审方法，其特征在于，步骤100包括：
3.根据权利要求1所述的一种基于多模态多大模型的教学双向评价与复审方法，其特征在于，步骤200中对所述多模态信息中学生相关信息添加标签和复审的方法即步骤220包括：
4.根据权利要求1所述的一种基于多模态多大模型的教学双向评价与复审方法，其特征在于，步骤300中学生大模型包括评价学生大模型和评价学生复审大模型，对所述学生大模型的训练流程即步骤320包括：
5.根据权利要求1所述的一种基于多模态多大模型的教学双向评价与复审方法，其特征在于，步骤400包括获得教师大模型评价预测结果即步骤410包括：
6.根据权利要求5所述的一种基于多模态多大模型的教学双向评价与复审方法，其特征在于，步骤400还包括获得学生大模型评价预测结果即步骤420包括：
7.一种基于多模态多大模型的教学双向评价与复审系统，应用执行于权利要求1-6任一所述的基于多模态多大模型的教学双向评价与复审方法，其特征在于，包括网络设备、教师机、智能家居、视频采集装置、信息输出装置、学生终端、多...
【专利技术属性】
技术研发人员：刘经纬，任浩天，杜雨然，郭佳敏，李亚霏，韩莹，
申请(专利权)人：首都经济贸易大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。