一种融合课堂行为序列的在线多模态资源混合推荐方法技术

本发明专利技术公开了一种融合课堂行为序列的在线多模态资源混合推荐方法，包括下列步骤：步骤1：从视频中筛选采集帧图像，并对帧图像中的课堂行为进行标注；步骤2：进行多模态知识本体建模；步骤3：基于YOLO

【技术实现步骤摘要】
一种融合课堂行为序列的在线多模态资源混合推荐方法


[0001]本专利技术属于在线教育
，具体涉及一种融合课堂行为序列的在线多模态资源混合推荐方法。

技术介绍

[0002]随着信息技术在教育领域的深耕应用，在线课程资源总量的快速增长及其更新速度的不断加快，不但难以满足学习者的深入学习需求，而且仍面临持续较低的完成率、课程资源重复开发、跨平台资源检索余融合困难、在线学习效率较低等问题。如何在海量在线课程资源中挖掘并推荐最符合学习者深度学习需求的多模态学习资源，进而通过提供精准的个性化学习服务促进学习者的深度学习，已成为当前教育信息化亟待解决的关键问题。
[0003]然而，尽管各类智能技术终端拓展了学生的学习时空，但课堂环境仍是学生进行正式学习的主阵地。在课堂环境下，学生个体行为的表现对于学习效果有着直接影响，如果学生在课堂上对于一些知识点未能集中注意力听讲学习，那么在之后线上教育过程中就需要较多的与该知识点相关的教育资源。但是目前的在线教育资源的推荐只能依据人为主动提供的明确的要求进行选择推荐，不能与课堂监控系统结合，无法针对课堂环境中的学习行为进行编码分析，从而让系统不能根据课堂环境下学生个体行为的表现来确定推荐策略，导致对具体学生而言无法实现在线课程资源的有效整合利用。

技术实现思路

[0004]本专利技术的目的是提供融合课堂行为序列的在线多模态资源混合推荐方法用于解决现有技术中不能通过对学生在课堂环境中的学习行为进行编码分析，构建学习行为序列，从而导致无法精准推荐符合学习者学习需求的在线课程资源，也无法针对具体学生实现对在线课程资源的有效整合利用，导致在线教育资源的推荐缺乏准确性和时效性的技术问题。
[0005]所述的一种融合课堂行为序列的在线多模态资源混合推荐方法，包括下列步骤：
[0006]步骤1：从视频中筛选采集帧图像，并对帧图像中的课堂行为进行标注；
[0007]步骤2：进行多模态知识本体建模；
[0008]步骤3：基于YOLO
‑
V5网络模型对学生课堂行为进行识别表征建模；
[0009]步骤4：将重构的行为特征序列通过Baum
‑
welch算法进行训练，得到基于课堂行为的多状态GMM
‑
HMM分类模型；
[0010]步骤5：引入课堂行为、认知水平和学习风格三类数据建立混合推荐模型，并结合协同过滤算法，给出资源推荐列表TOP
‑
N。
[0011]优选的，所述步骤2中，针对某个异构多源的课程资源，对应的多模态知识点j的集合可表示为K
j
＝[k
j1
，k
j2
，
…
，k
jn
]其中k
j
为资源不同来源的同一知识点j，知识本体KOM具体包含信息如下：
[0012]KOM＝(K_id，K_name,K_content,K_style,K_level,K_OR)，
[0013]K_style∈{t，p，a，v}，
[0014]K_OR
i，j
＝(K_id
i
,K_id
j
，r_style,r_weight)，
[0015]其中，K_id表示为知识对象的唯一标识，K_name表示知识点名称， K_content表示知识点具体内容，K_style表示知识点的风格类型；，t表示为文本格式资源，p表示为图片格式资源，a表示为音频格式资源，v表示为视频格式资源，K_level表示知识点难易程度，该值越大意味难度越大；K_OR表示该知识点所属的关系集类型，K_id
i
，K_id
j
表示为两个知识点对象标识，r_style为两个知识点对象标识之间的关系类型，主要包含为依赖、父子、并列、选择、扩展五种关系；r_weight表示与关系所对应的权重，r_weight取值在[0，1]之间。
[0016]优选的，所述步骤3中，将课堂录播视频以知识点为基本单元，按时间轴自动抽取每个学生的课堂行为序列，并形成基于知识点重构的行为特征序列；如下式所示：
[0017]Stu
i
＝{(k1，O(b)1)，(k2，O(b)2)，...，(k
n
，O(b)
n
)}，n∈(1，2，...，N)，
[0018]S
n
＝(k
n
，O(b)
n
)，
[0019]其中Stu
i
表示学生按知识点分解所对应的课堂行为序列状态值，其中i为学生个体的唯一标识，k
n
表示知识点，其中n表示知识点所对应的唯一标识，知识点个数为N，O(b)表示表示学生学习知识点n时的课堂行为序列的状态值，b表示课堂行为序列，(k
n
，O(b)
n
)为重构后的课堂行为数据与知识点的关系集合。
[0020]优选的，所述步骤3中，不考虑各类行为的权重系数，将课堂行为序列进行特征重构，重构后的特征数据取值在[0，1]之间，课堂行为包括积极行为和消极行为，积极行为的状态值为1，消极行为的状态值为0，针对连续的消极行为，在此引入惩罚系数，数据取值在[0，1]之间；单个知识点内的行为序列的具体公式如下：
[0021]b
n
＝{(b
η
，t1)，(b
η
，t2)，...，(b
η
，t
T
)}，η∈[1，2，3，4，5，6，7][0022]其中，b
n
是单个知识点内的行为序列，表示知识点n时的课堂行为，其中η表示具体行为标识，T表示以知识点为基本单元的时间长度；基于上述单个知识点内的行为序列，可将学生行为序列按照知识点为基本单元进行行为数据重构，确定课堂行为数据与知识点的关系集合，具体公式如下：
[0023]S
n
＝(k
n
，O(b)
n
)，
[0024][0025][0026]其中，(k
n
，O(b)
n
)为重构后的行为数据与知识点的关系集合，其中b
n
(value)为知识点n时课堂行为；公式中还定义了惩罚系数w，Neg_b表示序列中连续出现的负面行为个数，count表示计数，max表示从计数结果中取最大值，w取值在 [0，1]之间。
[0027]优选的，所述步骤4具体包括下列步骤：
[0028]步骤4.1：基于Baum
‑
welch算法训练GMM
‑
HMM模型，先构建基于 GMM
‑
HMM的多状态模型λ；
[0029]步骤4.2：初始化π，A和B；
[0030]步骤4.3：训练参数π和A，以迭代时相邻两次差值满足一定的要求作为条件本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合课堂行为序列的在线多模态资源混合推荐方法，其特征在于：包括下列步骤：步骤1：从视频中筛选采集帧图像，并对帧图像中的课堂行为进行标注；步骤2：进行多模态知识本体建模；步骤3：基于YOLO
‑
V5网络模型对学生课堂行为进行识别表征建模；步骤4：将重构的行为特征序列通过Baum
‑
welch算法进行训练，得到基于课堂行为的多状态GMM
‑
HMM分类模型；步骤5：引入课堂行为、认知水平和学习风格三类数据建立混合推荐模型，并结合协同过滤算法，给出资源推荐列表TOP
‑
N。2.根据权利要求1所述的一种融合课堂行为序列的在线多模态资源混合推荐方法，其特征在于：所述步骤2中，针对某个异构多源的课程资源，对应的多模态知识点j的集合可表示为K
j
＝[k
j1
，k
j2
，
…
，k
jn
]其中k
j
为资源不同来源的同一知识点j，知识本体KOM具体包含信息如下：KOM＝(K_id，K_name，K_content，K_style，K_level，K_OR)，K_style∈{t，p，a，v}，K_OR
i，j
＝(K_id
i
，K_id
j
，r_style，r_weight)，其中，K_id表示为知识对象的唯一标识，K_name表示知识点名称，K_content表示知识点具体内容，K_style表示知识点的风格类型；，t表示为文本格式资源，p表示为图片格式资源，a表示为音频格式资源，v表示为视频格式资源，K_level表示知识点难易程度，该值越大意味难度越大；K_OR表示该知识点所属的关系集类型，K_id
i
，K_id
j
表示为两个知识点对象标识，f_style为两个知识点对象标识之间的关系类型，主要包含为依赖、父子、并列、选择、扩展五种关系；r_weight表示与关系所对应的权重，r_weight取值在[0，1]之间。3.根据权利要求1所述的一种融合课堂行为序列的在线多模态资源混合推荐方法，其特征在于：所述步骤3中，将课堂录播视频以知识点为基本单元，按时间轴自动抽取每个学生的课堂行为序列，并形成基于知识点重构的行为特征序列；如下式所示：Stu
i
＝{(k1，O(b)1)，(k2，O(b)2)，...，(k
n
，O(b)
n
)}，n∈(1，2，...，N)，S
n
＝(k
n
，O(b)
n
)，其中Stu
i
表示学生按知识点分解所对应的课堂行为序列状态值，其中i为学生个体的唯一标识，k
n
表示知识点，其中n表示知识点所对应的唯一标识，知识点个数为N，O(b)表示表示学生学习知识点n时的课堂行为序列的状态值，b表示课堂行为序列，(k
n
，O(b)
n
)为重构后的课堂行为数据与知识点的关系集合。4.根据权利要求3所述的一种融合课堂行为序列的在线多模态资源混合推荐方法，其特征在于：所述步骤3中，不考虑各类行为的权重系数，将课堂行为序列进行特征重构，重构后的特征数据取值在[0，1]之间，课堂行为包括积极行为和消极行为，积极行为的状态值为1，消极行为的状态值为0，针对连续的消极行为，在此引入惩罚系数，数据取值在[0，1]之间；单个知识点内的行为序列的具体公式如下：b
n
＝{(b
η
，t1)，(b
η
，t2)，...，(b
η
，t
T
)}，η∈[1，2，3，4，5，6，7]其中，b
n
是单个知识点内的行为序列，表示知识点n时的课堂行为，其中η表示具体行为标识，T表示以知识点为基本单元的时间长度；基于上述单个知识点内的行为序列，可将学
生行为序列按照知识点为基本单元进行行为数据重构，确定课堂行为数据与知识点的关系集合，具体公式如下：S
n
＝(k
n
，O(b)
n
)，)，其中，(k
n
，O(b)
n
)为重构后的行为数据与知识点的关系集合，其中b
n
(value)为知识点n时课堂行为；公式中还定义了惩罚系数w，Neg_b表示序列中连续出现的负面行为个数，count表示计数，max表示从计数结果中取最大值，w取值在...

【专利技术属性】
技术研发人员：万家山，吴锦华，许苏魁，
申请(专利权)人：安徽信息工程学院，
类型：发明
国别省市：