【技术实现步骤摘要】
本专利技术涉及视频智能拆分知识点领域，特别涉及一种通用的教育领域知识点智能拆分方法。
技术介绍
1、随着人工智能技术的快速发展，其在教育领域的应用也日益广泛。能够实现对课堂内容的自动记录和知识点的智能提取。通过视频识别ai能力，支持知识点提取、视频切片等创新应用，为学生提供更加个性化的学习资源，同时也能够帮助教师更好地进行教学反思和专业发展。现有的ai视频智能分析技术利用深度学习和计算机视觉技术，自动提取视频中的有用信息，实现高效、准确的视频内容理解与应用。它可以用于教育领域，帮助教师和学生从视频中提取关键知识点。但在复杂场景下，尤其是涉及多种对象和行为时，识别的准确性仍然可能不足。这可能导致关键信息的遗漏或错误提取，从而影响教学效果，即存在技术准确性问题。由于ai系统的训练数据如果存在偏见，可能导致算法在分析时产生不公正的结果。这种偏见不仅影响分析的准确性，还可能在教育决策中引发不公平的结果，即算法偏见。尤其是深度学习模型，往往被视为“黑箱”，其决策过程不易被理解。这种缺乏透明度可能导致教育工作者和学生对ai系统的信任降低，影响其在教学中的应用，即缺乏透明度和可解释性。
技术实现思路
1、针对现有技术中存在的问题，提供了一种通用的教育领域知识点智能拆分方法，通过多模态的识别，结合知识图谱直接进行知识抽取，解决传统方案准确率低的问题。
2、本专利技术提出了一种通用的教育领域知识点智能拆分方法，包括：
3、获取课程相关的视频、音频以及文档资源；
4
5、对视频知识的三元组表示及其描述、音频知识的三元组表示及其描述和文档知识的三元组表示及其描述进行实体消歧与指代消歧，得到消歧后的知识三元组及其描述；
6、通过知识三元组的描述截取相应模态资源中的知识点片段，并根据知识三元组中的实体在实体消歧和指代消歧情况关联多模态资源中的知识点片段。
7、作为一种优选方案，还包括，在得到消歧后的知识三元组及其描述后，利用已有的教学知识图谱对知识三元组及其描述进行规范处理。
8、作为一种优选方案，所述视频知识的三元组表示及其描述的获取过程具体包括：
9、从视频资源中识别教学场景中的物体信息，包括投影仪信息与电脑桌面信息；
10、通过投影仪信息与电脑桌面信息对视频进行分片得到投影仪分片组片段和电脑桌面分片组片段；
11、识别投影仪分片组片段和电脑桌面分片组片段中文本框及其对应的空间结构坐标；
12、对文本框进行评分，确定评分高于预设阈值的关键文本片段；
13、利用nlp技术分析关键文本片段，获取其语义信息并过滤无意义的文字后，得到筛选后的视频信息文本组；
14、从视频信息文本组中获取各种实体数据，并分析各个实体之间的关系，构建出视频知识的三元组表示及其描述。
15、作为一种优选方案，所述音频知识的三元组表示及其描述的获取过程具体包括：
16、将音频资源转换为文本信息，并利用nlp技术对文本信息进行纠错，得到纠错后的音频信息文本组；
17、从音频信息文本组中获取各种实体数据，并分析各个实体之间的关系，构建出音频知识的三元组表示及其描述。
18、作为一种优选方案，所述文档知识的三元组表示及其描述的获取过程具体包括：
19、对于纯文本文档资源，通过文档工具提取文本信息；
20、对于图片版本文档资源，通过ocr提取图片中的文本，并进行版面分析确定文本的阅读信息，再利用nlp技术分析语义，合并为一篇完整的文本信息；
21、对于图文混合的文档资源，先将其统一转换为图片版本的文档资源，再采用针对图片版本文档资源的处理方式完成文本信息提取；
22、将从纯文本文档资源、图片版本文档资源以及图文混合的文档资源中文本信息合并为文档信息文本组；
23、从文档信息文本组中获取各种实体数据，并分析各个实体之间的关系，构建出文档知识的三元组表示及其描述。
24、作为一种优选方案，所述实体消歧包括：
25、将视频知识的三元组表示及其描述、音频知识的三元组表示及其描述和文档知识的三元组表示及其描述合并为总的三元组集合，并获取相应的实体集合；
26、利用预训练的嵌入式模型对总的三元组集合中的每个三元组及其描述进行向量化处理，得到相应向量值；
27、将实体结合中的实体按类型分为不同类型的子实体集合；
28、在每一类子实体集合中，计算每个三元组及其描述对应的向量值之间的相似度；
29、将相似度高于预设阈值的两组向量值视为相似，合并两个实体；将相似度低于预设阈值的两组向量值视为不相似；
30、在完成所有三元组之间的向量值相似度计算后，得到实体消歧后的三元组集合与对应实体集合。
31、作为一种优选方案，所述指代消歧包括：
32、将实体类型中的代词实体存为代词集合；
33、利用端到端模型从代词集合和实体集合中分别取出一个实体，将其对应的三元组和描述输入模型，则模型会直接输出一个指代概率；
34、当指代概率大于预设指代概率阈值时，将该代词视为对应实体的指代，将代词所在三元组中的代词实体替换为对应实体；
35、在完成所有三元组与代词之间的概率计算之后，得到指代消歧后的三元组集合与对应实体集合。
36、作为一种优选方案，所述通过知识三元组的描述截取相应模态资源中的知识点片段，具体包括：
37、直接根据知识三元组的描述在相应模态资源中截取知识点片段，所述知识三元组的描述包括三元组在原文中的表述及其邻近上下文；其中，知识三元组的描述同时具有视频文本上下文和音频文本上下文，则判断是否来自同一个有声视频资源，若否则截取识别出视频文本上下文时对应的视频开始帧到结束帧的视频片段作为原视频的知识点片段，以及截取识别出音频文本上下文时对应的音频开始时码到结束时码的音频片段为音频知识点片段；若是则仅截取对应的视频开始帧到结束帧的视频片段作为原视频的知识点片段。
38、作为一种优选方案，所述根据知识三元组中的实体在实体消歧和指代消歧情况关联多模态资源中的知识点片段，具体包括：
39、在实体消歧和指代消歧过程中，若知识三元组的实体存在相应被消歧的实体，则将该实体与对应被消歧的实体所在的模态资源为关联资源，并通过将该实体作为关联点，关联对应的知识点片段。
40、作为一种优选方案，所述利用已有的教学知识图谱对知识三元组及其描述进行规范处理，具体包括：
41、将已有的教学知识图谱转换为图谱三元组表示；
42、利用嵌入式模型对图谱三元组和消歧后的知识三元组进行向量化表示，并计算相似度；
43、根据相似度计算结果，本文档来自技高网...
【技术保护点】
1.一种通用的教育领域知识点智能拆分方法，其特征在于，包括：
2.根据权利要求1所述的通用的教育领域知识点智能拆分方法，其特征在于，还包括，在得到消歧后的知识三元组及其描述后，利用已有的教学知识图谱对知识三元组及其描述进行规范处理。
3.根据权利要求1或2所述的通用的教育领域知识点智能拆分方法，其特征在于，所述视频知识的三元组表示及其描述的获取过程具体包括：
4.根据权利要求1或2所述的通用的教育领域知识点智能拆分方法，其特征在于，所述音频知识的三元组表示及其描述的获取过程具体包括：
5.根据权利要求1或2所述的通用的教育领域知识点智能拆分方法，其特征在于，所述文档知识的三元组表示及其描述的获取过程具体包括：
6.根据权利要求1所述的通用的教育领域知识点智能拆分方法，其特征在于，所述实体消歧包括：
7.根据权利要求1所述的通用的教育领域知识点智能拆分方法，其特征在于，所述指代消歧包括：
8.根据权利要求1所述的通用的教育领域知识点智能拆分方法，其特征在于，所述通过知识三元组的描述截取相应模态资源中
9.根据权利要求8所述的通用的教育领域知识点智能拆分方法，其特征在于，所述根据知识三元组中的实体在实体消歧和指代消歧情况关联多模态资源中的知识点片段，具体包括：
10.根据权利要求2所述的通用的教育领域知识点智能拆分方法，其特征在于，所述利用已有的教学知识图谱对知识三元组及其描述进行规范处理，具体包括：
...【技术特征摘要】
1.一种通用的教育领域知识点智能拆分方法，其特征在于，包括：
2.根据权利要求1所述的通用的教育领域知识点智能拆分方法，其特征在于，还包括，在得到消歧后的知识三元组及其描述后，利用已有的教学知识图谱对知识三元组及其描述进行规范处理。
3.根据权利要求1或2所述的通用的教育领域知识点智能拆分方法，其特征在于，所述视频知识的三元组表示及其描述的获取过程具体包括：
4.根据权利要求1或2所述的通用的教育领域知识点智能拆分方法，其特征在于，所述音频知识的三元组表示及其描述的获取过程具体包括：
5.根据权利要求1或2所述的通用的教育领域知识点智能拆分方法，其特征在于，所述文档知识的三元组表示及其描述的获取过程具体包括：
<...【专利技术属性】
技术研发人员：周鑫，刘建明，谢牧阳，杨玉庭，魏忠林，刘娜，李武林，
申请(专利权)人：成都索贝数码科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。