基于知识图谱的视频标签提取方法技术

本发明专利技术是基于知识图谱的视频标签提取方法，包括：一，根据专业知识整理基础知识包，将包内词组按层级关系整理到excel并导入知识图谱；二，根据基础知识包特征词组合特征整理应用知识包，整理知识到excel并导入知识图谱；三，利用深度学习语音识别技术识别视频字幕信息，结合标题形成文档并预处理；四，利用自然语言处理关键词匹配技术，按基础知识包类别分别查找文档中基础知识包内末端节点关键词及其基础知识包类别；五，利用关键词反向搜索应用知识包标签，定制化微调输出标签。本发明专利技术的优点：知识图谱数据更丰富；简化了工作复杂度，标签工作具有更好的继承性和系统性；对于行业和企业发展提供大数据分析平台，数据更全面，关系更清晰。系更清晰。系更清晰。

【技术实现步骤摘要】
基于知识图谱的视频标签提取方法


[0001]本专利技术涉及的是基于知识图谱的视频标签提取方法，属于深度学习、机器学习和知识图谱


技术介绍

[0002]在信息的基础上，建立实体之间的联系，就能形成“知识”，知识图谱就是这样由一条条知识组成的，每条知识表示为一个spo三元组。知识图谱是Google于2012年提出的，目的是用来优化搜索结果，让计算机理解人类信息内在的相关性。
[0003]经过多年的发展，知识图谱在人工智能的许多行业都拥有了成熟落地的应用。按照知识图谱的覆盖面来看，主要分为通用知识图谱与行业知识图谱。
[0004]由于视频媒体行业的应用标签比较多样和多变，那么通过完全的深度学习模型去进行预测不太可行。关键词匹配算法是相较于正则搜索法效率较高的一种关键词搜索方法，这样的方法结合知识图谱正好可以应用在视频标签提取。对于视频来讲，直接处理视频或者图片本身去打标签的计算复杂度和设备要求比较高，因此，可以选择将视频的音频内容利用现在比较成熟的语音识别技术将其文本化，再处理文本，这样的经济效益要高很多，效率也会高很多。
[0005]对于新媒体企业，每年生产大量的视频媒资等素材，保存有海量新闻娱乐媒体的信息。基于这些素材的搜索是一项困难而艰巨的事情，对这些信息进行整合和挖掘更是难上难。想要解决这些难题，首先要对这些数据和信息进行合理有效的整理，有效的整理需要依赖有效且可持续的标签体系，引入AI技术和知识图谱可解决这一问题。

技术实现思路

[0006]本专利技术提出的是基于知识图谱的视频标签提取方法，其目的旨在填补现有技术存在的上述空白，实现在视频媒体领域基于深度学习自然语言处理技术和知识图谱技术对视频进行打标签。
[0007]本专利技术的技术解决方案：基于知识图谱的视频标签提取方法，该方法基于深度学习自然语言处理技术和知识图谱技术，应用于视频媒体领域，包括：
[0008]第一步，根据专业知识整理若干个基础知识包，并将这些基础知识包内的词组按照层级关系整理到excel并导入到知识图谱中,基础知识包是指某一个特定领域的基础知识的所有层级类别以及其对应的实体关键词；
[0009]第二步，根据第一步得到的基础知识包的特征词的组合特征整理应用知识包，整理这些知识到excel并导入知识图谱中，应用知识包是指视频分类或者应用需要设定的某一些特定规则下的分类标签以及其对应的特征关键词；
[0010]第三步，利用深度学习的语音识别技术，将视频的字幕信息识别出来，结合标题形成文档并进行预处理；
[0011]第四步，利用自然语言处理中的关键词匹配技术，按第一步得到的基础知识包的
类别分别查找第三步中得到的文档中的基础知识包内的末端节点的关键词及其基础知识包类别；
[0012]第五步，利用第四步查找的关键词，反向搜索应用知识包标签，最后进行定制化微调，输出标签。
[0013]优选的，所述的第一步中，利用Cypher的loadcsv命令导入到neo4j 知识图谱中，设所有基础知识包的末端节点集合为baselist，baselist 中包含了所有关键词。
[0014]优选的，所述的第二步中，设所有应用知识包的末端节点集合为 applylist,applylist包含了所有的应用知识包对应的基础知识包列表及其关键词集合。
[0015]优选的，所述的第三步中，语音识别技术采用深度学习基于注意力机制和Transformer新型神经网络结构的语音识别技术，将视频的音频识别为文本，掐头去尾进行处理，同时将语音识别的文本进行数字、网页符号和特殊符号的预处理，并与标题合并为待测文档。
[0016]优选的，所述的第四步中，采用开源关键词匹配技术flashtext，根据baselist查找到文档对应的基础知识包名称和关键词集合。
[0017]优选的，所述的第五步中,搜索应用知识包标签，假设该文档的查找结果集合为set＝{A:[x1,x2,x3]；B:[y1,y2,y3]；C:[z1,z2,z3]},则该文档包含的基础知识包为list＝[A,B,C]，首先通过list和applylist的反向对查，找到applylist的元素是list子集的列表partlist，然后验证 partlist中每个元素中基础知识包的具体关键词集合与set中对应的关键词集合是否有重合，如有重合，则反向查询partlist该元素对应的应用知识包标签链并输出。
[0018]本专利技术的优点：1)相较于通用知识图谱，本专利技术构建的包含基础知识包和应用知识包的知识图谱的数据更加丰富，也更符合新媒体企业业务需求；
[0019]2)将知识图谱、语音识别、NLP技术联合应用到视频的标签提取中，大大简化了工作的复杂度，标签工作具有更好的继承性和系统性；
[0020]3)构建媒体知识图谱，可作为基础数据，对于行业、企业发展提供了一个大数据分析平台，且数据更全面，关系更清晰。
附图说明
[0021]图1是本专利技术基于知识图谱的视频标签提取方法中基础知识包图谱结构示意图。
[0022]图2是本专利技术基于知识图谱的视频标签提取方法中应用知识包图谱结构示意图。
具体实施方式
[0023]下面结合实施例和具体实施方式对本专利技术作进一步详细的说明。
[0024]基于知识图谱的视频标签提取方法，该方法基于深度学习自然语言处理技术和知识图谱技术，应用于视频媒体领域，包括：
[0025]第一步，根据专业知识整理诸如：地点、政治人物、美食、国家等若干个基础知识包，并将这些基础知识包内的词组按照层级关系整理到 excel并导入到知识图谱中,基础知识包(图1)是指某一个特定领域的基础知识的所有层级类别以及其对应的实体关键词；
[0026]第二步，根据基础知识包的特征词的组合特征整理应用知识包，比如“娱乐圈”标
签下的“大陆明星”子标签对应的特征是地点基础知识包加明星基础知识包信息，整理这些知识到excel并导入知识图谱中，应用知识包(图2)是指视频分类或者应用需要设定的某一些特定规则下的分类标签以及其对应的特征关键词；
[0027]第三步，利用深度学习的语音识别技术，将视频的字幕信息识别出来，结合标题形成文档并进行预处理；
[0028]第四步，利用自然语言处理中的关键词匹配技术，按基础知识包的类别分别查找上述文档中的基础知识包内的末端节点的关键词及其基础知识包类别；
[0029]第五步，利用第四步查找的关键词，反向搜索应用知识包标签，最后进行定制化微调，输出标签。
[0030]具体的，
[0031]第一步中，基础知识包的整理主要是类似：中国
‑‑
云南
‑‑
怒江
‑‑
泸水县,福贡,贡山,兰坪,怒江，这样的有层级的知识整理，并利用Cypher 的loadcsv命令导入到形如neo4j知识图谱中；设所有基础知识包的末端节点集合为baselist，baselist本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于知识图谱的视频标签提取方法，其特征是该方法基于深度学习自然语言处理技术和知识图谱技术，应用于视频媒体领域，包括：第一步，根据专业知识整理若干个基础知识包，并将这些基础知识包内的词组按照层级关系整理到excel并导入到知识图谱中,基础知识包是指某一个特定领域的基础知识的所有层级类别以及其对应的实体关键词；第二步，根据第一步得到的基础知识包的特征词的组合特征整理应用知识包，整理这些知识到excel并导入知识图谱中，应用知识包是指视频分类或者应用需要设定的某一些特定规则下的分类标签以及其对应的特征关键词；第三步，利用深度学习的语音识别技术，将视频的字幕信息识别出来，结合标题形成文档并进行预处理；第四步，利用自然语言处理中的关键词匹配技术，按第一步得到的基础知识包的类别分别查找第三步中得到的文档中的基础知识包内的末端节点的关键词及其基础知识包类别；第五步，利用第四步查找的关键词，反向搜索应用知识包标签，最后进行定制化微调，输出标签。2.如权利要求1所述的基于知识图谱的视频标签提取方法，其特征是所述的第一步中，利用Cypher的load csv命令导入到neo4j知识图谱中，设所有基础知识包的末端节点集合为baselist，baselist中包含了所有关键词。3.如权利要求2所述的基于知识图谱的视频标签提取方法，其特征是所述的第二步中，设所有应用知...

【专利技术属性】
技术研发人员：孙伟芳，朱立松，黄建杰，
申请(专利权)人：央视国际网络无锡有限公司，
类型：发明
国别省市：