System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 面向情报数据关键知识智能提取的方法和系统技术方案_技高网

面向情报数据关键知识智能提取的方法和系统技术方案

技术编号:43325354 阅读:3 留言:0更新日期:2024-11-15 20:24
本发明专利技术涉及人工智能技术领域,提供一种面向情报数据关键知识智能提取的方法通过获取原始数据,将原始数据预处理后进行向量化,根据预设标签从向量空间提取词汇,提取词汇进行频率统计,得到关键词;再由生成式语言模型约简生成摘要数据,通过机器学习模型进行情感倾向分析,通过构建知识图谱,最终能够提取词汇、关键词、摘要数据、文本情感倾向数据等多个维度类别的结构化知识数据并可视化显示。本发明专利技术还公开了一种系统,该方法和系统不仅能够自动地、智能地、实时地将互联网产生的多种类型的数据,转变为文本数据,过滤无关噪声或低质量的内容,快速约简且精准地提取与用户需求紧密相关的信息,进而提高数据的利用效率和利用率。

【技术实现步骤摘要】

本专利技术涉及人工智能,特别涉及一种面向情报数据关键知识智能提取的方法和系统


技术介绍

1、技术情报具有高度的时效性和专业性,涵盖最新的科研成果、技术动态、行业趋势等。随着互联网的快速发展和信息爆炸,技术情报存在于海量的互联网资讯信息中,由于信息量巨大且分散,获取和利用这些有价值的数据面临着巨大的挑战。技术情报的时效性要求非常高。科研成果、技术动态和行业趋势等信息需要及时获取和处理,以便相关领域的专业人员能够迅速作出反应,跟踪最新的发展动态。互联网信息虽然丰富多样,但其中包含了大量的噪音和无关信息,专业性较强的技术情报往往隐藏在庞大的信息海洋中。如何高效、准确地从海量互联网资讯中筛选、归纳和总结出关键的技术情报,不仅需要强大的自然语言处理和机器学习技术支持,还需要一套高效的信息过滤和分类系统,来提高情报的利用率,这对于提升科研和产业的竞争力具有重要意义。

2、cn112667821a公开了一种基于百科数据的军事知识图谱构建和问答方法,包括步骤1:爬取百科的分类数据,将上述的分类数据视作概念数据,将爬取后的分类数据添加到图数据库中,同时建立概念之间的从属关系;步骤2:迭代批量读取、处理百科数据,所述的百科数据是百科词条的集合,提取出百科词条中的同一实体名称的多种表述,所述的同一实体名称的多种表述称之为同义词,将这些同义词添加到图数据库中,同时建立实体名称和它的同义词之间的关系;步骤3:使用elasticsearch创建扩展实体的搜索库,在elasticsearch中,创建索引,配置中文分词引擎,将所有的百科数据导入elasticsearch中,创建扩展实体的搜索库;步骤4:解析处理百科数据,提取实体信息,添加更新同义词数据,采用规则和文本分类的方法过滤军事实体,添加更新军事类实体信息到图数据库中,建立实体与概念之间的关系,处理军事实体信息关联的扩展实体信息,搜索获取扩展实体信息,判断类别,添加扩展信息到图数据库,建立实体与拓展实体之间的关系;步骤5:获取输入的实体查询或问句,解析查询语句,查询问句的同义词,通过实体识别获取问句的实体提及,扩展实体提及,解析出关系相关的关键词,匹配查询图数据库,计算问句与实体属性或关系词的相关度,返回排序最高并高于阈值的实体或属性信息。

3、cn115878811a公开了一种基于事理图谱的军事情报智能分析及推演方法,步骤一:事理图谱自动构建事理图谱的构建过程包括数据采集与清洗、事件逻辑抽取、多模态数据融合以及事理规则学习四部分内容;1)数据采集与清洗;数据采集时,从数据源进行引接,并进行高并发实时采集,然后对采集的数据进行清洗,包括通过定制化数据清洗模型,去除无关内容,将待处理的文本转化为进一步分析所需要的输入格式数据;2)事件逻辑抽取;构建wasserstein生成式对抗网络模型针对清洗后的数据,对主题事件、属性和逻辑关系进行自动抽取,形成逻辑关系嵌入向量,以挖掘现实世界中的事理知识信息;3)多模态数据融合;通过使用多模态联合网络化合成表示将所抽取的不同来源、不同手段、不同结构的数据进行统一的表征与管理,得到多模态统一表征网络;4)事件规则学习;事件规则学习是面向所述多模态统一表征网络,通过一定的认知推理方法,挖掘事件网络模型之间的逻辑关系,从而使得网络以人类认知理解方式进行推理,实现事件认知图谱的应用;在事件规则学习过程中,针对多模态统一表征网络,首先使用transformer的编码器结构提取文本的嵌入向量,使用cnn方法提取图像的嵌入向量,形成事件图谱的嵌入向量,然后融合事件逻辑抽取的逻辑关系嵌入向量,形成多模态嵌入表征,从而完成异构网络模型间的语义及时空关联,实现事理规则的学习及推理,得到多模态事理图谱,多模态事理图谱包含图片、文本含有的事件、实体信息以及事件之间的逻辑关系;步骤二:以事件为中心的演化推断基于所构建的多模态事理图谱,通过对历史事件的复盘分析,将实战数据进行多方位的仿真推演,形成仿真推演模型,仿真推演过程包括战场环境、兵力部署、作战能力、动态目标这些关键要素信息的推演;通过结合事件信息及推演过程得到的战场环境、兵力部署、作战能力、动态目标这些关键要素,并引入时间维度信息,构建时序事件图谱,在时序事件图谱的基础上,根据客观实体和事件建立事件表征模型,事件表征模型中包含事件的基本要素以及影响事件发展的关键要素,然后将历史案例拟合结果与真实结果对比,优化所述仿真推演模型,最后预测出未来事件的不同发展趋势;其中,通过结合步骤一得到的多模态事理图谱、所述时序事件图谱的方式进行事件推理预测;首先应用多模态事理图谱进行推理:对于发生的新事件,计算其与多模态事理图谱中各个节点的相似度,找到多模态事理图谱中与该新事件最相似的节点;然后,根据与新事件最相似的节点在多模态事理图谱中的泛化节点,进而推演该新事件基于多模态事理图谱的后续的演化方向;在完成基于多模态事理图谱的推理后,根据时序事件图谱,将对未来事件预测的任务,抽象为对时序事件图谱未来状态的推理任务,其中,通过对历史事件信息进行循环编码、对时序事件图谱中的相邻事件的信息进行聚合,通过聚合的历史事件、时序相邻事件以及同时发生事件,推断出关于所有事件的联合概率分布,从而预测未来事件发生的概率;最终,对于基于多模态事理图谱和时序事件图谱的事件推理结果,通过概率融合的方式获取最终的事件推理结果。

4、cn115408532a公开了一种面向开源情报的武器装备知识图谱构建方法,获取军事文本数据,对所述军事文本数据进行预处理,得到标准化的军事文本数据;根据所述标准化的军事文本数据确定待训练的军事文本数据,对所述待训练的军事文本数据进行标注处理,分别得到待训练的武器装备实体识别数据集、待训练的武器装备属性提取数据集及待训练的武器装备实体链接数据集;将所述待训练武器装备实体识别数据集输入至对应的模型进行训练处理,得到训练后的实体识别模型;将所述待训练的武器装备属性提取数据集输入至对应的模型进行训练处理,得到训练后的关系抽取模型;将所述待训练的武器装备实体链接数据集输入至对应的模型进行训练处理,得到训练后的实体链接模型;基于所述实体识别模型与所述关系抽取模型对所述标准化的军事文本数据分别进行武器装备识别及武器装备属性提取操作,得到武器装备实体数据集及对应的武器装备属性数据集;基于实体链接模型,将所述武器装备实体数据集与武器装备知识图谱中已有的实体进行实体链接,得到目标候选实体数据集,根据所述目标候选实体数据集及所述武器装备属性数据集确定武器装备的目标属性数据集,将所述目标属性数据集存入数据库,得到武器装备知识图谱。

5、cn112307768a公开了一种面向人工智能科技企业的情报监控方法,情报自主订阅模块:用于描述企业对情报监控的需求;技术情报自动采集模块:用于提高情报采集的准确性和全面性;技术情报监控分析模块:用于根据企业的订阅需求,自动进行情报内容采集、筛选、清晰、汇总;语义网构建模块:用于对采集得到的情报内容进行深度分析和挖掘;情报自主订阅模块连接语义网构建模块,语义网构建模块还连接技术情报自动采集模块,技术情报自动采集模块还连接技术情报本文档来自技高网...

【技术保护点】

1.一种面向情报数据关键知识智能提取的方法,其特征在于,所述面向情报数据关键知识智能提取的方法包括:

2.根据权利要求1所述的面向情报数据关键知识智能提取的方法,其特征在于,所述预处理过程包括对图像数据和\或视频数据转变为文本数据。

3.根据权利要求2述的面向情报数据关键知识智能提取的方法,其特征在于,所述预处理过程还包括对文本数据中的词汇进行数据清洗和标准化处理。

4.根据权利要求1所述的面向情报数据关键知识智能提取的方法,其特征在于,所述预设标签包括xml格式的结构化标签库。

5.根据权利要求4所述的面向情报数据关键知识智能提取的方法,其特征在于,根据所述预设标签遍历计算所述第三信息数据,提取词汇后根据所述预设标签进行分类存储。

6.根据权利要求1-5任意一项所述的面向情报数据关键知识智能提取的方法,其特征在于,所述机器学习模型包括BERT或LSTM模型。

7.一种根据权利要求1-6任意一项所述的面向情报数据关键知识智能提取的方法的系统,其特征在于,所述系统包括,

8.根据权利要求7所述的系统,其特征在于,所述预处理单元包括标准化模块,用于对文本数据中的词汇进行数据清洗和标准化处理。

9.一种电子设备,其特征在于,至少一个处理器;以及

10.一种机器可读存储介质,其特征在于,该机器可读存储介质上存储有指令,该指令用于使得机器执行本申请如权利要求1-6中任意一项所述的方法。

...

【技术特征摘要】

1.一种面向情报数据关键知识智能提取的方法,其特征在于,所述面向情报数据关键知识智能提取的方法包括:

2.根据权利要求1所述的面向情报数据关键知识智能提取的方法,其特征在于,所述预处理过程包括对图像数据和\或视频数据转变为文本数据。

3.根据权利要求2述的面向情报数据关键知识智能提取的方法,其特征在于,所述预处理过程还包括对文本数据中的词汇进行数据清洗和标准化处理。

4.根据权利要求1所述的面向情报数据关键知识智能提取的方法,其特征在于,所述预设标签包括xml格式的结构化标签库。

5.根据权利要求4所述的面向情报数据关键知识智能提取的方法,其特征在于,根据所述预设标签遍历计算所述第三信息数据,提取...

【专利技术属性】
技术研发人员:杜臣勇赵新伟张佳宁
申请(专利权)人:北京知元创通信息技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1