一种基于事件文本分类的社会治理相关数据处理方法技术

技术编号:35995227 阅读:16 留言:0更新日期:2022-12-17 23:11
本发明专利技术公开了一种基于事件文本分类的社会治理相关数据处理方法,本发明专利技术提供的方法,通过对待分类事件文本数据进行分词处理,得到对应的分词结果,将待分类事件文本数据对应的分词结果输入到训练好的事件文本数据分类模型中,得到待分类事件文本数据的分类标签,实现了对事件文本数据的自动化分类,解决了传统采用人力对事件文本数据进行分类的方法存在的效率低且浪费人力资源的问题。的效率低且浪费人力资源的问题。的效率低且浪费人力资源的问题。

【技术实现步骤摘要】
一种基于事件文本分类的社会治理相关数据处理方法


[0001]本专利技术涉及大数据分析
,具体涉及一种基于事件文本分类的社会治理相关数据处理方法。

技术介绍

[0002]传统数据分类方式大多单独使用单一分类规则进行分类、抽取,使用sql(结构化查询语言)查询往往无法满足对数据的深入分析;且现有对于数据如矛盾排查上报以及治安等社会治理相关数据的分类治理大多采用人工治理,存在工作效率低、需要大量人力资源等缺点。

技术实现思路

[0003]因此,本专利技术要解决的技术问题在于克服现有采用人工治理数据存在的效率低、浪费资源的缺陷,从而提供一种基于事件文本分类的社会治理相关数据处理方法。
[0004]根据第一方面,本专利技术实施例公开了一种事件文本数据分类模型构建方法,包括:获取事件文本数据集;对所述事件文本数据集中的事件文本数据进行分词处理得到每一个事件文本数据对应的分词结果;根据所述每一个事件文本数据对应的分词结果对所述每一个事件文本数据对应分词进行预分类;根据所述每一个事件文本数据对应分词的预分类结果,利用对应的预设标签体系对所述每一个事件文本数据对应的分词形成的分词组合进行标注,得到带有标签的分词组合数据,其中不同分词组合的标签表征不同类型事件;利用所述带有标签的分词组合数据对预设模型进行训练直至满足目标训练条件,得到事件文本数据分类模型。
[0005]可选地,所述对所述事件文本数据集中的事件文本数据进行分词处理得到每一个事件文本数据对应的分词结果,包括:对所述事件文本数据进行分词处理得到分词数据;对所述分词数据进行降维处理,得到每一个事件文本数据对应的分词结果。
[0006]可选地,所述对所述事件文本数据进行分词处理得到分词数据,包括:对所述事件文本数据进行脱敏处理得到脱敏数据;对所述脱敏数据进行预处理;对经过预处理的所述脱敏数据进行分词处理得到分词数据。
[0007]可选地,所述事件文本数据包括民生以及民安类文本数据。
[0008]可选地,所述预设标签体系包括针对所述民生以及民安类文本数据制定的多级标签体系。
[0009]根据第二方面,本专利技术实施例还公开了一种基于事件文本分类的社会治理相关数据处理方法,包括:获取待分类事件文本数据;对所述待分类事件文本数据进行分词处理得到对应的分词结果数据;将所述分词结果数据输入到事件文本数据分类模型中进行分类,所述事件文本数据分类模型通过如第一方面或第一方面任一可选实施方式所述的事件文本数据分类模型构建方法得到;根据所述分词结果数据的分类结果确定所述待分类事件文本数据的分类标签。
[0010]根据第三方面,本专利技术实施例还公开了一种事件文本数据分类模型构建装置,包括:第一获取模块,用于获取事件文本数据集;第一分词模块,用于对所述事件文本数据集中的事件文本数据进行分词处理得到每一个事件文本数据对应的分词结果;预分类模块,用于根据所述每一个事件文本数据对应的分词结果对所述每一个事件文本数据对应分词进行预分类;标注模块,用于根据所述每一个事件文本数据对应分词的预分类结果,利用对应的预设标签体系对所述每一个事件文本数据对应的分词形成的分词组合进行标注,得到带有标签的分词组合数据,其中不同分词组合的标签表征不同类型事件;训练模块,用于利用所述带有标签的分词组合数据对预设模型进行训练直至满足目标训练条件,得到事件文本数据分类模型。
[0011]根据第四方面,本专利技术实施例还公开了一种基于事件文本分类的社会治理相关数据处理装置,包括:第二获取模块,用于获取待分类事件文本数据;第二分词模块,用于对所述待分类事件文本数据进行分词处理得到对应的分词结果数据;分类模块,用于将所述分词结果数据输入到事件文本数据分类模型中进行分类,所述事件文本数据分类模型通过如第一方面或第一方面任一可选实施方式所述的事件文本数据分类模型构建方法得到;确定模块,用于根据所述分词结果数据的分类结果确定所述待分类事件文本数据的分类标签。
[0012]根据第五方面,本专利技术实施例还公开了一种电子设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器执行如第一方面或第一方面任一可选实施方式所述的事件文本数据分类模型构建方法的步骤,或执行如第二方面所述的基于事件文本分类的社会治理相关数据处理方法的步骤。
[0013]根据第六方面,本专利技术实施方式还公开了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如第一方面或第一方面任一可选实施方式所述的事件文本数据分类模型构建方法的步骤,或实现如第二方面所述的基于事件文本分类的社会治理相关数据处理方法的步骤。
[0014]本专利技术技术方案,具有如下优点:
[0015]本专利技术提供的事件文本数据分类模型构建方法/装置,包括:获取事件文本数据集;对事件文本数据集中的事件文本数据进行分词处理得到每一个事件文本数据对应的分词结果;根据每一个事件文本数据对应的分词结果对每一个事件文本数据对应分词进行预分类;根据每一个事件文本数据对应分词的预分类结果,利用对应的预设标签体系对每一个事件文本数据对应的分词形成的分词组合进行标注,得到带有标签的分词组合数据,其中不同分词组合的标签表征不同类型事件;利用带有标签的分词组合数据对预设模型进行训练直至满足目标训练条件,得到事件文本数据分类模型。本专利技术的方法,通过对事件文本数据进行分词处理,得到每一个事件文本数据对应的分词结果;对每一个事件文本数据对应的分词结果进行预分类;根据预分类结果,对利用对应的预设标签体系对每一个事件文本数据对应的分词形成的分词组合进行标注,得到带有标签的分词组合数据;利用带有标签的分词组合数据对预设模型进行训练,得到事件文本数据分类模型,后续利用该模型对事件文本数据进行分类,实现了对事件文本数据的自动化分类、治理。
附图说明
[0016]为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本专利技术的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
[0017]图1为本专利技术实施例中事件文本数据分类模型构建方法的一个具体示例的流程图;
[0018]图2为本专利技术实施例中基于事件文本分类的社会治理相关数据处理方法的一个具体示例的流程图;
[0019]图3为本专利技术实施例中事件文本数据分类模型构建装置的一个具体示例的原理框图;
[0020]图4为本专利技术实施例中基于事件文本分类的社会治理相关数据处理装置的一个具体示例的原理框图;
[0021]图5为本专利技术实施例中电子设备的一个具体示例图。
具体实施方式
[0022]下面将结合附图对本专利技术的技术方案进行清楚、完整地描述,显然,所描述的实施例是本专利技术一部分实施例,而不是全部本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种事件文本数据分类模型构建方法,其特征在于,包括:获取事件文本数据集;对所述事件文本数据集中的事件文本数据进行分词处理得到每一个事件文本数据对应的分词结果;根据所述每一个事件文本数据对应的分词结果对所述每一个事件文本数据对应分词进行预分类;根据所述每一个事件文本数据对应分词的预分类结果,利用对应的预设标签体系对所述每一个事件文本数据对应的分词形成的分词组合进行标注,得到带有标签的分词组合数据,其中不同分词组合的标签表征不同类型事件;利用所述带有标签的分词组合数据对预设模型进行训练直至满足目标训练条件,得到事件文本数据分类模型。2.根据权利要求1所述的方法,其特征在于,所述对所述事件文本数据集中的事件文本数据进行分词处理得到每一个事件文本数据对应的分词结果,包括:对所述事件文本数据进行分词处理得到分词数据;对所述分词数据进行降维处理,得到每一个事件文本数据对应的分词结果。3.根据权利要求2所述的方法,其特征在于,所述对所述事件文本数据进行分词处理得到分词数据,包括:对所述事件文本数据进行脱敏处理得到脱敏数据;对所述脱敏数据进行预处理;对经过预处理的所述脱敏数据进行分词处理得到分词数据。4.根据权利要求1所述的方法,其特征在于,所述事件文本数据包括民生以及民安类文本数据。5.根据权利要求4所述的方法,其特征在于,所述预设标签体系包括针对所述民生以及民安类文本数据制定的多级标签体系。6.一种基于事件文本分类的社会治理相关数据处理方法,其特征在于,包括:获取待分类事件文本数据;对所述待分类事件文本数据进行分词处理得到对应的分词结果数据;将所述分词结果数据输入到事件文本数据分类模型中进行分类,所述事件文本数据分类模型通过如权利要求1

5任一项所述的事件文本数据分类模型构建方法得到;根据所述分词结果数据的分类结果确定所述待分类事件文本数据的分类标签。7.一种事件文本数据分类模型构建装置,其特征在于,包括:第一获取模块,用...

【专利技术属性】
技术研发人员:肖刚吴振刚姜国晨孔凡尘韩府澎
申请(专利权)人:高创安邦北京技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1