融合数据质量多维度评估的网情态势动态绘制系统及方法技术方案

本发明专利技术公开是关于一种融合数据质量多维度评估的网情态势动态绘制系统及方法，涉及网络空间认知技术领域。包括：数据采集范围圈定单元，分析经济、民生、政治区域性特点；数据汇聚单元依据圈定的数据采集范围，采用不同的数据获取手段获取数据；数据治理单元构建数据资源目录，形成数据资源池；数据关联分析挖掘单元，构建知识图谱模型，形成人物、组织、事件等全息关联库；网情态势感知单元进行网情态势的感知，动态绘制网情地图，实时监测网情态势。本发明专利技术结合数据质量评估，融合数据采集、数据分析挖掘及情报分析等多个维度，提出了网情态势监测体系，实现面向特定区域的网情扩展了横向分析的广度、纵向分析的深度，完成网情态势的动态绘制。

【技术实现步骤摘要】
融合数据质量多维度评估的网情态势动态绘制系统及方法
本专利技术公开涉及网络空间认知
，尤其涉及一种融合数据质量多维度评估的网情态势动态绘制系统及方法。
技术介绍
目前关于整体网情态势并没有完整的体系与技术架构，最与其相关的就是网络舆情的监测的相关技术，现有网络舆情监测技术主要是通过互联网开源信息采集、数据处理、数据分析、自然语言处理等技术，对互联网海量开源信息实时采集、自动依据数据特征实现主题分类、内容聚类及情感分析，并自动发现热点事件及主题，支撑用户对相关网络舆情监测和专题事件追踪等。现有技术主要存在以下几方面的问题：(1)现有舆情监测方法主要是针对部分社交网站及新闻媒体等对象，自动采集数据后，对数据进行清洗，直接进行情感分析、主题检测及情报研判。虽然部分技术已相对成熟，但是分析维度不完整，缺乏完善的网情分析监测的体系来指导整体的网情态势分析及动态绘制。(2)现有舆情监测分析对象往往为小范围的目标客户，其监测覆盖范围面不全，面对大的目标网情监测时，未基于特定区域网民的网络活动范围圈定采集范围相一致。(3)网情数据分析结果准确性完全依赖数据源的质量，但是现有网情监测体系并未对舆情数据源的质量评估，无法对数据质量管控，会影响情报研判的结果。解决上述技术问题的难度在于：现有舆情分析技术覆盖不全面，网情分析体系构建难；海量数据的数据质量体系不完整，数据质量评估难；数据质量未网情分析体系结合，数据准确性无法保证，无法有力支撑情报研判。解决上述技术问题的意义在于：构建完善的网情分析体系，实现网情全精准监控，有力辅助情报决策与研判；构建数据质量评估体系，融合至网情分析体系内，高效实时评估数据质量，提升整体网情数据的准确性，有效解决数据问题导致情报研判结果不准确的问题。
技术实现思路
本专利技术立足于认知域，从网情分析出发，解决现有网情分析体系不完善、监测分析对象覆盖范围与特定区域的网民网络活动范围不一致、网情数据分析准确性无法有效评估的问题。本专利技术公开实施例提供了一种融合数据质量多维度评估的网情态势动态绘制系统及方法。所述技术方案如下：该融合数据质量多维度评估的网情态势动态绘制系统，包括：数据采集范围圈定单元，分析经济、民生、政治区域性特点，结合网民网络行为，圈定网民活动的主要社交平台、新闻媒体、民调机构数据采集的范围；数据汇聚单元，依据圈定的数据采集范围，采用不同的数据获取手段获取数据，依据不同数据类型进行数据汇聚，数据来源于人工整编、开源数据与非合作方式获取数据；数据治理单元，对数据汇聚后，对数据进行基础清洗、字段标准化，自动添加数据标签，构建数据资源目录，形成数据资源池，并从数据接入、存储、分析使用，形成高价值数据库；数据关联分析挖掘单元，基于高价值数据库，依据人物、组织、活动的不同的维度形成不同的主题分类，并构建知识图谱模型，形成人物、组织的全息关联库；网情态势感知单元，在数据关联分析挖掘的基础上，进行网情态势的感知，动态绘制网情地图，实时监测网情态势。在一个实施例中，所述数据汇聚方式包括文件导入、数据库抽取、FTP文件接入及流数据接入。在一个实施例中，数据治理单元从数据及时性、有效性、波动性、关联性、一致性、正确性、规范性、唯一性、完整性九个维度自动发现质量问题，不断解决问题提升数据资源的价值。在一个实施例中，网情态势感知单元从综合数据分析、区域舆情分析、境外舆情分析、重点人物及组织分析、重大事件分析、情报分析报告角度进行网情态势的感知。本专利技术的另一目的在于提供一种实现所述融合数据质量多维度评估的网情态势动态绘制系统的方法，该融合数据质量多维度评估的网情态势动态绘制方法包括以下步骤：步骤一、数据采集与汇聚；首先结合区域特点分析数据提前设定的各种数据来源，之后借助于多种数据采集手段获取数据，并将多源数据汇聚到数据平台。在汇聚过程进行实时的数据质量评估。该模块主要通过提供基础数据来支撑整个业务。步骤二、数据治理；通过数据质量多维度评估，保障数据的及时性、准确性等；通过数据清洗、转换、归约等方式，保证数据的有效性；通过数据资源目录、数据标签、数据权限管理，保证数据的可用性与安全性。步骤三、数据服务；对数据进行分层建模，构建不同的基础库、关联库，进行数据服务发布，支撑不同的数据需求与业务需求。步骤四、网情态势动态绘制。基于网情分析体系，实现面向特定区域的网情的多维度、全方位的分析，动态绘制整体网情态势。在一个实施例中，所述数据采集与汇聚包括以下步骤：步骤一、基于政治、经济、民生区域性特点，划定针对权威性网站或者有代表性的网站作为开源数据的重要来源之一；步骤二、基于网民网络行为分析，划定网民网络活动的主要社交平台和新闻媒体作为网情态势基础数据来源的基础；步骤三、形成面向网络采集目标；步骤四、通过网络爬虫、系统日志采集及人工整编的方式实现数据的实时或者定时的采集，并通过数据安全通道传输到数据汇聚平台；步骤五、在数据汇聚过程中，从数据的及时性、有效性、完整性等多个维度进行数据质量的初步判定；步骤六、基于FTP方式、流式、文件导入的方式将经过数据质量初步判定后的数据，依据数据来源分类存储到数据汇聚系统；步骤七、采用数据汇聚实时监控，实时监控数据汇聚的状态，保证数据汇聚的稳定性。在一个实施例中，数据治理包括以下步骤：步骤一、接收到系统后，对汇聚数据进行实时的完整性、准确性、有效性、唯一性、正确性、及时性维度进行评估；步骤二、基于实时数据质量检测结果，对数据质量的判定结果进行日志记录及告警；步骤三、基于数据质量检测存在的问题，对数据进行自动的清洗与转换；步骤四、制定数据标准，基于数据标准与数据研判，构建数据资源池；步骤五、建立数据标签体系，对数据标签进行分级分类，实现表级别、字段级别、数据级别的标签定义；步骤六、依据数据的类型，从数据来源与数据分类角度，构建数据资源目录；步骤七、实现数据资源目录与数据标签体系的数据资源查询，并对数据资源的访问权限实现细粒度的控制。在一个实施例中，所述数据服务包括以下步骤：步骤一、将数据资源分为原始层、标准层、基础层及主题层，对不同层进行分层建模，原始层主要存储原始汇聚数据；标准层存储的为原始层数据清洗后的数据；基础层是对标准层数据进行融合、关联，形成的人物、组织、事件、行为等基础库；主题层主要是面向不同的业务应用所提取融合后的数据；步骤二、对数据资源池中的数据进行深度的融合关联，挖掘数据之间的关联关系，形成知识图谱；步骤三、基于已形成的数据关联库与业务库，配置数据资源的访问权限与开放程度，形成数据开放目录；步骤四、用户基于数据开放目录进行数据服务申请，系统接收到用户服务申请，基于数据服务的需求，基于数据统计、分析、挖掘方法，生成数据服务内容，并进行服务发布。在一个实施例中，数据资源的属性及本文档来自技高网...

【技术保护点】
1.一种融合数据质量多维度评估的网情态势动态绘制系统，其特征在于，该融合数据质量多维度评估的网情态势动态绘制系统包括：/n数据采集范围圈定单元，分析经济、民生、政治区域性特点，结合网民网络行为，圈定网民活动的主要社交平台、新闻媒体、民调机构数据采集的范围；/n数据汇聚单元，依据圈定的数据采集范围，采用不同的数据获取手段获取数据，依据不同数据类型进行数据汇聚，数据来源于人工整编、开源数据与非合作方式获取数据；/n数据治理单元，对数据汇聚后，对数据进行基础清洗、字段标准化，自动添加数据标签，构建数据资源目录，形成数据资源池，并从数据接入、存储、分析使用，形成高价值数据库；/n数据关联分析挖掘单元，基于高价值数据库，依据人物、组织、活动的不同的维度形成不同的主题分类，并构建知识图谱模型，形成人物、组织的全息关联库；/n网情态势感知单元，在数据关联分析挖掘的基础上，进行网情态势的感知，动态绘制网情地图，实时监测网情态势。/n

【技术特征摘要】
1.一种融合数据质量多维度评估的网情态势动态绘制系统，其特征在于，该融合数据质量多维度评估的网情态势动态绘制系统包括：
数据采集范围圈定单元，分析经济、民生、政治区域性特点，结合网民网络行为，圈定网民活动的主要社交平台、新闻媒体、民调机构数据采集的范围；
数据汇聚单元，依据圈定的数据采集范围，采用不同的数据获取手段获取数据，依据不同数据类型进行数据汇聚，数据来源于人工整编、开源数据与非合作方式获取数据；
数据治理单元，对数据汇聚后，对数据进行基础清洗、字段标准化，自动添加数据标签，构建数据资源目录，形成数据资源池，并从数据接入、存储、分析使用，形成高价值数据库；
数据关联分析挖掘单元，基于高价值数据库，依据人物、组织、活动的不同的维度形成不同的主题分类，并构建知识图谱模型，形成人物、组织的全息关联库；
网情态势感知单元，在数据关联分析挖掘的基础上，进行网情态势的感知，动态绘制网情地图，实时监测网情态势。


2.根据权利要求1所述的融合数据质量多维度评估的网情态势动态绘制系统，其特征在于，所述数据汇聚方式包括文件导入、数据库抽取、FTP文件接入及流数据接入。


3.根据权利要求1所述的融合数据质量多维度评估的网情态势动态绘制系统，其特征在于，数据治理单元从数据及时性、有效性、波动性、关联性、一致性、正确性、规范性、唯一性、完整性九个维度自动发现质量问题，不断解决问题提升数据资源的价值。


4.根据权利要求1所述的融合数据质量多维度评估的网情态势动态绘制系统，其特征在于，网情态势感知单元从综合数据分析、区域舆情分析、境外舆情分析、重点人物及组织分析、重大事件分析、情报分析报告角度进行网情态势的感知。


5.一种实现如权利要求1至4任意一项所述融合数据质量多维度评估的网情态势动态绘制系统的方法，其特征在于，该融合数据质量多维度评估的网情态势动态绘制方法包括以下步骤：
步骤一、数据采集与汇聚；结合区域特点分析数据提前设定的数据来源，借助于多种数据采集手段获取数据，并将多源数据汇聚到数据平台；在汇聚过程进行实时的数据质量评估；
步骤二、数据治理；通过数据质量多维度评估，保障数据的及时性、准确性；通过数据清洗、转换、归约方式，保证数据的有效性；通过数据资源目录、数据标签、数据权限管理，保证数据的可用性与安全性；
步骤三、数据服务；对数据进行分层建模，构建不同的基础库、关联库，进行数据服务发布，支撑不同的数据需求与业务需求
步骤四、网情态势动态绘制，基于网情分析体系，实现面向特定区域的网情的多维度、全方位的分析，动态绘制整体网情态势。


6.根据权利要求5所述的融合数据质量多维度评估的网情态势动态绘制方法，其特征在于，所述数据采集与汇聚包括以下步骤：
步骤一、基于政治、经济、民生区域性特点，划定针对权威性网站或者有代表性的网站作为开源数据的重要来源之一；
步骤二、基于网民网络行为分析，划定网民网络活动的主要社交平台和新闻媒体作为网情态势基础数据来源的基础；
步骤三、形成面向网络采集目标；
步骤四、通过网络爬虫、系统日志采集及人工整编的方式实现数据的实时或者定时的采集，并通过数据安全通道传输到数据汇聚平台；
步骤五、在数据汇聚过程中，从数据的及时性、有效性、完整性多个维度进行数据质量的初步判定；
步骤六、基于FTP方式、流式、文件导入的方式将经过数据质量初步判定后的数据，依据数据来源分类存储到数据汇聚系统；
步骤七、采用数据汇聚实时监控，实时监控数据汇聚的状态，保证数据汇聚的稳定性。


7.根据权...

【专利技术属性】
技术研发人员：曾曦，陈天莹，万力，李霄，曾平，黄金龙，
申请(专利权)人：深圳市网联安瑞网络科技有限公司，
类型：发明
国别省市：广东;44