自动化企业舆情监控方法、系统、存储介质及电子设备技术方案

本发明专利技术公开了一种自动化企业舆情监控方法、系统、存储介质及电子设备，其中自动化企业舆情监控方法包括：数据获取，针对目标企业于特定网站，获取其对应表层网页及深层网页相关数据。数据清洗，对获取到的相关数据进行去除冗余操作，保留关键数据。数据存储，将关键数据进行存储操作。以及数据可视化，将存储后的关键数据以多个模块在可视化平台进行展示。借此，本发明专利技术的自动化企业舆情监控方法，效率高，且准确性高。

【技术实现步骤摘要】
自动化企业舆情监控方法、系统、存储介质及电子设备
本专利技术是关于一种自动化企业舆情监控方法、系统、存储介质及电子设备。
技术介绍
随着监管机构对互联网金融市场监管收紧，对金融公司的风控管理要求愈发的趋于严厉，传统融资担保业务模式的风控管理已不满足于现有的监管要求，线上融资业务模式(资产方+担保方+资金方)已成为市场的主力军。在该业务模式下，为了更好的做好风控管理，防范于异常状况发生，所以对机构的舆情监控成为一种重要的风控手段。当下对企业的舆情监控方式多为人工手动方式，定期对机构进行网络搜索，筛选，汇总后输出分析报告，这种方式不仅耗时耗力，效率低下且无法保证舆情的实效性，而且舆情的准确度极度依赖分析人员的技能水平，导致输出报告层次不齐无法做到稳定一致，对监控准确度大打折扣。公开于该
技术介绍
部分的信息仅仅旨在增加对本专利技术的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。
技术实现思路
本专利技术的目的在于提供一种自动化企业舆情监控方法、系统、存储介质及电子设备，其效率高，且准确性高。为实现上述目的，本专利技术一方面提供了一种自动化企业舆情监控方法包括：数据获取，针对目标企业于特定网站，获取其对应表层网页及深层网页相关数据。数据清洗，对获取到的相关数据进行去除冗余操作，保留关键数据。数据存储，将关键数据进行存储操作。以及数据可视化，将存储后的关键数据以多个模块在可视化平台进行展示。在本专利技术的一实施方式中，数据获取是基于深层网络爬虫技术实现的。在本专利技术的一实施方式中，数据存储是基于分布式数据存储技术实现的。在本专利技术的一实施方式中，数据清洗是通过编写Python程序实现的，且所述数据清洗包括以下步骤：检查原表和产出表字段的匹配情况；检查字段是否有漂移情况；检查数据格式；以及根据检查情况进行相应的数据处理，包括删除字段漂移的实例，删除冗余字段，并将字段数据格式转化成需要的数据格式，并提供标准化输出。本专利技术另一方面提供了一种自动化企业舆情监控系统，包括：数据获取组件、数据清洗组件、数据存储组件以及数据可视化组件。数据获取组件用以针对目标企业于特定网站，获取其对应表层网页及深层网页相关数据。数据清洗组件对获取到的相关数据进行去除冗余操作，保留关键数据。数据存储组件将关键数据进行存储操作。以及数据可视化组件将存储后的关键数据以多个模块在可视化平台进行展示。在本专利技术的一实施方式中，数据获取组件是基于深层网络爬虫技术实现的。在本专利技术的一实施方式中，数据存储是基于分布式数据存储技术实现的。在本专利技术的一实施方式中，数据清洗组件是通过编写Python程序实现的，且数据清洗组件的清洗步骤包括以下步骤：检查原表和产出表字段的匹配情况；检查字段是否有漂移情况；检查数据格式；以及根据检查情况进行相应的数据处理，包括删除字段漂移的实例，删除冗余字段，并将字段数据格式转化成需要的数据格式，并提供标准化输出。与现有技术相比，根据本专利技术的自动化企业舆情监控方法、系统、存储介质及电子设备，其效率高，时效性高，且准确性高。附图说明图1是根据本专利技术一实施方式的自动化企业舆情监控方法的流程示意图；图2是根据本专利技术一实施方式的自动化企业舆情监控系统的方框结构示意图；图3是根据本专利技术一实施方式的用于执行自动化企业舆情监控方法的电子设备的结构示意图。具体实施方式下面结合附图，对本专利技术的具体实施方式进行详细描述，但应当理解本专利技术的保护范围并不受具体实施方式的限制。除非另有其它明确表示，否则在整个说明书和权利要求书中，术语“包括”或其变换如“包含”或“包括有”等等将被理解为包括所陈述的元件或组成部分，而并未排除其它元件或其它组成部分。图1是根据本专利技术一实施方式的自动化企业舆情监控方法的流程示意图。第一方面，本专利技术实施例提供了一种自动化企业舆情监控方法，如图1所示，包括步骤1至步骤4：步骤1，数据获取，针对目标企业于特定网站，获取其对应表层网页及深层网页相关数据；步骤2，数据清洗，对获取到的相关数据进行去除冗余操作，保留关键数据；步骤3，数据存储，将关键数据进行存储操作；步骤4，数据可视化，将存储后的关键数据以多个模块在可视化平台进行展示。在本专利技术的一实施方式中，数据获取是基于深层网络爬虫技术实现的。数据存储是基于分布式数据存储技术实现的。数据清洗是通过编写Python程序实现的，且所述数据清洗包括以下步骤：检查原表和产出表字段的匹配情况；检查字段是否有漂移情况；检查数据格式；以及根据检查情况进行相应的数据处理，包括删除字段漂移的实例，删除冗余字段，并将字段数据格式转化成需要的数据格式，并提供标准化输出。图2是根据本专利技术一实施方式的自动化企业舆情监控系统的方框结构示意图。第二方面，本专利技术实施例还提供了一种自动化企业舆情监控系统，如图2所示，包括：数据获取组件1、数据清洗组件2、数据存储组件3以及数据可视化组件4。数据获取组件1用以针对目标企业于特定网站，获取其对应表层网页及深层网页相关数据。数据清洗组件2对获取到的相关数据进行去除冗余操作，保留关键数据。数据存储组件3将关键数据进行存储操作。以及数据可视化组件4将存储后的关键数据以四个模块在可视化平台进行展示，但本专利技术并不以此为限，可以根据实际需求确定模块的数量，例如上述的四个模块可为：股票走势模块、分析师评级模块、舆情监控模块和行情分析模块。在本专利技术的一实施方式中，数据获取组件1是基于深层网络爬虫技术实现的。数据存储是基于分布式数据存储技术实现的。数据清洗组件2是通过编写Python程序实现的，且数据清洗组件2的清洗步骤包括以下步骤：检查原表和产出表字段的匹配情况；检查字段是否有漂移情况；检查数据格式；以及根据检查情况进行相应的数据处理，包括删除字段漂移的实例，删除冗余字段，并将字段数据格式转化成需要的数据格式，并提供标准化输出。第三方面，本专利技术实施例还提供了一种存储介质，存储介质存储有计算机可执行指令，所述计算机可执行指令用于执行上述的自动化企业舆情监控方法。其中，所述存储介质可以是计算机能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(MO)等)、光学存储器(例如CD、DVD、BD、HVD等)、以及半导体存储器(例如ROM、EPROM、EEPROM、非易失性存储器(NANDFLASH)、固态硬盘(SSD))等。第四方面，图3示出了本专利技术的另一个实施例的一种电子设备的结构框图。所述电子设备1100可以是具备计算能力的主机服务器、个人计算机PC、或者可携带的便携式计算机或终端等。本专利技术具体实施例并不对电子设备的具体实现做限定。该电子设备1100包括至少一个处理器(processor)1110、通信接口(CommunicationsInterface)1120、存储器(memoryarray)本文档来自技高网...

【技术保护点】
1.一种自动化企业舆情监控方法，其特征在于，包括：/n数据获取，针对目标企业于特定网站，获取其对应表层网页及深层网页相关数据；/n数据清洗，对获取到的相关数据进行去除冗余操作，保留关键数据；/n数据存储，将所述关键数据进行存储操作；以及/n数据可视化，将存储后的所述关键数据以多个模块在可视化平台进行展示。/n

【技术特征摘要】
1.一种自动化企业舆情监控方法，其特征在于，包括：
数据获取，针对目标企业于特定网站，获取其对应表层网页及深层网页相关数据；
数据清洗，对获取到的相关数据进行去除冗余操作，保留关键数据；
数据存储，将所述关键数据进行存储操作；以及
数据可视化，将存储后的所述关键数据以多个模块在可视化平台进行展示。


2.如权利要求1所述的自动化企业舆情监控方法，其特征在于，所述数据获取是基于深层网络爬虫技术实现的。


3.如权利要求1所述的自动化企业舆情监控方法，其特征在于，所述数据存储是基于分布式数据存储技术实现的。


4.如权利要求1所述的自动化企业舆情监控方法，其特征在于，所述数据清洗是通过编写Python程序实现的，且所述数据清洗包括以下步骤：
检查原表和产出表字段的匹配情况；
检查字段是否有漂移情况；
检查数据格式；以及
根据检查情况进行相应的数据处理，包括删除字段漂移的实例，删除冗余字段，并将字段数据格式转化成需要的数据格式，并提供标准化输出。


5.一种自动化企业舆情监控系统，其特征在于，包括：
数据获取组件，用以针对目标企业于特定网站，获取其对应表层网页及深层网页相关数据；
数据清洗组件，对获取到的相关数据进行去除冗余操作，保留关键数据；
数据存储组件，将所述关键数据进行存储...

【专利技术属性】
技术研发人员：乐誉隆，郭健飞，陈建荣，
申请(专利权)人：上海尧信惠达信息科技有限公司，
类型：发明
国别省市：上海;31