一种基于物化缓存的网络大数据可视化方法技术

本发明专利技术公开一种基于物化缓存的网络大数据可视化方法，包括步骤：S1、数据包第一次传输至网络时，对数据包打上数字标签；S2、云存储端的前端物化缓存层接收数据包及数据包上的数字标签；S3、通过物化缓存层设置的文件类型识别技术，识别数据包内真实的数字标签内容，与初始上传的数字标签内容有无变化；S4、若无变化，通过物化缓存层内的显示窗口将数字标签内容通过图表的形式显示和保存在物化缓存层中；供用户实时查看；S5、若有变化，则判定其传输过程中有异常文件的插入，需重新验证新插入异常文件的合法性。本发明专利技术解决了现有缓存网络大数据可视化方法无法使缓存网络大数据内的文件基本信息清晰和综合反映至用户的可视化端口的问题。的问题。的问题。

【技术实现步骤摘要】
一种基于物化缓存的网络大数据可视化方法


[0001]本专利技术属于大数据处理
，具体来说，涉及一种基于物化缓存的网络大数据可视化方法。

技术介绍

[0002]大数据可视化是指在大数据自动分析挖掘方法的同时，利用支持信息可视化的用户界面以及支持分析过程的人机交互方式与技术，来有效融合计算机的计算能力和人的认知能力，以获得对于大规模复杂数据集的洞察力。不同于传统的信息可视化行业，大数据可视分析面临最大的一个挑战就是规模，即如何提出新的可视化方法能够帮助人们分析大规模、高维度、多来源、动态演化的信息，并辅助作出实时的决策，成为了这个领域最大的挑战。
[0003]在专利号为CN201910108187.X的中国专利技术专利中，公开了一种基于物化缓存的网络大数据可视化方法，包括步骤步骤一，确定时间段：根据用户需求，获取预定义时间段；步骤二，确定网络大数据搜索时间段：根据所述预定义时间段信息搜索网络大数据的数据；步骤三，收集网络大数据：按照预定义时间段从互联网自动检索并采集各种格式的数据，并对其进行打包，作为源数据，对源数据进行读取并存入原始数据库中，作为原始维修数据；步骤四，对原始维修数据进行处理和分析：对所述原始维修数据进行数据清洗、数据抽取和数据修复的转换，最终形成视情维修数据；步骤五，对视情维修数据进行分析：运用专业的数据分析方法分析数据，获取其中用户感兴趣的大数据信息；步骤六，对用户感兴趣的大数据信息进行缓存：将用户感兴趣的大数据信息使用数据库存储模块缓存至缓存数据库中；步骤七，对缓存至缓存数据库中的数据进行处理；基于Ajax技术和Webservice技术对所述缓存数据库中的网络大数据进行网络数据交换，并将交换后的网络大数据传输至浏览器；步骤八，对传输至浏览器的网络大数据进行可视化处理：结合WebGL技术和HTML5技术对传输至所述浏览器的网络大数据进行可视化分析，并将可视化分析结果以直观的可视化图形形式展示给用户；步骤九，物化缓存可视化网络大数据：将以直观的可视化图形形式展示给用户的网络大数据物化缓存至子数据库中，形成可视化网络大数据A；步骤十，建立可视化网络大数据B；步骤十一，可视化网络大数据C；步骤十二，重复步骤十或者步骤十一的动作，获取用户感兴趣的所有时间段可视化网络大数据信息；步骤十三，对比可视化网络大数据：将步骤九、步骤十、步骤十一和步骤十二获取的所有可视化网络大数据，经子数据库中的对比单元进行比对，获得不同时间段可视化网络大数据的区别。解决传统数据处理方法费时又费力，且无法正确分析的基础上，还能够将网络大数据进行比对，使用户能够更加清晰明了的知道不同时间段网络大数据的不同之处，有利于快速分析处理问题。
[0004]现有专利中的缺陷在于，现有专利虽然实现了通过网络大数据进行比对更加清晰明了的知道不同时间段网络大数据的不同之处；但是无法使缓存网络大数据内的文件基本信息清晰和综合反映至用户的可视化端口；导致缓存网络大数据内存储数据有无恶意插件插入数据包的行为难以把控。

技术实现思路

[0005]针对现有缓存网络大数据可视化方法无法使缓存网络大数据内的文件基本信息清晰和综合反映至用户的可视化端口的问题，本专利技术提供了一种基于物化缓存的网络大数据可视化方法。
[0006]为实现上述技术目的，本专利技术采用的技术方案如下：
[0007]一种基于物化缓存的网络大数据可视化方法，包括步骤：
[0008]S1、数据包第一次传输至网络时，对数据包打上数字标签；
[0009]S2、云存储端的前端物化缓存层接收数据包及数据包上的数字标签；
[0010]S3、通过物化缓存层设置的文件类型识别技术，识别数据包内真实的数字标签内容，与初始上传的数字标签内容有无变化；
[0011]S4、若无变化，通过物化缓存层内的显示窗口将数字标签内容通过图表的形式显示和保存在物化缓存层中；
[0012]S5、若有变化，则判定其传输过程中有异常文件的插入，需重新验证新插入异常文件的合法性。
[0013]进一步地，数字标签至少包括数据包内各种文件类型、各种文件类型数量、数据包上传时间、数据包各种文件类型存储空间大小、数据包传输每个用户节点IP地址；数据包内各种文件类型包括图片格式、视频格式、音频格式和文字文档格式；数据包各种文件类型存储空间大小包括每个文件存储空间大小和每种文件类型存储空间大小汇总数值。
[0014]进一步地，数据包内真实的数字标签内容与前一次上传数据包用户数据包打上数字标签的内容保持一致。
[0015]进一步地，步骤S3中，识别数据包内真实的数字标签内容具体步骤包括：
[0016]S301、物化缓存层内建立缓存数据库；
[0017]S302、将网络大数据中所有传输格式的后缀名存储在缓存数据库中；
[0018]S303、通过截取数据包各个文件的文件名称后缀名在缓存数据库中查询，并判断是否为缓存数据库中已有文件格式类型，若没有，进入步骤S304，若有，进入步骤S305；
[0019]S304、则发送确认信息至前端发起传输数据包的用户确认，是否上传该新加入文件；
[0020]S305、进一步判断相同后缀名中的所有文件前缀名是否与整个数字标签相匹配，若不匹配，则进入步骤S306，若匹配，则进入步骤S307；
[0021]S306、则发送确认信息至前端发起传输数据包的用户确认是否修改过文件前缀名，或发送至数据包初始发起者确认数据包有无新版本更新；
[0022]S307、进一步判断每种文件类型存储空间大小汇总数值与该类型的每个文件存储空间大小之和是否相等，若相等，则判定整个数据包合法，若不相等则判定为数据包中有新插件加入，数据包不合法，不给予存储至存储设备中的权限。
[0023]进一步地，数字标签显示图表内容包括数据包内真实的数字标签内容与初始上传的数字标签内容是否相同的所有判定结果。
[0024]进一步地，数据包上传时间用于用户显示界面检索该时间段物化缓存层所有数据包是否合法的判定节点。
[0025]进一步地，数据包传输每个用户节点IP地址用于追踪不合法文件加入的端口地
址，或者传输路径是介于传输过程中那两个节点用户产生的插件。
[0026]进一步地，数据包各种文件类型存储空间大小，用于识别数据包内真实的数字标签内容中，测得的真实数据包各种文件类型存储空间大小总和是否与前一节点用户传输的数据包各种文件类型存储空间大小值相等，判定其传输过程中有无恶意插件攻击数据包的风险。
[0027]本专利技术相比现有技术，具有如下有益效果：
[0028]通过对传输数据包在云存储端的前端物化缓存层打上的数字标签和传输到本地端物化缓存层的真实识别到的数据包的数字标签内容进行比对，将比对结果通过图表的形式告知本地端用户的比对结果。防止前一端用户恶意上传插件或者上传过程中出现恶意攻击插件插入数据包中，导致不合法文件持续发送至下一节点的用户端。同时实现了缓存网络大数据内的文件基本信息清晰和综合反本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于物化缓存的网络大数据可视化方法，其特征在于，包括步骤：S1、数据包第一次传输至网络时，对数据包打上数字标签；S2、云存储端的前端物化缓存层接收数据包及数据包上的数字标签；S3、通过物化缓存层设置的文件类型识别技术，识别数据包内真实的数字标签内容，与初始上传的数字标签内容有无变化；S4、若无变化，通过物化缓存层内的显示窗口将数字标签内容通过图表的形式显示和保存在物化缓存层中；S5、若有变化，则判定其传输过程中有异常文件的插入，需重新验证新插入异常文件的合法性。2.根据权利要求1所述的一种基于物化缓存的网络大数据可视化方法，其特征在于，数字标签至少包括数据包内各种文件类型、各种文件类型数量、数据包上传时间、数据包各种文件类型存储空间大小、数据包传输每个用户节点IP地址；数据包内各种文件类型包括图片格式、视频格式、音频格式和文字文档格式；数据包各种文件类型存储空间大小包括每个文件存储空间大小和每种文件类型存储空间大小汇总数值。3.根据权利要求2所述的一种基于物化缓存的网络大数据可视化方法，其特征在于，数据包内真实的数字标签内容与前一次上传数据包用户数据包打上数字标签的内容保持一致。4.根据权利要求3所述的一种基于物化缓存的网络大数据可视化方法，其特征在于，步骤S3中，识别数据包内真实的数字标签内容具体步骤包括：S301、物化缓存层内建立缓存数据库；S302、将网络大数据中所有传输格式的后缀名存储在缓存数据库中；S303、通过截取数据包各个文件的文件名称后缀名在缓存数据库中查询，并判断是否为缓存数据库中已有文件格式类型，若没有，进入步骤S304，若有，进入步骤S305；...

【专利技术属性】
技术研发人员：邹迁，
申请(专利权)人：北京算盘工业科技有限公司，
类型：发明
国别省市：