一种针对工业产品大数据高效筛选的方法技术

本发明专利技术涉及工业产品大数据技术领域，且公开了一种针对工业产品大数据高效筛选的方法，包括以下步骤，确定数据，采用爬虫程序将数据从各种网站上爬取，确定数据的字节数，将相同字节的数据进行统一归类，在数据分类的过程中对抓取的数据进行分析，对数据的类型进行分类，将不同类别进行十进制标记编码，根据标记编码的不同进行数据制表。该针对工业产品大数据高效筛选的方法，通过数据进行统一归类，减少数据的存储字节，使数据达到最佳长度，有效的避免了因为数据重复和冗杂造成的数据长度的冗余，降低了远程终端的处理数据的负担，让数据读取和匹配的速度提高，提高了工业产品大数据筛选的效率。数据筛选的效率。数据筛选的效率。

【技术实现步骤摘要】
一种针对工业产品大数据高效筛选的方法


[0001]本专利技术涉及工业产品大数据
，具体为一种针对工业产品大数据高效筛选的方法。

技术介绍

[0002]大数据是IT行业术语，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
[0003]根据中国授权专利技术CN 107391724 A提出的一种大数据的筛选方法，其有益效果为不会因数据量过大造成系统负担过大从而崩溃的问题，提高了筛选分析的准确度，但是数据筛选不仅要准确还要对数据先进分类和整理，避免所得的数据冗余，造成数据处理的效率较慢，对服务器造成冗余负担，导致数据筛选效率较低，故而提出一种针对工业产品大数据高效筛选的方法来解决上述问题。

技术实现思路

[0004](一)解决的技术问题
[0005]针对现有技术的不足，本专利技术提供了一种针对工业产品大数据高效筛选的方法，具备减少数据冗余和提高筛选效率等优点，解决了数据筛选不仅要准确还要对数据先进分类和整理，避免所得的数据冗余，造成数据处理的效率较慢，对服务器造成冗余负担，导致数据筛选效率较低的问题。
[0006](二)技术方案
[0007]为实现上述减少数据冗余和提高筛选效率目的，本专利技术提供如下技术方案：一种针对工业产品大数据高效筛选的方法，包括以下步骤：
[0008]S1、确定数据，采用爬虫程序将数据从各种网站上爬取；
[0009]S2、确定数据的字节数，将相同字节的数据进行统一归类；
[0010]S201、在数据分类的过程中对抓取的数据进行分析，对数据的类型进行分类，将不同类别进行十进制标记编码；
[0011]S202、根据标记编码的不同进行数据制表，将数据根据编码填入表中，并将不同来源的相同数据进行合并处理；
[0012]S203、在读取数据的过程中，只读取数据编码，将关键字与数据编码相匹配，在推送过程中将数据编码下方的数据推送；
[0013]S204、在数据推送的过程中，抓取用户的搜索记录，将用户的搜索记录传输给终端，然后对用户进行相关内容推送；
[0014]S3、设置关键字，将字节相同的数据与关键字相匹配存入数据库；
[0015]S4、用户输入工业产品的关键字，将此关键字与数据库内部关键字库相匹配，找出相同关键字的数据；
[0016]S5、将查找处的数据显示在用户端，并将用户所搜索的相同类型的关键字推送给用户。
[0017]优选的，所述数据在确定的过程中通过数据终端进行数据类型输入，所述爬虫程序通过数据爬取单元与互联网相连接。
[0018]优选的，所述数据在爬取的过程中通过数据分析单元、数据分类单元和数据对比单元对数据进行规整，所述数据在编码的过程中首先将数据进行同类合并。
[0019]优选的，所述数据库中的数据表为数据数量的N+1个，且第N+1个数据表为数据匹配汇总表，收集所有数据分类编码并未数据匹配单元进行数据匹配。
[0020]优选的，所述数据爬取单元、数据分析单元、数据分类单元、数据对比单元、数据库和数据匹配单元给远程终端提供数据服务，所述数据分析单元、数据分类单元和数据对比单元的数据直接存储于数据库内。
[0021]优选的，所述用户在用户端进行数据搜索，且一个远程终端可服务多个用户端，所述数据推送时数据推送单元将远程终端与用户端通过物理网信号连接。
[0022](三)有益效果
[0023]与现有技术相比，本专利技术提供了一种针对工业产品大数据高效筛选的方法，具备以下有益效果：
[0024]1、该针对工业产品大数据高效筛选的方法，通过数据进行统一归类，在对工业产品大数据爬取完成之后，将这些数据在存储前通过数据分析单元。数据分类单元和数据对比单元将这些收集而来的数据进行归类，在归类的过程中将这些数据中相同的类容归类存放，在不同来源的相同数据合并标记，并且对无用数据进行剔除，严格根据关键字进行数据规整，剔除数据中多余的重复的，让通过互联网爬取的数据能够更加符合大数据需求，同时将无用数据进行删除，减少数据的存储字节，使数据达到最佳长度，有效的避免了因为数据重复和冗杂造成的数据长度的冗余，降低了远程终端的处理数据的负担，让数据读取和匹配的速度提高，提高了工业产品大数据筛选的效率。
[0025]2、该针对工业产品大数据高效筛选的方法，通过数据推送，在用数据检索完成之后，经过筛选的数据将会输送给用户端，在数据检索的过程中数据库将会根据关键字对数据进行读取和调出，将用户所需数据相匹配的关键字中所有数据推送给用户，有效的提高了数据推送的准确性，而且在数据推送的过程中将会对用户的搜索信息进行爬取，将其输送给远程终端，远程终端根据数据的关键字来将相关的工业产品大数据信息推送给用户，通过大数据平台进行工业产品推广，从而提高工业产品的知名度。
附图说明
[0026]图1为本专利技术流程示意图；
[0027]图2为本专利技术数据归类流程示意图；
[0028]图3为本专利技术远程终端的结构框图。
具体实施方式
[0029]下面将结合本专利技术的实施例，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术
中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0030]实施例一：一种针对工业产品大数据高效筛选的方法，包括以下步骤：
[0031]S1、确定数据，采用爬虫程序将数据从各种网站上爬取；
[0032]S2、设置关键字，将字节相同的数据与关键字相匹配存入数据库；
[0033]S3、用户输入工业产品的关键字，将此关键字与数据库内部关键字库相匹配，找出相同关键字的数据；
[0034]S4、将查找处的数据显示在用户端，并将用户所搜索的相同类型的关键字推送给用户。
[0035]实施例二：一种针对工业产品大数据高效筛选的方法，包括以下步骤：
[0036]S1、确定数据，采用爬虫程序将数据从各种网站上爬取，数据在确定的过程中通过数据终端进行数据类型输入，爬虫程序通过数据爬取单元与互联网相连接；
[0037]S2、确定数据的字节数，将相同字节的数据进行统一归类；
[0038]S201、在数据分类的过程中对抓取的数据进行分析，对数据的类型进行分类，将不同类别进行十进制标记编码；
[0039]S202、根据标记编码的不同进行数据制表，将数据根据编码填入表中，并将不同来源的相同数据进行合并处理；
[0040]S203、在读取数据的过程中，只读取数据编码，将关键字与数据编码相匹配，在推送过程中将数据编码下方的数据推送；
[0041]S204、在数据推送的过程中，抓取用户的搜索记录，将用户的搜索记录传输给终端，然后对用户进行相关内本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种针对工业产品大数据高效筛选的方法，其特征在于，包括以下步骤：S1、确定数据，采用爬虫程序将数据从各种网站上爬取；S2、确定数据的字节数，将相同字节的数据进行统一归类；S201、在数据分类的过程中对抓取的数据进行分析，对数据的类型进行分类，将不同类别进行十进制标记编码；S202、根据标记编码的不同进行数据制表，将数据根据编码填入表中，并将不同来源的相同数据进行合并处理；S203、在读取数据的过程中，只读取数据编码，将关键字与数据编码相匹配，在推送过程中将数据编码下方的数据推送；S204、在数据推送的过程中，抓取用户的搜索记录，将用户的搜索记录传输给终端，然后对用户进行相关内容推送；S3、设置关键字，将字节相同的数据与关键字相匹配存入数据库；S4、用户输入工业产品的关键字，将此关键字与数据库内部关键字库相匹配，找出相同关键字的数据；S5、将查找处的数据显示在用户端，并将用户所搜索的相同类型的关键字推送给用户。2.根据权利要求1所述的一种针对工业产品大数据高效筛选的方法，其特征在于，所述数据在确定的过程中通过数据终...

【专利技术属性】
技术研发人员：王荣浩，王敏，纪慧，米韵，
申请(专利权)人：苏州华检工标信息技术有限公司，
类型：发明
国别省市：