一种标准化多体系文件数据整合方法技术

本发明专利技术公开了一种标准化多体系文件数据整合方法，所述方法包括：步骤1：获得行业相关的N个标准化文件，并分别获得每个文件的数据；步骤2：在数据库中分别建立N个数据存储区和整合数据存储区，分别将N个文件数据导入N个数据存储区中；步骤3：提取出每个数据存储区中的文件数据，将N个文件数据中相似的数据进行去重，将N个文件数据中不相似的数据进行整合；步骤4：将去重整合后的数据进行重新排序，将排序后的数据存储在整合数据存储区中，实现了自动对标准化多体系文件进行整合，节省了人力，成本较低，且效率较高的技术效果。

Data integration method for standardized multi system file

The invention discloses a standard file system data integration method, the method comprises the following steps: Step 1: industry N standard documents, and obtain data of each file; step 2: established N data storage and integration of data storage in the database, respectively, N N file data into a data storage area; step 3: the extract data of each file in the data store, similar data files of N data to N data, will not be similar to a file in the data integration; step 4: to integration of data after reordering the sorted data stored in the integrated data store, realizes the automatic system of standard file integration, saving manpower, lower cost, higher efficiency and technical effect.

【技术实现步骤摘要】

本专利技术涉及数据处理领域，具体地，涉及一种标准化多体系文件数据整合方法。
技术介绍
近些年来，企业为了规范企业内部的管理行为、降低生产成本、提高产品质量、提升生产效益，按照相关国际及行业要求建立了标准化的管理体系。随着社会的发展和市场的不断扩大，企业为了适应市场的形势、客户的要求，建立并运行的管理体系越来越多。多种管理体系的推行有利于企业适应不同的行业和市场变化的需要，但不幸的是，在实施了多种管理体系之后，各体系之间的接口、各要素之间的协调，随着时间的动态变化，越来越复杂，矛盾越来越多，解决方法越来越困难，企业的整体运行效率却严重降低了。因此，如何将多个体系管理体系进行整合，形成并运行一套体系文件，使企业所有的活动和过程都达到规范化、制度化、流程化、标准化，满足不同管理体系的要求，在确保企业达到体系管理目标的基础上，大大提高企业管理效率。目前，多数企业都已经意识到多个体系同时运行存在问题，但对如何将多体系进行整合还没有一个很好的方法可以供企业借鉴。在现有技术中，主要采用技术员对这些标准化多体系文件进行人工整合，需要耗费大量的人力，成本较高，且效率较低。综上所述，本申请专利技术人在实现本申请实施例中专利技术技术方案的过程中，发现上述技术至少存在如下技术问题：在现有技术中，现有的标准化多体系文件整合方法存在采用人工进行整合，导致整合需要耗费大量的人力，成本较高，且效率较低的技术问题。
技术实现思路
本专利技术提供了一种标准化多体系文件数据整合方法，解决了现有的标准化多体系文件整合方法存在采用人工进行整合，导致整合需要耗费大量的人力，成本较高，且效率较低的技术问题，实现了自动对标准化多体系文件进行整合，节省了人力，成本较低，且效率较高的技术效果。为解决上述技术问题，本申请实施例提供了一种标准化多体系文件数据整合方法，所述方法包括：步骤1：获得行业相关的N个标准化文件，并分别获得每个文件的数据，所述N为大于等于2的正整数；步骤2：在数据库中分别建立N个数据存储区和整合数据存储区，分别将N个文件数据导入N个数据存储区中；步骤3：提取出每个数据存储区中的文件数据，将N个文件数据中相似的数据进行去重，将N个文件数据中不相似的数据进行整合；步骤4：将去重整合后的数据进行重新排序，将排序后的数据存储在整合数据存储区中。其中，在本申请中，首先将标准化文件转换为文件数据，然后将文件数据分别存储在数据库中，然后基于相似度对文件数据进行去重和整合，最后将去重剩下的数据和整合的数据进行排序，整合出最终的数据，全程无需大量人工，自动对数据进行整合，成本较低，效率较高。进一步的，所述分别获得每个文件的数据具体包括：当标准化文件是计算机可读文本时，则将该文件数据导入数据库中；当标准化文件是纸质文件时，则对文件进行扫描，获得文件数据，然后将文件数据存入数据库中。其中，当是纸质文件，如书本、笔记本、标准纸质文件等，则用扫描仪进行扫描，获得文件数据，然后将文件数据存储在数据库中。进一步的，所述对文件进行扫描，获得文件数据，具体包括：首先将文件通过固定结构固定在扫描仪上，然后利用扫描仪进行扫描，当压力传感器检测到扫描仪扫描完成一页后，将检测信息传递给控制器，控制器控制自动翻页结构进行自动翻页，然后扫描仪对新的一页进行扫描，循环操作将文件扫描完成。其中，当在进行扫描时，如对一本标准书进行扫描时，首先利用固定结构将书本固定在扫描仪上，然后打开书本，利用扫描仪扫描第一页，扫描完成后扫描头触碰到压力传感器，使得压力传感器将压力信息传递给控制器，使得控制器获得第一页扫描完成，压力传感器安装在书本的后端，扫描完成后即可触碰到，然后利用自动翻页结构进行，自动翻页结构完成翻页后，扫描仪对新的一页进行扫描，直到完成整个文件的扫描，全程自动扫描翻页，无需人工参与，效率较高。进一步的，所述固定结构包括：第一丝杆、第二丝杆、外壳，所述外壳上表面设有一开口，所述外壳左右侧面分别设有一螺孔，第一丝杆一端穿过螺孔后与外壳内的第一固定片连接，第一丝杆的另一端与外壳外的第一旋转手柄连接；第二丝杆一端穿过螺孔后与外壳内的第二固定片连接，第二丝杆的另一端与外壳外的第二旋转手柄连接；其中，当需要对书本或文件扫描时，首先将书本的背面插入开口内，然后转动旋转手柄，使得丝杆在螺孔内前进，使得2个固定片分别从两面对书本背面进行挤压固定，该固定方式可以灵活根据书本的厚度和类型进行固定，且固定稳固。所述自动翻页结构包括：机械手、真空吸盘，所述机械手操作端与真空吸盘上端连接，所述机械手通过数据线与控制器连接，压力传感器安装在所述外壳上表面且位于所述开口后端边缘，所述压力传感器与所述控制器连接，所述控制器与所述扫描仪连接。其中，当书本需要翻译时，即扫描仪的扫描头触碰到书本边缘的压力传感器后，将压力信息传给给控制器，控制器控制机械手移动到书本上方，然后下压，使得真空吸盘吸附柱该页进行翻页，翻页后对真空吸盘进行泄压，完成整个翻页操作，无需人工参与，成本较低，效率较高。进一步的，所述将N个文件数据中相似的数据进行去重，将N个文件数据中不相似的数据进行整合，具体包括：首先，提取出每个文件数据中的关键数据；其中，关键数据可以从从摘要、简介、目录、中心思想、核心内容处提取；然后，基于关键数据的数目将每个文件数据拆分为相应数目的子文件数据；然后，将关键数据相同的子文件数据进行比较，获得子文件数据相似度；当相似度大于预设范围时，则判断子文件数据相似；当相似度小于预设范围时，则判断子文件数据不相似，其中，预设范围可以在实际中根据实际的需要进行设定，本申请不做具体的限制；最后，将相似子文件数据提取一份数据进行去重，将不相似的子文件数据和没有关键数据相同的子文件数据进行整合。进一步的，所述将关键数据相同的子文件数据进行比较，获得子文件数据相似度，具体包括：首先，获得子文件数据的数据类型、数据大小、数据内容，然后基于相似度计算公式计算子文件数据相似度，其中，第一子文件数据和第二子文件数据相似度=（第一子文件和第二子文件数据类型相同或不同+第一子文件数据大小/第二子文件数据大小+第一子文件和第二子文件的数据内容相关度）/3，其中，当第一子文件和第二子文件数据类型相同时取值1，当第一子文件和第二子文件数据类型不同时取值0。其中，完全相同的2个子文件则相同取1，数据大小相同相除后等于1，文件相关度为完全相同1，此时3/3等于100%相似度，当然这是理想化的结果，用户可以根据实际中计算出的文件数据相似度进行比较，获得自己需要的准确结果。进一步的，第一子文件和第二子文件的数据内容相关度判断步骤包括：首先，分别抽取第一子文件和第二子文件中的纯文件部分；然后，将抽取的文字部分分拆为文字单元；然后，将分拆的文字单元进行编码；然后，基于编码后的文字单元进行比对获得内容相关度。其中，文件数据内容相关度为现有技术中成熟的比较技术，本申请此处简单进行了介绍，采用其他的数据内容相关度计算方法也可以，本申请不做具体的限制。进一步的，所述方法还包括步骤5：将排序后的数据打包分发到多个评价终端，用户基于评价终端对排序后的数据进行评价打分，然后计算多各评价终端的平均分，当平均分大于标准分时，则数据整合通过，当平均分小于等于标准分时，则数据整合不通过。本文档来自技高网...

【技术保护点】
一种标准化多体系文件数据整合方法，其特征在于，所述方法包括：步骤1：获得行业相关的N个标准化文件，并分别获得每个文件的数据，所述N为大于等于2的正整数；步骤2：在数据库中分别建立N个数据存储区和整合数据存储区，分别将N个文件数据导入N个数据存储区中；步骤3：提取出每个数据存储区中的文件数据，将N个文件数据中相似的数据进行去重，将N个文件数据中不相似的数据进行整合；步骤4：将去重整合后的数据进行重新排序，将排序后的数据存储在整合数据存储区中。

【技术特征摘要】
1.一种标准化多体系文件数据整合方法，其特征在于，所述方法包括：步骤1：获得行业相关的N个标准化文件，并分别获得每个文件的数据，所述N为大于等于2的正整数；步骤2：在数据库中分别建立N个数据存储区和整合数据存储区，分别将N个文件数据导入N个数据存储区中；步骤3：提取出每个数据存储区中的文件数据，将N个文件数据中相似的数据进行去重，将N个文件数据中不相似的数据进行整合；步骤4：将去重整合后的数据进行重新排序，将排序后的数据存储在整合数据存储区中。2.根据权利要求1所述的标准化多体系文件数据整合方法，其特征在于，所述分别获得每个文件的数据具体包括：当标准化文件是计算机可读文本时，则将该文件数据导入数据库中；当标准化文件是纸质文件时，则对文件进行扫描，获得文件数据，然后将文件数据存入数据库中。3.根据权利要求2所述的标准化多体系文件数据整合方法，其特征在于，所述对文件进行扫描，获得文件数据，具体包括：首先将文件通过固定结构固定在扫描仪上，然后利用扫描仪进行扫描，当压力传感器检测到扫描仪扫描完成一页后，将检测信息传递给控制器，控制器控制自动翻页结构进行自动翻页，然后扫描仪对新的一页进行扫描，循环操作将文件扫描完成。4.根据权利要求3所述的标准化多体系文件数据整合方法，其特征在于，所述固定结构包括：第一丝杆、第二丝杆、外壳，所述外壳上表面设有一开口，所述外壳左右侧面分别设有一螺孔，第一丝杆一端穿过螺孔后与外壳内的第一固定片连接，第一丝杆的另一端与外壳外的第一旋转手柄连接；第二丝杆一端穿过螺孔后与外壳内的第二固定片连接，第二丝杆的另一端与外壳外的第二旋转手柄连接；所述自动翻页结构包括：机械手、真空吸盘，所述机械手操作端与真空吸盘上端连接，所述机械手通过数据线与控制器连接，压力传感器安装在所述外壳上表面且位于所述开口后端边缘，所述压力传感器与所述控制器连接，所述控制器与所述扫描仪连接。5...

【专利技术属性】
技术研发人员：陈缨，刘涛，周启航，张燃，蒲维，唐静，彭倩，王雪辉，陈丁菊，
申请(专利权)人：国网四川省电力公司电力科学研究院，
类型：发明
国别省市：四川;51