【技术实现步骤摘要】
本专利技术涉及到大数据、数据安全的，具体为云边协同与ai融合的数据分类分级方法、系统及存储介质。
技术介绍
1、日前，数据分类分级作为数据处理领域的重要技术，已经得到了广泛的关注和研究。特别是在云计算、边缘计算和物联网技术的融合背景下，大量的传感器和其他智能设备不断产生海量数据，这些数据需要及时处理以便提供实时反馈和服务。如何有效地对来自端点设备的数据进行分类分级，并根据不同级别的数据采取不同的处理和保护措施，成为了一个重要的研究课题。
2、中国专利cn106934525a提出将大量数据上传至云端，利用云计算的强大计算能力进行分类和分析。然而，这种方法在处理实时性要求较高或数据量特别大的数据时，存在传输延迟和数据传输成本高等问题；论文《深入理解边缘计算:云、边、端工作原理与源码分析》（崔广章，之江实验室）通过边缘计算，将数据处理推向距离数据源更近的边缘设备，如传感器、嵌入式系统等，这些设备能够实时采集数据并进行初步处理，从而大大减少了数据传输的延迟和带宽占用。然而，边缘设备在处理复杂数据和高级算法时，往往受限于其计算能力和存储能力，难以独立完成数据分类分级的全部任务；中国专利cn114997308b提出云计算与边缘计算的结合，通过多属性标签解构和多输入多输出（mimo）结构构建预训练模型，实现对工业数据的高效分类，提高工业数据处理效率，同时确保工业数据在不同层级上的安全性和可用性。然而，该专利技术主要聚焦于工业数据分类模型构建和使用，并未针对不同行业场景的分类分级需求进行深入探讨和优化。
3、现有技术已经
技术实现思路
1、有鉴于此，本专利技术的目的在于提供云边协同与ai融合的数据分类分级方法、系统及存储介质，通过合理的数据分类分级方法、模型，实现对行业数据的精细化管理；利用边缘计算的优势提高数据处理的速度和效率，减轻云端服务器的负担；利用神经网络和自然语言处理技术结合无监督学习和半监督学习方法分阶段来实现非结构化数据的自动分类分级；并通过构建一个既安全可靠又高效便捷的数据分类分级系统，促进各行各业数据互联互通。
2、为实现上述目的，本专利技术提供如下技术方案：云边协同与ai融合的数据分类分级方法，包括：
3、数据扫描，根据预设的扫描规则，从数据资产中提取出与业务运作相关的核心数据项；
4、数据分类分级，根据扫描的核心数据项提取数据特征，数据特征至少包括：数据类型、数据敏感度、数据使用场景，利用预设模式匹配模型在业务数据中识别出敏感数据并进一步实现数据分类分级，其中，所述预设模式匹配模型包括：结构化数据匹配模型与非结构化数据匹配模型，结构化数据匹配模型至少利用正则表达式、关键字、字典算法进行敏感数据匹配并基于预设规则进行数据分类分级；非结构化数据匹配模型利用神经网络和自然语言处理技术搭建数据分类分级模型，实现非结构化数据的分类分级；
5、分类分级结果调整，对于自动分类分级结果不适用情况，进行人工动态调整，同时，收集用户留言、社交媒体评论信息，进行情感倾向提取，对分类分级结果进行反馈并调整预设模式匹配模型。
6、特别地，所述数据扫描规则根据预设的扫描方式进行数据扫描，根据国家法律法规和业务需求及流程管理要求，基于行业专家先验知识确定行业核心数据项。
7、特别地，所述非结构化数据匹配模型还结合无监督学习和半监督学习方法分阶段进行数据分析， 包括：
8、数据准备阶段，收集未标签的生产数据，对数据进行预处理，预处理至少包括去除噪声、分词、去除停用词；
9、初期阶段，采用无监督学习方法，引入深度自适应聚类（dac）算法对未标签生产数据进行聚类，得到初步分类结果，并投入生产应用；
10、后期阶段，从初步分类结果中选取部分数据进行人工标注，获取少量标注数据，再采用半监督学习方法，引入半监督支持向量机（s3vm）算法，利用少量标注数据和大量未标注数据对模型进行进一步优化；针对特定分类任务，结合transformer-based模型等进行微调，确保模型能够捕捉到文本数据中的复杂语义信息；
11、优化阶段，利用交叉验证统计方法将数据集划分为多个子集，轮流进行训练和测试来评估模型表现，调整模型参数和配置；利用网格搜索通过遍历给定的参数组合，找到使模型性能最优的参数配置。
12、特别地，数据分类分级的结果至少包括：公开数据、内部数据、敏感数据三种分类以及每个分类下一、二、三、四4个级别，其中一级重要性和潜在影响最低。
13、进一步地，本专利技术提供云边协同与ai融合的数据分类分级系统，该系统包括：
14、设备层，收集数据产生单位产生的实时数据，进行初步数据处理并传输至边缘层，其中，所述数据产生单位至少包括物联网设备、传感器、移动设备；所述初步数据处理通过嵌入式ai算法执行简单数据处理任务；
15、边缘层，部署经分割、裁剪的模式匹配模型，接收来自设备层的数据，进行快速数据处理和响应；
16、云层，由大数据平台、云计算平台和人工智能平台构成，接收边缘层的数据，执行数据处理功能，至少包括：全局数据分析、智能分类分级、模型训练与优化、数据管理与安全；
17、云边协同ai层，通过增量学习、联邦学习和联合推理实现云边协同ai。
18、进一步地，该系统还包括：
19、数据源管理模块，完成所述数据扫描，通过解析不同数据格式和协议，获取多方数据源实时数据并通过数据预处理、数据特征提取，最终获得用于分类和分级的特征；
20、策略管理模块，管理数据分类和分级的策略、规则以及算法；
21、数据分类模块，完成数据分类，包括：基于正则表达式、关键字、字典处理结构化数据的分类，基于机器学习算法处理非结构化数据的分类，分类结果至少包括：公开数据、内部数据、敏感数据；
22、数据分级模块，完成数据分级，根据数据的影响程度，对数据进行分级处理，分级结果至少包括：一级、二级、三级、四级，其中一级重要性和潜在影响最低；
23、数据可视化与报告模块，进行数据的可视化展示以及报告生成，其中展示的数据以及报告至少包括：数据的分类和分级情况、数据的分布和趋势；
24、云边协同处理模块，通过分布式流式计算引擎、时序数据库、轻量化消息中间件的融合，为不同类型、不同等级的数据传算需求提供数据交互链路，实现云端和边缘端的协同工作；
25、数据安全与隐私保护模块，采用加密算法和安全协议，确保数据在传输和处理过本文档来自技高网...
【技术保护点】
1.云边协同与AI融合的数据分类分级方法，其特征在于：所述分类分级方法包括：
2.根据权利要求1所述的云边协同与AI融合的数据分类分级方法，其特征在于：所述数据扫描规则根据预设的扫描方式进行数据扫描，根据国家法律法规和业务需求及流程管理要求，基于行业专家先验知识确定行业核心数据项。
3.根据权利要求1所述的云边协同与AI融合的数据分类分级方法，其特征在于：所述非结构化数据匹配模型还结合无监督学习和半监督学习方法分阶段进行数据分析， 包括：
4.根据权利要求1所述的云边协同与AI融合的数据分类分级方法，其特征在于：数据分类分级的结果至少包括：公开数据、内部数据、敏感数据三种分类以及每个分类下一、二、三、四4个级别，其中一级重要性和潜在影响最低。
5.采用权利要求1-4任一项所述的云边协同与AI融合的数据分类分级方法的系统，其特征在于：该系统包括：
6.根据权利要求5所述的云边协同与AI融合的数据分类分级方法的系统，其特征在于：该系统还包括：
7.存储介质，所述存储介质为计算机可读存储介质，用于计算机可读存储，其
...【技术特征摘要】
1.云边协同与ai融合的数据分类分级方法，其特征在于：所述分类分级方法包括：
2.根据权利要求1所述的云边协同与ai融合的数据分类分级方法，其特征在于：所述数据扫描规则根据预设的扫描方式进行数据扫描，根据国家法律法规和业务需求及流程管理要求，基于行业专家先验知识确定行业核心数据项。
3.根据权利要求1所述的云边协同与ai融合的数据分类分级方法，其特征在于：所述非结构化数据匹配模型还结合无监督学习和半监督学习方法分阶段进行数据分析， 包括：
4.根据权利要求1所述的云边协同与ai融合的数据分类分级方法，其特征在于：数据分类分级的结果至少包括：...
【专利技术属性】
技术研发人员：马韵洁，孙威蔚，陈芳芳，王佐成，林传文，范联伟，
申请(专利权)人：数据空间研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。