【技术实现步骤摘要】
本专利技术涉及集团化质量管理领域，尤指一种基于动态数据源的集团化质量管理系统及方法。
技术介绍
1、集团化质量管理系统用于管理和控制质量的一套综合性体系。它涵盖了集团内各个部门、各个环节以及各个子公司的质量相关活动，通过制定统一的质量标准、规范流程、监控机制和评估方法，以确保集团所提供的产品或服务能够达到预期的质量水平，提升集团整体的竞争力和声誉。
2、但现有的集团化质量管理系统存在不同部门、子公司使用的数据格式、标准不一致，数据集成困难，难以形成统一的质量视图，数据采集过程中可能存在人为错误、数据录入不规范等问题，导致数据质量参差不齐，功能和流程较为固化，难以快速适应集团业务的变化和新的质量管控需求，系统界面设计不够友好，操作流程复杂，数据安全防护措施不足，存在数据泄露、被篡改或遭受网络攻击的风险，权限管理不够精细，威胁集团的商业机密和质量数据安全。
技术实现思路
1、为解决上述问题，本专利技术提供一种基于动态数据源的集团化质量管理系统及方法，本专利技术可以改善数据集成和共享，提高数据质量的准确性，提升用户体验以及加强安全性。
2、为实现上述目的，本专利技术采用的技术方案是：
3、一种基于动态数据源的集团化质量管理系统，包括：数据接口连接的数据源管理模块、质量数据采集模块、质量数据存储与管理模块、质量数据分析与统计模块、质量控制与决策支持模块、用户管理与权限控制模块和系统设置与管理模块，其中：
4、数据源管理模块用于管理和配置动态数
5、根据需求自动识别添加数据对应的数据源类型，确定每个数据源类型的标识和基本描述，针对不同类型的数据源详细配置及其连接参数，根据规则引擎技术对业务操作场景制定数据源切换规则，结合用户的权限级别和角色设置数据源的切换规则，制定数据在不同数据源之间的流向规则，针对不同的数据源，监控其数据流量大小、使用频率和更新情况；设有针对数据源连接异常、数据访问超时和数据冲突的预警机制；
6、质量数据采集模块用于根据不同的业务场景和条件，按照数据源管理模块中设定的切换规则，动态选择数据源进行数据录入操作；
7、质量数据存储与管理模块用于将数据进行分类存储、定期对各质量数据进行备份并提供恢复功能；
8、质量数据分析与统计模块用于动态地从不同的数据源提取数据，完成综合分析和统计工作；
9、质量控制与决策支持模块用于质量控制计划制定、质量预警与异常处理和决策支持；
10、用户管理与权限控制模块用于对用户信息进行分组管理以及对不同用户设置不同操作权限；
11、系统设置与管理模块用于对系统参数进行设置以及日志管理。
12、进一步地，所述针对不同的数据源，监控其数据流量大小、使用频率和更新情况，设有针对数据源连接异常、数据访问超时和数据冲突的预警机制，包括以下步骤：
13、a1：收集潜在数据源的详细信息，设定数据质量评估准确性、完整性一致性和时效性的指标，对数据源进行初步筛查，小范围试用和测试后进行稳定性测试，进行合同内容制定、签订与执行；
14、a2：将wireshark作为流量监测工具进行配置和部署，对采集到的数据进行数据过滤、压缩和加密的预处理后进行存储，用时间序列分析算法进行数据分析，基于历史流量数据的统计分析结果设定预警阈值，当实际流量超过预警阈值时触发预警机制；
15、a3：进行访问日志记录以及数据统计，通过关联分析算法对统计后的访问数据进行分析，根据系统资源状况设定预警阈值，当数据源使用频率超过或低于预警阈值系统触发预警；
16、a4：进行数据更新操作时调用系统提供的更新接口，进行更新日志记录、更新状态监控以及更新情况预警，在更新状态监控中通过基于统计的异常检测算法检测数据源更新中的异常情况；
17、a5：根据系统与数据源之间的心跳机制，数据源定期向系统发送心跳包证明连接正常，系统也向数据源发送连接测试请求验证连接的可用性，当系统判断数据源连接异常触发预警机制，根据系统性能和业务需求设定超时阈值，访问超时触发预警机制，冲突检测算法对数据进行实时检测，当检测到数据冲突时触发预警机制；
18、a6：对重复数据、缺失值和错误数据进行数据清洗，对数据格式、范围和逻辑进行验证，对策略制定、工具选择与配置和执行与监控进行备份，当数据发生丢失或损坏时根据恢复预案进行数据恢复操作，每月进行一次恢复演练。
19、进一步地，所述根据不同的业务场景和条件，按照数据源管理模块中设定的切换规则，动态选择数据源进行数据录入操作，包括以下步骤：
20、b1：针对不同数据源的数据格式调整数据格式转换和适配，实时数据采集应用随机森林算法训练数据过滤规则，对过滤规则不断调整和优化，数据采集过程中加强数据清洗，自动识别和处理重复数据、缺失数据和异常数据的问题；
21、b2：在数据采集时，根据数据的来源对数据进行分类标记，还按照业务类型对数据进行分类标记，基于动态数据源，根据不同用户的角色和职责细化数据录入和采集的权限管理，在数据采集和传输过程中，采用加密技术确保数据的安全性和保密性；
22、b3：根据不同的数据源和业务需求动态分配数据采集任务，实时跟踪数据采集任务的进度，对于未按时完成或出现问题的采集任务，及时发出提醒和预警，对每一条数据建立追溯信息，记录数据的来源、采集时间、采集人员和处理过程，记录数据采集过程中的所有操作和变更，根据聚类分析算法和异常检测算法设置检测工具，监控工具实时采集和分析数据质量指标。
23、进一步地，所述针对不同数据源的数据格式调整数据格式转换和适配，包括：
24、通过正则表达式匹配算法解析输入的数据，根据数据接口测试和验证机制对新接入的数据源和系统模块进行接口兼容性测试。
25、进一步地，所述在数据采集时，还包括：
26、采用异步采集方式以及批量处理方式优化数据采集流程，根据网络中的关键节点和链路，通过部署的内容分发网络将常访问的数据缓存到离用户更近的网络节点上。
27、进一步地，所述基于动态数据源，根据不同用户的角色和职责细化数据录入和采集的权限管理，在数据采集和传输过程中，采用加密技术确保数据的安全性和保密性，包括：
28、通过aes加密算法对传输过程中的数据进行加密处理，在数据存储环节使用aes算法进行加密处理，加密过程中加密密钥由密钥管理系统进行生成、存储和管理；
29、采用基于令牌的身份验证方式建立用户身份认证系统，基于角色的访问控制算法设计权限管理系统，实时监控用户的数据访问行为并记录用户的操作日志。
30、进一步地，所述动态地从不同的数据源提取数据，完成综合分析和统计工作，包括:
31、运用统计分析方法计算质量数据的均值、中位数、标准差、方差、偏度和峰度的统计指标，通过层次聚类算法进行数据本文档来自技高网...
【技术保护点】
1.一种基于动态数据源的集团化质量管理系统，其特征在于，包括：数据接口连接的数据源管理模块、质量数据采集模块、质量数据存储与管理模块、质量数据分析与统计模块、质量控制与决策支持模块、用户管理与权限控制模块和系统设置与管理模块，其中：
2.根据权利要求1所述的基于动态数据源的集团化质量管理系统，其特征在于，所述针对不同的数据源，监控其数据流量大小、使用频率和更新情况，设有针对数据源连接异常、数据访问超时和数据冲突的预警机制，包括以下步骤：
3.根据权利要求1所述的基于动态数据源的集团化质量管理系统，其特征在于，所述根据不同的业务场景和条件，按照数据源管理模块中设定的切换规则，动态选择数据源进行数据录入操作，包括以下步骤：
4.根据权利要求3所述的基于动态数据源的集团化质量管理系统，其特征在于，所述针对不同数据源的数据格式调整数据格式转换和适配，包括：
5.根据权利要求3所述的基于动态数据源的集团化质量管理系统，其特征在于，所述在数据采集时，还包括：
6.根据权利要求3所述的基于动态数据源的集团化质量管理系统，其特征在于，所
7.根据权利要求1所述的基于动态数据源的集团化质量管理系统，其特征在于，所述动态地从不同的数据源提取数据，完成综合分析和统计工作，包括:
8.根据权利要求1所述的基于动态数据源的集团化质量管理系统，其特征在于，所述将数据进行分类存储、定期对各质量数据进行备份并提供恢复功能，包括：
9.根据权利要求1所述的基于动态数据源的集团化质量管理系统，其特征在于，所述质量控制计划制定、质量预警与异常处理和决策支持，包括：
10.一种基于动态数据源的集团化质量管理方法，其特征在于，应用于如权利要求1-9任一项的基于动态数据源的集团化质量管理系统，所述基于动态数据源的集团化质量管理方法包括以下步骤：
...【技术特征摘要】
1.一种基于动态数据源的集团化质量管理系统，其特征在于，包括：数据接口连接的数据源管理模块、质量数据采集模块、质量数据存储与管理模块、质量数据分析与统计模块、质量控制与决策支持模块、用户管理与权限控制模块和系统设置与管理模块，其中：
2.根据权利要求1所述的基于动态数据源的集团化质量管理系统，其特征在于，所述针对不同的数据源，监控其数据流量大小、使用频率和更新情况，设有针对数据源连接异常、数据访问超时和数据冲突的预警机制，包括以下步骤：
3.根据权利要求1所述的基于动态数据源的集团化质量管理系统，其特征在于，所述根据不同的业务场景和条件，按照数据源管理模块中设定的切换规则，动态选择数据源进行数据录入操作，包括以下步骤：
4.根据权利要求3所述的基于动态数据源的集团化质量管理系统，其特征在于，所述针对不同数据源的数据格式调整数据格式转换和适配，包括：
5.根据权利要求3所述的基于动态数据源的集团化质量管理系统，其特征在于，所述在数...
【专利技术属性】
技术研发人员：丁飞，刘智斌，林锋，李孟科，周学航，唐亚旭，周有谋，费明举，帅国钰，王晨宇，李健聪，
申请(专利权)人：珠海飞企耀点科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。