【技术实现步骤摘要】
本专利技术涉及数据采集及管理的，尤其涉及一种数据采集和数据与算法的管理系统。
技术介绍
1、在现代社会中，数据的采集、管理和利用在各个领域中扮演着越来越重要的角色。从工业制造、农业生产，到医疗健康、智能家居，各种传感器和智能设备源源不断地产生大量数据。这些数据的有效采集、存储、处理和分析，对提高生产效率、优化资源配置和提高生活质量具有重要意义。此外，由于研发人员所熟悉的编程语言的不同，导致算法管理困难，并且在利用数据方面存在巨大的差别，这为后续算法的使用、开发和升级带来了巨大的困难。将算法进行统一存储、调用和升级，对于提高研发人员的效率和客户的使用体验有很大提升。
2、现有的数据采集和数据与算法管理系统在实际应用中存在以下不足：
3、1、数据孤岛：在现有的数据采集和管理系统中，不同的设备和系统之间的数据无法有效互通，导致数据孤岛现象严重。这种现象的存在，使得各个系统生成和存储的数据难以整合，形成了一个个孤立的数据单元，限制了数据的全面利用和深度分析。同时，数据孤岛还阻碍了跨行业、跨平台的数据整合和应用，进一步限制了数据的价值挖掘和商业潜力的发挥。
4、2、实时性差：数据采集和处理系统的实时性差，无法满足某些需要及时响应的场景。例如，在设备运行过程中需要实时数据，配合算法进行实时处理，但如果数据采集和处理系统的延迟较大，将无法及时发现和纠正设备运行中的问题，可能导致设备运行效率低和设备出现错误。实时性差的数据处理系统将难以应对突发事件和快速变化的情况，影响整体系统的可靠性和稳定性。
6、4、安全性问题：数据在传输、存储和处理过程中容易受到攻击，现有系统在数据安全和隐私保护方面存在不足。例如，数据在网络传输过程中可能被截获和篡改，存储在云端或本地的数据可能遭受黑客攻击和数据泄露，处理过程中可能面临恶意代码和内部威胁的风险。现有系统在数据加密、访问控制和安全审计等方面存在不足，难以提供全面和有效的安全保障。特别是在涉及敏感信息和个人隐私的数据处理场景中，安全性问题尤为突出，直接影响用户信任和系统的可靠运行。
7、5、智能化不足：目前的数据采集和数据与算法管理系统通常作为独立的模块运行，彼此之间缺乏协同工作和智能化的联动机制。这种分散的架构导致系统整体智能化水平不高，无法实现数据和算法的高效协同和动态优化。在实际应用中，面对复杂多变的环境和需求，现有系统难以自适应调整和优化，限制了智能化应用的潜力。此外，缺乏统一的智能化管理，使得系统在处理大规模数据和复杂算法时，难以发挥其应有的效率和效果。
技术实现思路
1、本专利技术针对现有技术中传统数据采集和数据与算法管理系统的上述数据孤岛、实时性差、算法管理困难、安全性问题和智能化不足缺点问题，提供一种数据采集和数据与算法的管理系统，旨在实现数据的高效采集、管理和利用，提供安全、实时、有效的数据处理和算法管理方案。
2、本专利技术解决上述技术问题的技术方案如下：
3、一种数据采集和数据与算法的管理系统，包括：数据采集模块、数据处理模块、数据存储模块、算法管理模块和数据与算法联动模块；
4、数据采集模块周期性地采集设备的数据，并将采集到的数据传输至数据处理模块；
5、数据处理模块接收数据采集模块传输的数据，并对数据进行处理，将经过处理后的数据传输给数据存储模块进行存储；
6、数据存储模块用于将数据以结构化或非结构化的方式进行存储，用于后续检索和分析，数据存储模块将存储的数据上传至数据库；
7、算法管理模块负责管理各种数据分析算法，并将算法上传到数据库中的算法部分，其中，所述数据库中包括数据部分和算法部分；数据分析算法包括但不限于机器学习模型、深度学习算法、统计分析算法和优化算法；
8、数据库中存储的数据和算法通过数据与算法联动模块进行交互，所述算法联动模块通过数据库中的算法与所需数据信息进行匹配和选择，保证算法的正常进行。
9、进一步的，所述数据采集模块通过modbus-tcp协议对设备发出数据采集信号，通过modbus点表获取对应的数据。
10、进一步的，每个算法均对应一个基本信息表，基本信息表存储在数据库中；其中，基本信息表包括算法名称、算法版本号、算法部署位置、算法调用路径、算法输入样本的特征需求、算法功能接口调用输入参数列表、输出结果存储路径以及文件。
11、进一步的，所述数据处理模块对数据进行处理，包括数据清洗、格式转换、异常值检测，将数据转换为符合需求的格式。
12、进一步的，所述数据库为mysql数据库结构。
13、进一步的，所述管理系统的数据在传输、存储和处理过程中，采用多层次的加密策略和访问控制策略，以确保数据的机密性和完整性。
14、进一步的，所述加密策略包括数据传输中的加密和数据存储中的加密；所述访问控制策略包括身份验证、权限管理和审计与监控。
15、本专利技术还提供一种电子设备，包括至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行所述的一种数据采集和数据与算法的管理系统。
16、本专利技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现任一项所述的一种数据采集和数据与算法的管理系统。
17、综上所述，与现有技术相比，上述技术方案的有益效果是：
18、(1)本系统消除了数据孤岛现象，本系统通过各个模块之间的数据调用、传输、处理等，不仅促进了数据的全面利用，还增强了各系统之间的协同工作能力，提高了整体数据处理和决策的效率；
19、(2)本系统将数据采集、存储、处理和算法管理整合为一个智能化的整体，具有高度的智能化水平，系统能够自适应调整和优化数据处理和算法应用，根据实际环境和需求进行智能调度和优化，提高系统的灵活性和效率，本系统的数据与算法联动模块可以将数据与算法做到联动，将整个数据和算法结合，使流程智能化，形成闭环，以能够更好地应对复杂多变的应用场景，充分发挥数据和算法的价值；本系统具备高实时性的数据采集和处理能力，能够满足大部门的使用场景；本系统可以实现毫秒级的数据采集和处理，确保系统能够及时响应和处理突发事件，提高整体系统的可靠性和稳定性；...
【技术保护点】
1.一种数据采集和数据与算法的管理系统，其特征在于，包括：数据采集模块、数据处理模块、数据存储模块、算法管理模块和数据与算法联动模块；
2.根据权利要求1所述的一种数据采集和数据与算法的管理系统，其特征在于：所述数据采集模块通过Modbus-TCP协议对设备发出数据采集信号，通过Modbus点表获取对应的数据。
3.根据权利要求1所述的一种数据采集和数据与算法的管理系统，其特征在于：每个算法均对应一个基本信息表，基本信息表存储在数据库中；其中，基本信息表包括算法名称、算法版本号、算法部署位置、算法调用路径、算法输入样本的特征需求、算法功能接口调用输入参数列表、输出结果存储路径以及存储文件。
4.根据权利要求1所述的一种数据采集和数据与算法的管理系统，其特征在于：所述数据处理模块对数据进行处理，包括数据清洗、格式转换、异常值检测，将数据转换为符合需求的格式。
5.根据权利要求1所述的一种数据采集和数据与算法的管理系统，其特征在于：所述数据库为MySQL数据库结构。
6.根据权利要求1所述的一种数据采集和数据与算法的管理系统
7.根据权利要求6所述的一种数据采集和数据与算法的管理系统，其特征在于：所述加密策略包括数据传输中的加密和数据存储中的加密；所述访问控制策略包括身份验证、权限管理和审计与监控。
8.一种电子设备，其特征在于：包括至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的一种数据采集和数据与算法的管理系统。
9.一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现权利要求1-7中任一项所述的一种数据采集和数据与算法的管理系统。
...【技术特征摘要】
1.一种数据采集和数据与算法的管理系统，其特征在于，包括：数据采集模块、数据处理模块、数据存储模块、算法管理模块和数据与算法联动模块；
2.根据权利要求1所述的一种数据采集和数据与算法的管理系统，其特征在于：所述数据采集模块通过modbus-tcp协议对设备发出数据采集信号，通过modbus点表获取对应的数据。
3.根据权利要求1所述的一种数据采集和数据与算法的管理系统，其特征在于：每个算法均对应一个基本信息表，基本信息表存储在数据库中；其中，基本信息表包括算法名称、算法版本号、算法部署位置、算法调用路径、算法输入样本的特征需求、算法功能接口调用输入参数列表、输出结果存储路径以及存储文件。
4.根据权利要求1所述的一种数据采集和数据与算法的管理系统，其特征在于：所述数据处理模块对数据进行处理，包括数据清洗、格式转换、异常值检测，将数据转换为符合需求的格式。
5.根据权利要求1所述的一种数据采集和数据与算法的管理系统...
【专利技术属性】
技术研发人员：柏绪恒，李凯，李超凡，李学峰，王运方，张明，高红，慈松，
申请(专利权)人：云储新能源科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。