大数据机器学习系统及方法技术方案

本发明专利技术公开了大数据机器学习系统及方法，包括电源、控制器、模型训练和数据反馈模块，所述模型训练包括评估系统和测试样本，所述评估系统包括指标评估模块和可视化评测模块，所述测试样本与样本收集相连接，所述样本收集与外部数据相连接，所述控制器与传感器相连接，所述传感器与浏览模块相连接，所述数据反馈模块与数据处理模块和滤波模块相连接，所述滤波模块包括放大模块和读写模块，所述数据处理模块包括数据储存模块、数据传输模块、转换器和数据采集模块。本发明专利技术提高了标准化大数据的开发部署效率，并能够提供简洁统一的接口，从而使得算法开发、应用开发与构架开发能够实现模块化操作。

Big data machine learning system and method

The invention discloses a large data machine learning system and method, including a power supply, a controller, a model training and a data feedback module. The model training includes an evaluation system and a test sample. The evaluation system includes an index evaluation module and a visual evaluation module. The test sample is connected with a sample collection, and the sample is described. The collection is connected with external data, the controller is connected with a sensor, the sensor is connected with a browsing module, the data feedback module is connected with a data processing module and a filtering module, the filtering module includes an amplification module and a reading and writing module, and the data processing module includes a data storage module and a number. According to the transmission module, converter and data acquisition module. The invention improves the development and deployment efficiency of standardized large data, and can provide a concise and unified interface, thereby enabling algorithm development, application development and framework development to achieve modular operation.

【技术实现步骤摘要】
大数据机器学习系统及方法
本专利技术涉及一种大数据
，具体为大数据机器学习系统及方法。
技术介绍
现有技术中基于大数据的机器学习算法模型的技术方案，十分复杂，设计的技术层面覆盖分布式计算、架构部署、模型计算、数据开发等方方面面，花费很大的人力物力才能完成，每一个流程都需要与文件系统频繁地进行互访操作，大大降低整个系统的性能，从而导致建模、预测及应用的可靠性降低，更重要的是会导致编程的灵活性、易维护性、代码或者组件的重用性受到较大影响，因此导致用户体验较差。
技术实现思路
本专利技术要解决的技术问题是克服现有技术的缺陷，提供大数据机器学习系统及方法，实现了对各种应用场景的适应性与通用性，实现了对标准化大数据开发过程中涉及到的数据挖掘、机器学习的高效运行，简化了标准化大数据的开发流程，提高了标准化大数据的开发部署效率，并能够提供简洁统一的接口，从而使得算法开发、应用开发与构架开发能够实现模块化操作，极大的提高了大数据平台的部署效率及对数据进行挖掘的效率。为解决上述问题，本专利技术提供如下技术方案：大数据机器学习系统及方法，包括电源、控制器、模型训练和数据反馈模块，所述模型训练包括评估系统和测试样本，所述评估系统包括指标评估模块和可视化评测模块，所述测试样本与样本收集相连接，所述样本收集与外部数据相连接，所述控制器与传感器相连接，所述传感器与浏览模块相连接，所述数据反馈模块与数据处理模块和滤波模块相连接，所述滤波模块包括放大模块和读写模块，所述数据处理模块包括数据储存模块、数据传输模块、转换器和数据采集模块。作为本专利技术的一种优选实施方式，所述电源为整个电路供电，所述电源与所述控制器相连接，所述模型训练与所述控制器相连接，所述数据反馈模块与所述控制器相连接，所述控制器为整个系统处理和传达信息。作为本专利技术的一种优选实施方式，所述标评估模块通过电源线与所述模型训练相连接，所述测试样本通过电源线与所述模型训练相连接，所述指标评估模块与所述评估系统相连接，所述可视化评测模块与所述评估系统相连接。作为本专利技术的一种优选实施方式，所述放大模块与所述滤波模块相连接，所述读写模块与所述放大模块相连接。作为本专利技术的一种优选实施方式，所述数据处理模块与所述数据反馈模块相连接，所述数据传输模块与所述数据处理模块相连接，所述转换器与所述数据传输模块相连接，所述数据采集模块与所述转换器相连接。作为本专利技术的一种优选实施方式，所述的大数据机器学习系统的方法，包括以下步骤：a.首先由数据采集模块接收用户发起的请求所包含的可执行文件；b.接着将接收到的数据进行储存和反馈，在反馈时要先进行滤波处理，再经过信息的放大和读写；c.待步骤b完成后，再将数据反馈到控制器，再由控制器将数据反馈给传感器，由传感器反馈给浏览模块进行数据的查看；d.待步骤c完成后，由控制器进行处理和分析，接着将数据进行模型训练。作为本专利技术的一种优选实施方式，所述浏览模块进行数据的查看是以文字和图片的形式显示。作为本专利技术的一种优选实施方式，所述模型训练过后是以指标评估和可视化评测两种形式进行评测。与现有技术相比，本专利技术的有益效果如下：本专利技术大数据机器学习系统及方法，实现了对各种应用场景的适应性与通用性，实现了对标准化大数据开发过程中涉及到的数据挖掘、机器学习的高效运行，简化了标准化大数据的开发流程，提高了标准化大数据的开发部署效率，并能够提供简洁统一的接口，从而使得算法开发、应用开发与构架开发能够实现模块化操作，极大的提高了大数据平台的部署效率及对数据进行挖掘的效率。附图说明图1为本专利技术大数据机器学习系统及方法的流程图。图中：电源1，控制器2，数据反馈模块3，模型训练4，评估系统5，测试样本6，指标评估模块7，可视化评测模块8，样本收集9，外部数据10，传感器11，浏览模块12，数据处理模块13，滤波模块14，放大模块15，读写模块16，数据储存模块17，数据传输模块18，转换器19，数据采集模块20。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述。请参阅图1，本专利技术提供一种技术方案：大数据机器学习系统及方法，包括电源1、控制器2、数据反馈模块3和模型训练4，所述模型训练4包括评估系统5和测试样本6，所述评估系统5包括指标评估模块7和可视化评测模块8，所述测试样本6与样本收集9相连接，所述样本收集9与外部数据10相连接，所述控制器2与传感器11相连接，所述传感器11与浏览模块12相连接，所述数据反馈模块3与数据处理模块13和滤波模块14相连接，所述滤波模块14包括放大模块15和读写模块16，所述数据处理模块13包括数据储存模块17、数据传输模块18、转换器19和数据采集模块20。所述电源1为整个电路供电，所述电源1与所述控制器2相连接，所述模型训练4与所述控制器2相连接，所述数据反馈模块3与所述控制器2相连接，所述控制器2为整个系统处理和传达信息。所述标评估模块通过电源1线与所述模型训练4相连接，所述测试样本6通过电源1线与所述模型训练4相连接，所述指标评估模块7与所述评估系统5相连接，所述可视化评测模块8与所述评估系统5相连接。所述放大模块15与所述滤波模块14相连接，所述读写模块16与所述放大模块15相连接。所述数据处理模块13与所述数据反馈模块3相连接，所述数据传输模块18与所述数据处理模块13相连接，所述转换器19与所述数据传输模块18相连接，所述数据采集模块20与所述转换器19相连接。所述的大数据机器学习系统的方法，包括以下步骤：a.首先由数据采集模块20接收用户发起的请求所包含的可执行文件；b.接着将接收到的数据进行储存和反馈，在反馈时要先进行滤波处理，再经过信息的放大和读写；c.待步骤b完成后，再将数据反馈到控制器2，再由控制器2将数据反馈给传感器11，由传感器11反馈给浏览模块12进行数据的查看；d.待步骤c完成后，由控制器2进行处理和分析，接着将数据进行模型训练4。所述浏览模块12进行数据的查看是以文字和图片的形式显示。所述模型训练4过后是以指标评估和可视化评测两种形式进行评测。在大数据机器学习的过程中，首先由数据采集模块20进行数据的接收，接着由转换器19进行将数据转化给程序发送给数据传输模块18，接着再由数据储存模块17进行数据的储存，数据储存过后再由数据反馈模块3将信息反馈给滤波模块14进行过滤干扰波纹，接着再通过放大模块15将信息传给读写模块16进行读取，最后由控制器控制浏览模块12进行数据的查看和再通过模型训练4，训练完成后再由评估系统5进行评估。本专利技术的电源1，控制器2，数据反馈模块3，模型训练4，评估系统5，测试样本6，指标评估模块7，可视化评测模块8，样本收集9，外部数据10，传感器11，浏览模块12，数据处理模块13，滤波模块14，放大模块15，读写模块16，数据储存模块17，数据传输模块18，转换器19，数据采集模块20等部件均为通用标准件或本领域技术人员知晓的部件，其结构和原理都为本技术人员均可通过技术手册得知或通过常规实验方法获知，实现了对各种应用场景的适应性与通用性，实现了对标准化大数据开发过程中涉及到的数据挖掘、机器学习的高效运行，简化了标准化大数据的开发流程，提高了标准化大数据的开发部本文档来自技高网...

【技术保护点】
1.大数据机器学习系统，包括电源(1)、控制器(2)、数据反馈模块(3)和模型训练(4)，其特征在于：所述模型训练(4)包括评估系统(5)和测试样本(6)，所述评估系统(5)包括指标评估模块(7)和可视化评测模块(8)，所述测试样本(6)与样本收集(9)相连接，所述样本收集(9)与外部数据(10)相连接，所述控制器(2)与传感器(11)相连接，所述传感器(11)与浏览模块(12)相连接，所述数据反馈模块(3)与数据处理模块(13)和滤波模块(14)相连接，所述滤波模块(14)包括放大模块(15)和读写模块(16)，所述数据处理模块(13)包括数据储存模块(17)、数据传输模块(18)、转换器(19)和数据采集模块(20)。

【技术特征摘要】
1.大数据机器学习系统，包括电源(1)、控制器(2)、数据反馈模块(3)和模型训练(4)，其特征在于：所述模型训练(4)包括评估系统(5)和测试样本(6)，所述评估系统(5)包括指标评估模块(7)和可视化评测模块(8)，所述测试样本(6)与样本收集(9)相连接，所述样本收集(9)与外部数据(10)相连接，所述控制器(2)与传感器(11)相连接，所述传感器(11)与浏览模块(12)相连接，所述数据反馈模块(3)与数据处理模块(13)和滤波模块(14)相连接，所述滤波模块(14)包括放大模块(15)和读写模块(16)，所述数据处理模块(13)包括数据储存模块(17)、数据传输模块(18)、转换器(19)和数据采集模块(20)。2.根据权利要求1所述的大数据机器学习系统，其特征在于：所述电源(1)为整个电路供电，所述电源(1)与所述控制器(2)相连接，所述模型训练(4)与所述控制器(2)相连接，所述数据反馈模块(3)与所述控制器(2)相连接，所述控制器(2)为整个系统处理和传达信息。3.根据权利要求1所述的大数据机器学习系统，其特征在于：所述标评估模块通过电源(1)线与所述模型训练(4)相连接，所述测试样本(6)通过电源(1)线与所述模型训练(4)相连接，所述指标评估模块(7)与所述评估系统(5)相连接，所述可视化评测模块(8)与所述评估系统...

【专利技术属性】
技术研发人员：罗子江，王继红，崔潇，倪照风，杨晨，郭祥，王一，付兴明，
申请(专利权)人：贵州财经大学，
类型：发明
国别省市：贵州,52