【技术实现步骤摘要】
本专利技术属于大数据领域，特别涉及一种基于大数据实时计算框架的实时数据分析系统。
技术介绍
1、随着大数据时代的到来,企业和组织面临着海量数据实时处理和分析的巨大挑战。传统的批处理系统无法满足实时性要求,而现有的实时处理框架在处理大规模复杂数据时也存在诸多不足。首先,现有技术普遍存在数据处理延迟高的问题。由于需要对数据进行多次处理和转换,往往难以实现毫秒级的响应。其次,扩展性不足也是一个突出问题。随着数据量的增加,系统难以通过简单增加节点来实现线性扩展,导致性能瓶颈。
2、本专利技术主要基于大数据技术如flink、sparkstreamming等实时计算框架，根据实时监测场景特点与需求，利用不同业务实时数据的特点，将框架内置算子及业务代码封装为不同数据分析组件并进行模板化，打造了一个能够满足实时数据分析及处理需求的低代码平台。在这个低代码平台上，可通过拖拽组件完成不同算法逻辑，后台会根据拖拽组件的顺序与逻辑生成有向无环图，进而拼接出flink可执行的监测规则引擎，实现满足实时业务需求的数据分析及业务监管、异常告警等需求。
3、再者,现有框架的容错能力有限。在大规模分布式环境下,节点故障是常态,但许多系统无法做到快速故障恢复和数据一致性保证。此外,编程模型复杂也限制了开发效率。开发人员需要深入理解底层细节,增加了学习成本。灵活性不足也是一个问题,难以根据业务需求快速调整处理逻辑。数据安全性也是一个挑战,许多框架缺乏细粒度的访问控制机制。资源利用效率低下也是普遍存在的问题,难以根据负载动态调整资源分配。最后,
4、这些问题严重制约了大数据实时分析的应用场景,亟需一种新的技术方案来解决。基于大数据实时计算框架的实时数据分析系统旨在克服这些不足,提供一个高性能、可扩展、容错、易用且安全的实时数据处理平台。该系统采用流式处理架构,通过内存计算和并行处理技术大幅降低延迟。采用分布式架构和动态资源调度提高扩展性和资源利用率。引入容错机制和一致性协议保证高可用性。提供简洁的api和sql接口降低开发难度。支持灵活的自定义算子满足多样化需求。实现细粒度的访问控制和数据加密保障安全性。通过统一的数据模型实现异构数据源的无缝集成。这种新型系统将为企业提供强大的实时数据洞察能力,助力数据驱动的决策过程。
技术实现思路
1、本专利技术提出一种基于大数据实时计算框架的实时数据分析系统，解决了现有技术中通过将复杂的实时数据分析流程简化为拖拽式的低代码操作，大大降低了技术门槛，提高了开发效率。
2、本专利技术的技术方案是这样实现的：一种基于大数据实时计算框架的实时数据分析系统，包括在低代码平台内集成若干种数据源和对应的数据输出方式，并设置有配置单元在数据源和对应的数据输出方式中进行切换，并通过统一管理和配置界面将用户的数据流进行接入和管理；将大数据实时计算框架内置的数据处理算子进行封装后，在低代码平台中作为组件等待调用；低代码平台在接收到业务需求后，根据业务需求分析时序场景，抽取时序场景中判断过程的数据参数，并将数据参数进行备存形成不同的状态模板，在获取相似的业务需求时，直接调用状态模板；同时在数据流之间封装交集、并集和差集数据形成碰撞组件，通过碰撞组件梳理数据流间时序的关联信息；在低代码平台中引入拖拽式低代码开发模块，通过拖拽式低代码开发模块对编排完成的算法进行统一管理，在通过拖拽式低代码开发模块完成业务逻辑建立后，在后台自动生成对应的有向无环图，将用户设置参数输入业务及算子抽象出的代码模板拼接出完整实时计算框架代码，随后在低代码平台中部署框架代码，通过低代码平台中的业务进行监管。
3、这种基于大数据实时计算框架的实时数据分析系统与现有技术相比有以下显著区别：
4、在数据源和输出方式的集成与管理方面，本系统通过低代码平台集成了多种数据源和对应的输出方式，并提供了配置单元进行灵活切换。这种设计大大提高了系统的适应性和扩展性，能够更好地满足不同场景下的数据处理需求。相比之下，传统系统往往只支持有限的数据源和输出方式，难以应对复杂多变的业务环境。
5、本系统将大数据实时计算框架的数据处理算子进行了封装，作为可复用的组件在低代码平台中待调用。这种模块化设计显著提高了开发效率和代码复用率，使得非专业人员也能快速构建复杂的数据处理流程。而现有技术通常需要开发人员具备深厚的编程功底和对底层框架的深入理解，增加了开发难度和时间成本。
6、本系统引入了基于时序场景的状态模板机制。通过分析业务需求中的时序场景，抽取关键数据参数并形成状态模板，可以在处理相似业务需求时直接调用，大大提高了系统的响应速度和处理效率。这种基于场景的模板化处理方法在现有技术中较为少见，为快速应对多样化业务需求提供了新的思路。
7、本系统创新性地引入了数据流碰撞组件，通过封装交集、并集和差集数据，实现了数据流之间时序关联信息的梳理。这种设计极大地增强了系统对复杂数据关系的处理能力，能够更好地发现数据间的隐藏关联，为深度数据分析提供了基础。而现有技术在这方面的功能通常较为薄弱，难以有效处理复杂的数据关联。
8、本系统采用了拖拽式低代码开发模块，大大简化了算法的编排和管理过程。用户可以通过直观的可视化界面快速构建业务逻辑，系统则自动生成对应的有向无环图和实时计算框架代码。这种方式极大地降低了开发门槛，提高了开发效率，使得更多非技术背景的业务人员能够参与到数据分析系统的构建中。相比之下，传统方法通常需要专业开发人员编写复杂的代码，开发周期长，难以快速响应业务需求的变化。
9、本系统实现了从业务需求到代码生成、部署和监管的全流程自动化。通过低代码平台，用户可以一站式完成从需求分析到系统部署的全过程，并进行统一的业务监管。这种端到端的自动化流程大大提高了系统的开发效率和可维护性，减少了人为错误，确保了系统的稳定性和可靠性。而现有技术往往需要在不同的平台和工具间切换，增加了操作复杂度和出错风险。这种新型系统通过低代码平台、模块化设计、场景化模板、数据流碰撞、可视化编程等创新技术，全面提升了大数据实时分析系统的灵活性、效率和易用性，为企业提供了更加强大和便捷的数据分析工具。
10、作为一优选的实施方式，在低代码平台中选择接入的数据源后，将该数据源对应的实时数据导入内置的数据处理算子中，根据状态模板形成若干个业务处理模板，选择业务处理模板后通过拖拽式低代码开发模块进行数据输出。
11、作为一优选的实施方式，在选择业务处理模板后在选择数据输出时，若业务处理模板采用单数据流，则直接将数据传输至拖拽式低代码开发模块内；若业务处理模板采用多数据流，则在选择碰撞组件后将数据传输至拖拽式低代码开发模块内。
12、作为一优选的实施方式，所述拖拽式低代码开发模块在用户进行操作时，用户通过拖拽组件，在拖拽式低代码开发模块中生成业务流程图，通过业务流程图生成有向无环图，依据有向无环图生成flink执行代码，通过f本文档来自技高网...
【技术保护点】
1.一种基于大数据实时计算框架的实时数据分析系统，其特征在于，包括在低代码平台内集成若干种数据源和对应的数据输出方式，并设置有配置单元在数据源和对应的数据输出方式中进行切换，并通过统一管理和配置界面将用户的数据流进行接入和管理；将大数据实时计算框架内置的数据处理算子进行封装后，在所述低代码平台中作为组件等待调用；所述低代码平台在接收到业务需求后，根据所述业务需求分析时序场景，抽取所述时序场景中判断过程的数据参数，并将所述数据参数进行备存形成不同的状态模板，在获取相似的业务需求时，直接调用所述状态模板；同时在数据流之间封装交集、并集和差集数据形成碰撞组件，通过所述碰撞组件梳理数据流间时序的关联信息；在所述低代码平台中引入拖拽式低代码开发模块，通过所述拖拽式低代码开发模块对编排完成的算法进行统一管理，在通过所述拖拽式低代码开发模块完成业务逻辑建立后，在后台自动生成对应的有向无环图，将用户设置参数输入业务及算子抽象出的代码模板拼接出完整实时计算框架代码，随后在所述低代码平台中部署框架代码，通过所述低代码平台中的业务进行监管。
2.如权利要求1所述的一种基于大数据实时计算框架
3.如权利要求2所述的一种基于大数据实时计算框架的实时数据分析系统，其特征在于：在选择业务处理模板后在选择数据输出时，若业务处理模板采用单数据流，则直接将数据传输至所述拖拽式低代码开发模块内；若业务处理模板采用多数据流，则在选择碰撞组件后将数据传输至所述拖拽式低代码开发模块内。
4.如权利要求1所述的一种基于大数据实时计算框架的实时数据分析系统，其特征在于，所述拖拽式低代码开发模块在用户进行操作时，用户通过拖拽组件，在拖拽式低代码开发模块中生成业务流程图，通过业务流程图生成有向无环图，依据有向无环图生成Flink执行代码，通过Flink执行代码执行实时分析，分析结果对接监管业务后进行异常告警。
5.如权利要求1所述的一种基于大数据实时计算框架的实时数据分析系统，其特征在于，所述低代码平台集成的若干种数据源和对应的数据输出方式包括Kafka、Doris和MySQL消息队列及数据库，所述数据处理算子包括map、filter和window 。
...【技术特征摘要】
1.一种基于大数据实时计算框架的实时数据分析系统，其特征在于，包括在低代码平台内集成若干种数据源和对应的数据输出方式，并设置有配置单元在数据源和对应的数据输出方式中进行切换，并通过统一管理和配置界面将用户的数据流进行接入和管理；将大数据实时计算框架内置的数据处理算子进行封装后，在所述低代码平台中作为组件等待调用；所述低代码平台在接收到业务需求后，根据所述业务需求分析时序场景，抽取所述时序场景中判断过程的数据参数，并将所述数据参数进行备存形成不同的状态模板，在获取相似的业务需求时，直接调用所述状态模板；同时在数据流之间封装交集、并集和差集数据形成碰撞组件，通过所述碰撞组件梳理数据流间时序的关联信息；在所述低代码平台中引入拖拽式低代码开发模块，通过所述拖拽式低代码开发模块对编排完成的算法进行统一管理，在通过所述拖拽式低代码开发模块完成业务逻辑建立后，在后台自动生成对应的有向无环图，将用户设置参数输入业务及算子抽象出的代码模板拼接出完整实时计算框架代码，随后在所述低代码平台中部署框架代码，通过所述低代码平台中的业务进行监管。
2.如权利要求1所述的一种基于大数据实时计算框架的实时数据分析系统，其特征在于：在低代码平台中选择接...
【专利技术属性】
技术研发人员：钟严军，
申请(专利权)人：北京云驰未来科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。