【技术实现步骤摘要】
本专利技术涉及数据处理，尤其涉及一种基于大数据离线计算框架的离线数据分析系统。
技术介绍
1、随着大数据技术的快速发展，海量数据的存储和处理能力已成为信息化社会的重要支撑。为了满足业务需求，企业常采用离线数据分析方法对历史数据进行深入挖掘和分析。
2、现有的离线数据分析系统通常基于分布式计算框架，通过手动配置数据源、设计分析流程以及编写分析代码完成离线数据处理。然而，这些系统存在显著的局限性：数据源配置过程复杂，缺乏统一的标准化管理，增加了操作难度；数据分析流程的设计多依赖人工，难以复用已有的分析逻辑，导致效率低下；缺乏自动化的流程优化和代码生成机制，导致离线数据分析效率不高，难以满足业务需求。基于上述现有技术方案的不足，亟需一种能够简化数据配置、自动化分析流程设计并优化分析效率的离线数据分析系统，以解决现有技术的缺陷。
3、因此，本专利技术提供一种基于大数据离线计算框架的离线数据分析系统。
技术实现思路
1、本专利技术提供一种基于大数据离线计算框架的离线数据分析系统，用以通过模块化设计实现了数据源的高效配置、数据分析组件的自动化确定、分析流程的快速构建与优化，并结合业务逻辑生成高效的数据分析代码，大幅提升了数据分析的自动化水平和执行效率，减少了人工干预和错误率，同时增强了流程的灵活性与复用性，适用于大规模离线数据分析场景。
2、本专利技术提供一种基于大数据离线计算框架的离线数据分析系统，包括：
3、数据配置模块：获取业务需求并进行分
4、组件确定模块：对配置后的数据源进行初始分析，基于初始分析结果确定若干个数据分析组件；
5、流程构建模块：对所有数据分析组件进行封装，并基于预设的分析流程模板对数据分析组件进行整合，进而构建若干个初始数据分析流程；
6、流程优化模块：基于初始数据分析流程生成业务处理逻辑，并基于业务处理逻辑对初始数据分析流程进行编排，进而生成最终数据分析流程；
7、代码执行模块：对预设的任务进行分析，并结合最终数据分析流程生成数据分析代码，进而执行数据分析代码进行数据分析。
8、本专利技术提供一种基于大数据离线计算框架的离线数据分析系统，数据配置模块，包括：
9、目标确定单元：通过预设低代码平台对用户进行界面引导，进而确定用户的分析目标；
10、需求确定单元：获取用户在预设低代码平台输入的初始业务需求，进而结合用户的分析目标确定用户的业务需求；
11、需求分析单元：对用户的业务需求进行分析，进而确定若干个接入的数据源；
12、数据配置单元：确定每个数据源的类型，进而基于预设的类型-配置方式数据表确定每个数据源的配置方式，进而基于每个数据源的配置方式对相应数据源进行配置。
13、本专利技术提供一种基于大数据离线计算框架的离线数据分析系统，组件确定模块，包括：
14、系数确定单元：对配置后的数据源进行初始分析，进而确定每个数据源的组件匹配系数；
15、组件确定单元：基于每个数据源的组件匹配系数以及预设的系数-组件数据库确定每个数据源对应的若干个初始数据分析组件；
16、系数分析单元：当出现组件匹配系数相同的数据源的个数大于预设个数时，将数据源的组件匹配系数相同的每个数据源确定为第一数据源；
17、复杂分析单元：对所有第一数据源进行复杂分析，进而确定每个第一数据源的复杂组件匹配系数；
18、系数匹配单元：从复杂系数-碰撞组件数据库获取与复杂组件匹配系数匹配的若干个数据流碰撞组件；
19、组件组合单元：基于每个第一数据源对应的若干个数据流碰撞组件以及初始数据分析组件，确定每个第一数据源对应的数据分析组件。
20、本专利技术提供一种基于大数据离线计算框架的离线数据分析系统，系数确定单元，包括：
21、对配置后的数据源进行初始分析，进而确定每个数据源的组件匹配系数：
22、；其中，为第i个数据源的组件匹配系数，为第i个数据源的历史组件平均使用频率系数，为第i个数据源的数据缺失值，为第i个数据源的数据总值，为第i个数据源的数据异常值，为第i个数据源的规模系数，为预设的最大规模系数，为第i个数据源的历史组件使用频率对应的权重，为第i个数据源的质量对应的权重，为第i个数据源的规模对应的权重，为数据源的数据缺失值的预设调节系数，为数据源的数据异常值的预设调节系数。
23、本专利技术提供一种基于大数据离线计算框架的离线数据分析系统，初始数据分析组件，包括：数据预处理组件、特征工程组件、模型选择组件、数据可视化组件以及模型评估组件。
24、本专利技术提供一种基于大数据离线计算框架的离线数据分析系统，流程构建模块，包括：
25、接口配置单元：基于预设配置装置为每个数据分析组件配置统一的输入输出接口，进而确定每个数据分析组件的输入输出要求；
26、参数确定单元：获取每个数据分析组件的特性，并基于预设的特性-参数数据表确定每个数据分析组件的初始参数；
27、模板检索单元：从预设的分析流程模板库中检索符合业务需求的若干个分析流程模板；
28、模板获取单元：基于每个数据分析组件的特性、输入输出要求以及业务需求，从预设的分析流程模板库中进行检索，进而获取若干个分析流程模板；
29、流程构建单元：将所有数据分析组件按照每个分析流程模板中定义的步骤顺序排列，进而初步构建若干个分析流程；
30、结果确定单元：对有连接关系的数据分析组件进行依赖分析，进而确定所有有连接关系的数据分析组件之间的匹配结果；
31、组件匹配单元：若有连接关系的数据分析组件不匹配，则基于预设调整方式对不匹配的数据分析组件进行调整，直至所有有连接关系的数据分析组件匹配；
32、流程生成单元：将所有数据分析组件按照预设的分析流程模板整合，进而生成若干个初始数据分析流程。
33、本专利技术提供一种基于大数据离线计算框架的离线数据分析系统，分析流程模板，包括：清洗流程模板、特征工程流程模板以及模型训练流程模板；
34、初始数据分析流程，包括：组件链条流程、数据流向图流程和组件间的详细配置信息流程。
35、本专利技术提供一种基于大数据离线计算框架的离线数据分析系统，流程优化模块，包括：
36、关系获取单元：对业务需求进行解析，进而提取关键的流程映射关系；
37、流程分析单元：对初始数据分析流程进行分析，进而获取初始数据分析流程的输入输出关系；
38、逻辑构建单元：基于关键的流程映射关系以及初始数据分析流程的输入输出关系构建业务处理逻辑；
39、流程编排单元：基于业务处理逻辑对初始数据分析流程进行编排进而生成最终数据分析流程。
40、与现有技术相比，本申请的有益效果如下：...
【技术保护点】
1.一种基于大数据离线计算框架的离线数据分析系统，其特征在于，包括：
2.根据权利要求1所述的一种基于大数据离线计算框架的离线数据分析系统，其特征在于，数据配置模块，包括：
3.根据权利要求1所述的一种基于大数据离线计算框架的离线数据分析系统，其特征在于，组件确定模块，包括：
4.根据权利要求3所述的一种基于大数据离线计算框架的离线数据分析系统，其特征在于，系数确定单元，包括：
5.根据权利要求3所述的一种基于大数据离线计算框架的离线数据分析系统，其特征在于，初始数据分析组件，包括：数据预处理组件、特征工程组件、模型选择组件、数据可视化组件以及模型评估组件。
6.根据权利要求1所述的一种基于大数据离线计算框架的离线数据分析系统，其特征在于，流程构建模块，包括：
7.根据权利要求6所述的一种基于大数据离线计算框架的离线数据分析系统，其特征在于，
8.根据权利要求1所述的一种基于大数据离线计算框架的离线数据分析系统，其特征在于，流程优化模块，包括：
【技术特征摘要】
1.一种基于大数据离线计算框架的离线数据分析系统，其特征在于，包括：
2.根据权利要求1所述的一种基于大数据离线计算框架的离线数据分析系统，其特征在于，数据配置模块，包括：
3.根据权利要求1所述的一种基于大数据离线计算框架的离线数据分析系统，其特征在于，组件确定模块，包括：
4.根据权利要求3所述的一种基于大数据离线计算框架的离线数据分析系统，其特征在于，系数确定单元，包括：
5.根据权利要求3所述的一种基于大数据离...
【专利技术属性】
技术研发人员：安亚飞，要永浩，张茜涵，张硕宇，郑祥宇，
申请(专利权)人：北京云驰未来科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。