【技术实现步骤摘要】
本专利技术涉及计算机数据，具体涉及一种数据视图分层聚合建模方法及系统。
技术介绍
1、随着大数据时代的到来，各种使用场景下的数据呈爆炸性增长，数据类型也日益复杂，如果有效地处理、分析并形成专业的业务模型和呈现这些数据，成为数据科学领域的核心挑战，数据视图分层聚合建模方案通过分层聚合模型这一关键技术，降低数据的复杂度，快速生成高精准度的数据模型并通过灵活配置的数据视图进行展示分析，提高数据利用率和决策支持能力，以适应系统未来的变化和发展。
技术实现思路
1、本专利技术提出了一种数据视图分层聚合建模方法，包括：
2、s1、数据建模，对需要处理的数据实体及其属性，通过数据预处理、数据源关联、特征处理、特征变换四个阶段完成数据建模流程，在数据预处理过程中，主要采用业务模型幂技术方案实现，即通过业务模型特征的幂次来增强模型对数据的拟合能力；
3、s2、分层多维聚合模型，分层多维聚合建模作为核心部分主要包括，分层视图生成，抽离聚合模型，业务模块组合；
4、s3、数据视图结构，根据聚合模型提供的数据接口，结合视图布局模块的配置，支持用户生成具有交互功能的数据视图。
5、进一步地，所述的在数据预处理过程中，主要采用业务模型幂技术方案实现，具体计算公式为：
6、y＝θ0+θ1x+θ2x2+θ3x3+…+θnxn其中，y是预测值，x是自变量，θ0、θ1、θ2、θ3、θn是模型的参数；所述自变量是原始特征或变换后的特征。
7、进一步
8、进一步地，所述gbdt算法公式如下:
9、其中f0(x)，是初始模型，通常设为0，jm是第m次迭代时决策树的叶子节点个数，i(x∈rjm)是一个指示函数，当x属于第m次迭代时第j个叶子节点时取值为1，否则为0。
10、进一步地，所述s2中，所述的抽离聚合模型，通过分成视图生成技术，根据数据分层架构，通过分组聚合、压缩聚合、近似聚合、分布式聚合、实时聚合成出可独立工作的模块或数据元素，通过抽离聚合模型，形成可以单独进行开发、测试和维护的独立单元的接口，系统可以根据不同的需求进行灵活调整，迅速生成响应方案。
11、进一步地，所述s2中，所述的业务模块组合是业务模块组合技术方案主要接收生成的聚合模型，并且根据业务需求对视图进行筛选、排序和组合，形成具有特定逻辑和业务含义的业务模块集合，支持对业务模块进行封装和复用，提高系统的可扩展性和可维护性。
12、进一步地，所述s3中，所述的数据视图结构支持用户通过vue-draggable-resizable-porkys技术实现点击、拖拽、缩放等操作与数据视图进行交互，生成数据视图，并且可以通过codemirror支持对数据视图进行多语言的深度开发。
13、进一步地，所述的数据视图的灵活构建配置实现了用户对数据视图进行深度挖掘和可视化展示。
14、另一方面，一种数据视图分层聚合建模系统，包括：
15、数据建模模块：对需要处理的数据实体及其属性，通过数据预处理、数据源关联、特征处理、特征变换四个阶段完成数据建模流程，在数据预处理过程中，主要采用业务模型幂技术方案实现，即通过业务模型特征的幂次来增强模型对数据的拟合能力；
16、分层多维聚合模型模块：分层多维聚合建模作为核心部分主要包括，分层视图生成，抽离聚合模型，业务模块组合；
17、数据视图结构模块：根据聚合模型提供的数据接口，结合视图布局模块的配置，支持用户通过与数据视图进行交互，生成数据视图。
18、另一方面，本专利技术提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序指令，所述计算机程序指令被计算机运行时，所述计算机执行如前任一所述的数据视图分层聚合建模方法的步骤。
19、本专利技术实施例的有益效果如下：
20、本专利技术使用了创新的分层聚合的设计思想，将复杂的数据处理任务进行多维度分解，这种处理方式降低了数据处理的复杂度，提高了数据处理的效率和精准度，在各层次之间的数据流动和交互进行了规范化处理，全方位提升了系统的扩展性和灵活性。
本文档来自技高网...【技术保护点】
1.一种数据视图分层聚合建模方法，其特征在于，包括：
2.根据权利要求1所述的数据视图分层聚合建模方法，其特征在于，所述S1中，所述的在数据预处理过程中，主要采用业务模型幂技术方案实现，具体计算公式为：
3.根据权利要求1所述的数据视图分层聚合建模方法，其特征在于，所述S2中，所述的分层视图生成，采用GBDT综合分层算法对数据分离出原生属性、业务属性、性能感知、安全感知属性进行属性分层。
4.根据权利要求3所述的数据视图分层聚合建模方法，其特征在于，所述GBDT算法公式如下：
5.根据权利要求4所述的数据视图分层聚合建模方法，其特征在于，所述S2中，所述的抽离聚合模型，通过分成视图生成技术，根据数据分层架构，通过分组聚合、压缩聚合、近似聚合、分布式聚合、实时聚合成出可独立工作的模块或数据元素，通过抽离聚合模型，形成可以单独进行开发、测试和维护的独立单元的接口，系统可以根据不同的需求进行灵活调整，迅速生成响应方案。
6.根据权利要求5所述的数据视图分层聚合建模方法，其特征在于，所述S2中，所述的业务模块组合是业务模块组合技
7.根据权利要求1所述的数据视图分层聚合建模方法，其特征在于，所述S3中，所述的数据视图结构支持用户通过
8.根据权利要求7所述的数据视图分层聚合建模方法，其特征在于，所述的数据视图的灵活构建配置实现了用户对数据视图进行深度挖掘和可视化展示。
9.一种数据视图分层聚合建模系统，其特征在于，包括：
10.一种计算机可读存储介质，计算机可读存储介质存储有计算机程序指令，所述计算机程序指令被计算机运行时，所述计算机执行如权利要求1-8任一所述的数据视图分层聚合建模方法的步骤。
...【技术特征摘要】
1.一种数据视图分层聚合建模方法，其特征在于，包括：
2.根据权利要求1所述的数据视图分层聚合建模方法，其特征在于，所述s1中，所述的在数据预处理过程中，主要采用业务模型幂技术方案实现，具体计算公式为：
3.根据权利要求1所述的数据视图分层聚合建模方法，其特征在于，所述s2中，所述的分层视图生成，采用gbdt综合分层算法对数据分离出原生属性、业务属性、性能感知、安全感知属性进行属性分层。
4.根据权利要求3所述的数据视图分层聚合建模方法，其特征在于，所述gbdt算法公式如下：
5.根据权利要求4所述的数据视图分层聚合建模方法，其特征在于，所述s2中，所述的抽离聚合模型，通过分成视图生成技术，根据数据分层架构，通过分组聚合、压缩聚合、近似聚合、分布式聚合、实时聚合成出可独立工作的模块或数据元素，通过抽离聚合模型，形成可以单独进行开发、测试和维护的独立单元的接口，系统可以根据不同的需求进行灵活...
【专利技术属性】
技术研发人员：陈青民，孙鸿斌，安胜华，
申请(专利权)人：北京安信天行科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。