【技术实现步骤摘要】
本专利技术涉及软件开发智能监测，具体为一种基于大模型的离线数据开发任务日志智能监测系统及方法。
技术介绍
1、在软件开发的离线数据同步过程中，来源端数据源的数据要能写入目的端数据源，即源端数据类型需要与写端数据类型相匹配，然而在离线任务过程中，通常会产生大量脏数据，即单条数据写入目标数据源过程中发生了异常，则此条数据为脏数据。一般情况下，写入失败的数据均被归类于脏数据。在实际操作过程中，管理员可以通过任务设置脏数据产生的数量阈值，以保证在数据集成过程的同步任务配置时，完成数据同步，当脏数据产生条数超过数量阈值时，任务将失败退出，例如设置脏数据允许条数为0条，则当脏数据产生时，任务将失败退出。当脏数据产生条数小于数量阈值时，任务将继续运行，但脏数据将会被舍弃，不写入目的端。
2、对于脏数据的任务条数设置一般由管理员手动设置，然而在大模型的学习过程中，由于离线数据的不同性质，导致使用稳定的任务条数一样会影响同步数据的能力，出现各类型报错。
技术实现思路
1、本专利技术的目的在于提供一种基于大模型的离线数据开发任务日志智能监测系统及方法，以解决上述
技术介绍
中提出的问题。
2、为了解决上述技术问题，本专利技术提供如下技术方案：一种基于大模型的离线数据开发任务日志智能监测方法，该方法包括以下步骤：
3、s1、获取软件开发业务流程名称，在数据集成目录模块拖拽离线同步节点，构建离线同步任务；
4、s2、在离线同步任务下，配置同步网络链接，选择离线同
5、s3、将离线同步任务导入生产环境运维中心，生产环境运维中心调用大模型配置脏数据处理节点；
6、s4、根据脏数据处理节点与离线同步任务，进行离线数据开发任务日志的智能监测，控制离线数据开发任务日志的同步任务启停。
7、根据上述技术方案，在步骤s2中，还包括：
8、选择资源组绑定的交换机网段、旧版资源组本身eip或新版通用型资源组绑定vpc配置的eip，添加至数据来源的白名单内；
9、构建数据来源与dataworks之间的数据关联，添加dataworks数据源的方式来测试连通性，具体包括：
10、在数据集成目录模块下，登录dataworks控制台，在导航栏内选择数据集成，选择对应工作空间后，进入数据集成，在导航栏内选择数据源，然后在数据源列表新增数据源，设置新增数据源为当前数据来源，并配置相关连接参数，实现测试连通性；
11、所述配置离线同步任务还包括：
12、周期性调度的离线同步任务需要配置任务自动调度时的相关属性，所述相关属性包括：配置节点调度属性、配置时间属性以及配置资源属性；
13、所述配置节点调度属性包括：为自定义变量赋值调度参数，同时支持赋值常量；
14、所述配置时间属性包括：用于定义任务在生产环境的周期调度方式；
15、所述配置资源属性包括：在周期性调度的离线同步任务场景下，定义数据集成任务执行资源时所使用的调度资源组。
16、根据上述技术方案，在步骤s3中，还包括：
17、基于不同执行同步任务的资源组，分别构建不同资源组下的大模型，任一资源组下的大模型构建方法包括：
18、构建样本数据集合，选取同资源组下的原始数据，所述原始数据指用户管理员的手动设置数据，形成特定数据集合，其中指离线同步任务特征组，具体包括离线同步总任务条数和离线同步任务之间关联数量，所述关联指任两个离线同步任务之间存在数据交互，定义为一次关联数量；指配置脏数据处理节点数量；采用固定权重格式对进行赋值，包括：
19、
20、其中，指系统设定的权重；、分别代表离线同步总任务条数和离线同步任务之间关联数量的归一化数据；
21、基于样本数据集合构建频率直方图，所述频率直方图中矩形面积定义为区间频率，矩形的高度为区间的平均频率密度，则：
22、
23、其中，指样本数据集合中的样本数据i；指基于样本数据集合的概率密度函数；指基于样本数据集合的累积分布函数；h代表核密度估计的带宽，系统设定；、分别代表、下的累积分布函数值，即对连续函数，所有小于等于的值，其出现概率的和为下的累积分布函数值；所有小于等于的值，其出现概率的和为下的累积分布函数值；
24、在特定数据集合的二维场景下，则对于任一项新数据x，寻找其在样本数据集合中最接近范围；形成对任一项新数据x的概率密度函数计算：
25、
26、其中，s代表序号；n代表样本数据集合中的样本总数；代表uniform核函数；代表x与的距离；
27、根据系统监测到的离线同步总任务条数和离线同步任务之间关联数量，形成特定新数据集合，从而输出在特定新数据集合下的配置脏数据处理节点数量。
28、根据上述技术方案，还包括：
29、获取离线同步任务以及在离线同步任务下的配置脏数据处理节点数量，进行离线数据开发任务日志的智能监测，若存在配置时间属性下的周期内，产生的脏数据数量低于或等于配置脏数据处理节点数量，则正常进行离线数据开发任务日志的同步任务；若存在配置时间属性下的周期内，产生的脏数据数量高于配置脏数据处理节点数量，则停止进行离线数据开发任务日志的同步任务，已同步的离线任务数据保留，并同时在管理员端口报错。
30、一种基于大模型的离线数据开发任务日志智能监测系统，该系统包括：数据集成目录模块、离线同步模块、生产环境运维管理模块以及智能监测模块；
31、所述数据集成目录模块用于获取软件开发业务流程名称，在数据集成目录模块拖拽离线同步节点，构建离线同步任务；所述离线同步模块用于在离线同步任务下，配置同步网络链接，选择离线同步任务的数据来源和数据去向，以及用于执行同步任务的资源组，测试连通性，编辑脚本，配置离线同步任务；所述生产环境运维管理模块用于将离线同步任务导入生产环境运维中心，生产环境运维中心调用大模型配置脏数据处理节点；所述智能监测模块用于根据脏数据处理节点与离线同步任务，进行离线数据开发任务日志的智能监测，控制离线数据开发任务日志的同步任务启停；
32、所述数据集成目录模块的输出端与所述离线同步模块的输入端相连接；所述离线同步模块的输出端与所述生产环境运维管理模块的输入端相连接；所述生产环境运维管理模块的输出端与所述智能监测模块的输入端相连接。
33、根据上述技术方案，所述数据集成目录模块包括软件开发业务单元与离线同步任务构建单元；
34、所述软件开发业务单元用于记录软件开发业务流程名称，形成软件开发业务列表；所述离线同步任务构建单元用于拖拽离线同步节点，构建离线同步任务；
35、所述软件开发业务单元的输出端与所述离线同步任务构建单元的输入端相连接。
36、根据上述本文档来自技高网...
【技术保护点】
1.一种基于大模型的离线数据开发任务日志智能监测方法，其特征在于：该方法包括以下步骤：
2.根据权利要求1所述的一种基于大模型的离线数据开发任务日志智能监测方法，其特征在于：在步骤S2中，还包括：
3.根据权利要求2所述的一种基于大模型的离线数据开发任务日志智能监测方法，其特征在于：在步骤S3中，还包括：
4.根据权利要求3所述的一种基于大模型的离线数据开发任务日志智能监测方法，其特征在于：还包括：
5.一种基于大模型的离线数据开发任务日志智能监测系统，其特征在于：该系统包括：数据集成目录模块、离线同步模块、生产环境运维管理模块以及智能监测模块；
6.根据权利要求5所述的一种基于大模型的离线数据开发任务日志智能监测系统，其特征在于：所述数据集成目录模块包括软件开发业务单元与离线同步任务构建单元；
7.根据权利要求5所述的一种基于大模型的离线数据开发任务日志智能监测系统，其特征在于：所述离线同步模块包括离线同步测试单元与离线同步配置单元；
8.根据权利要求5所述的一种基于大模型的离线数据开发任务日志
9.根据权利要求5所述的一种基于大模型的离线数据开发任务日志智能监测系统，其特征在于：所述智能监测模块包括智能监测单元与自动启停控制单元；
...【技术特征摘要】
1.一种基于大模型的离线数据开发任务日志智能监测方法，其特征在于：该方法包括以下步骤：
2.根据权利要求1所述的一种基于大模型的离线数据开发任务日志智能监测方法，其特征在于：在步骤s2中，还包括：
3.根据权利要求2所述的一种基于大模型的离线数据开发任务日志智能监测方法，其特征在于：在步骤s3中，还包括：
4.根据权利要求3所述的一种基于大模型的离线数据开发任务日志智能监测方法，其特征在于：还包括：
5.一种基于大模型的离线数据开发任务日志智能监测系统，其特征在于：该系统包括：数据集成目录模块、离线同步模块、生产环境运维管理模块以及智能监测模块；
6....
【专利技术属性】
技术研发人员：李庆博，李卓兵，赵思栋，李志远，
申请(专利权)人：江苏臻云技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。