本申请的实施例提供了构建全链路的方法、装置、设备和计算机可读存储介质。所述方法包括获取SQL语句；对所述SQL语句进行预处理，得到规则化的SQL语句；解析所述规则化的SQL语句，得到构建所述SQL语句的最小单元，基于所述最小单元，构建中...

本申请公开了一种事务数据的同步方法、装置、计算机设备及存储介质，其中，该事务数据的同步方法包括：采用事务记录筛选器确定消息的消息类型；若消息类型为事务数据，则给消息建立事务账本，并采用Raft共识机制将事务账本与所有节点的全网账本进行同...

本发明涉及人工智能领域，具体涉及一种人工智能运维方法，旨在解决运维成本高、效率低的问题。本发明的人工智能运维方法包括：根据应用系统的运行日志，捕获当前异常；根据当前异常，基于方案推荐模型对应用系统进行修复；其中，方案推荐模型为根据历史异...

本申请涉及数据库技术领域，尤其是涉及基于行列级权限的请求处理方法、装置、电子设备及介质，该方法包括接收用户的查询请求；根据预设访问权限表和查询请求，确定出用户的可访问行和可访问行对应的可访问列；在数据库中提取可访问行对应于可访问列的行数...

本申请提供一种自动调参优化方法、装置、电子设备。其中，自动调参优化方法包括：根据调参指令，将历史系统参数和所述历史系统参数对应的资源消耗量，确定为训练样本；对所述训练样本进行特征提取；利用提取的特征，对参数预测模型进行训练；利用训练好的...

本申请涉及一种针对Hadoop数据平台的扩容资源预测方法及系统，包括以下步骤：基于日志库的历史样本数据训练预测模型；将当前特定时段数据集输入到预测模型，得出下一特定时段的预测数据集；将当前特定时段数据集的数据分为范围内数据以及范围外数据...

本发明公开了一种基于数据服务的优化方法、系统、计算机设备及介质，其中，该基于数据服务的优化方法包括：获取通过HTTP协议发送的数据服务请求，数据服务请求包括数据查询参数、HTTP请求参数和本地参数；通过适配器对数据查询参数、HTTP请求...

本发明涉及计算机技术领域，具体涉及一种基于关联分析的智能运维方法和计算机可读存储介质，旨在尽可能地避免或减少应用系统故障造成的损失。本发明的基于关联分析的智能运维方法包括：获取目标系统中状态参数的值；根据状态参数的值判断是否满足预设的告...

本申请公开了一种机器学习模型的评估方法、装置、计算机设备及介质，其中，该机器学习模型的评估方法包括：获取模型评估请求，模型评估请求包括数据源、机器学习方法和目标训练特征组；对数据源进行预处理，获取模型输入数据；基于模型输入数据和训练特征...

本申请的实施例提供了基于hadoop的异地双活容灾方法、装置、设备和计算机可读存储介质。所述方法包括基于hadoop框架的主集群，构建与其对应的基于hadoop框架的镜像集群；所述主集群和镜像集群分布在不同的机房，并保持心跳；通过异步的...

本申请公开了一种无效任务的处理方法、装置、计算机设备及存储介质，其中，该无效任务的处理方法包括：获取任务调度请求，任务调度请求包括至少一个已编写任务。启动数据中台任务分析引擎，用于调用已训练的无效任务识别模型分析已编写任务，获取任务分析...

本发明涉及数据处理的技术领域，其包括一种数据质量评估方法及装置、电子设备、存储介质，其中，数据质量评估方法包括：获取待评估数据；其中，待评估数据是金融数据；根据各预设指标的预设评分规则，分别计算待评估数据在各第一预设周期的各预设指标初始...

本发明涉及一种数据表排序方法及装置、电子设备、存储介质，属于数据库的技术领域；其中，数据表排序方法包括：获取各数据表在第一预设周期的各预设信息；根据各预设信息和对应的热度计算规则，分别计算各数据表的各预设信息的重要度；基于第一预设权重规...

本申请涉及数据中台的领域，尤其是涉及一种数据安全存储方法、装置、电子设备及存储介质。方法包括：获取用户的当前操作与用户的操作权限，操作权限为预先设置的用户能够执行的各种操作；根据当前操作与操作权限，确定用户能否执行当前操作；若能够执行当...

本发明公开了一种hadoop大数据任务DAG依赖智能分析系统及方法，系统根据任务创建过程中用户填写的任务信息，后续无需额外的配置，即可很简单、很灵活地解析任务间的关联关系，获得任务的DAG图。通过任务的智能依赖解析，可以方便灵活地控制任...

本发明公开了一种基于hadoop远程超大非结构化文本文件解析出入库系统及方法，可将超大文本文件从远程文件系统采用ftp或者sftp的方式读取并解析存入hive库。同时本发明也兼容传统的一般文本文件的读取、解析、入库。对于超大文本文件，本...

本发明公开了一种大数据与RMDB的表结构类型转换系统及方法，系统具体包括仓库模型设计模块，仓库模型设计模块用于为用户提供对数据库表的创建的功能，其中预置有大数据与关系型数据库的字段类型映射关系，在创建数据库表时，通过查询预置的字段类型映...

本发明公开了一种基于大数据kudu分区监控和监控慢sql的方法，对大量以及分类众多的数据进行集群分类物理分区划分，更直观展示对各个分区系统中存在的数据状态问题、存储量、分区数等，同时对系统中存在的慢sql能直观地查看，应用字典表可动态配...

本发明公开了一种针对大规模Hadoop集群资源调度管理办法，通过设置一个全局控制各个RM的路由器，可获取并根据各个集群的状态信息来选择目标的子集群，实现集群资源的调度和管理，从而既可以方便各个子集群的管理，又可以提高资源的利用率。提高资...

本发明公开了一种异构大数据管理平台任务迁移方法，将开发环境的元数据信息导出,通过配置的算法将开发环境的数据导入到生产环境中,然后处理生产环境哪些数据需要覆盖,哪些数据保持不变，实现在自动进行任务迁移的同时，不会出现任务反复的问题。不会出...