本发明涉及数据处理技术领域，尤其涉及一种基于Flink SQL的流式数据质量监控方法，包括，将预设的字段规则数据对数据表的数据进行约束；通过Flink应用程序对所述数据库中的字段规则数据进行读取，解析；通过Flink SQL结合自定义算...

本发明涉及系统运维技术领域，尤其涉及一种基于SNMP和LLDP协议的资产拓扑结构自动发现方法，包括，获取Mib节点的数据；将查询到的数据增量写入worker数据库；合成拓扑关系结构图；将生成的拓扑关系结构图与历史数据中距当前时间节点最近...

本发明涉及数据库技术领域，尤其涉及一种自动初始化数据库SQL的方法，包括：设定启动戳，并分配启动戳的启动内存；根据启动内存选取对应的配置文件对数据库的进行数据库配置；解析数据库配置并根据启动次数确定解析路径；根据数据库配置执行项目；确认...

本发明涉及大数据Hive技术领域，尤其涉及一种网络化的Hive表数据加载方法，包括：在客户端主机中保存服务端接受客户端主机的文件的系统路径；解析出用户名和密码；使用所述服务端尝试访问子目录，捕获尝试访问中出现的异常访问的捕获次数；在所述...

本发明涉及数据处理技术领域，尤其涉及一种分布式数据处理方法，包括，在客户端提交PySpark应用时，构建独立于Spark集群外的Python执行环境；Spark Driver解析PySpark应用的Python依赖参数；Python依赖...

本发明涉及计算机技术领域，尤其涉及一种基于Spark任务标识的任务调度方法，该方法包括为每个Spark任务定义唯一的标识符，将标识后的Spark任务存储到待执行任务队列中；根据待执行任务队列中单个任务执行完成的时间与所述单个任务存在依赖...

本发明涉及数据管理领域，尤其涉及一种动态参数数据管理运行的方法、装置及存储介质，本发明通过对执行记录进行结构分析，确定结构差异特征，基于结构差异特征结合被传输时的传输特征的离散差异确定针对执行记录的显性结构离散参数，并划分显性结构离散类...

本发明涉及数据库技术领域，尤其涉及一种数据库表变动下的数据资产实时更新方法，包括：设置数据库的若干分区；获取单个更新周期内各分区的使用频次；根据使用频次设定对应的更新优先级；根据更新优先级设定临时存储区，并将临时存储区与对应的分区关联；...

本发明涉及数据处理技术领域，尤其涉及一种跨多个数据源的联邦查询装置，包括客户端，用以发送SQL查询请求；服务端，用以接受SQL查询请求；数据储存单元用于存放若干数据源的数据库，映射关系构建单元用以构建与数据储存单元存在映射关系的数据库管...

本发明涉及组件集群管理技术领域，特别是指一种基于java语言的大数据组件集群管理系统，该系统包括：组件分类模块、任务识别模块、运行识别模块、管理调度模块和联合修正模块。本发明通过对大数据组件进行周期性分类和调整，使得分类结果更加准确和适...

本发明涉及数据脱敏领域，尤其涉及一种数据动态脱敏方法，本发明通过将用户端上传至在线论坛的若干评论文本划分为若干评论文本段，由各所述评论文本段中随机抽取预定比例的关键词组合，确定各关键词组合的显性语义匹配度，划分评论文本段的语义隐藏倾向，...

本发明涉及任务调度技术领域，尤其涉及一种基于任务实例依赖关系的调度系统性能优化方法，该方法包括：对若干任务实例对应的历史执行数据进行分析，根据分析结果判断若干任务实例间的实际依赖关系和实际依赖强度；根据实际依赖关系和实际依赖强度对总计算...

本发明属于数据库应用领域，尤其涉及一种SQL建表语法解析和生成的方法，该方法能够应用于低代码或数据平台应用中，更具体为生成建表SQL或解析SQL中表结构内容等场景，包括：生成若干词汇单元；根据词汇单元形成若干对应关系；根据指令单元形成过...

本发明涉及数据处理技术领域，尤其涉及一种Spark多任务依赖调度方法，包括以下步骤：任务提交组件将用户输入的任务调度语法提交到DAG图生成组件，所述DAG图生成组件根据弹性分布式数据集对所述任务调度语法中的依赖关系进行解析并生成依赖任务...

本发明涉及数据脱敏技术领域，尤其涉及一种基于大数据处理的数据脱敏方法及装置。该方法包括，步骤S1，分段；步骤S2，匹配；步骤S3，脱敏处理；步骤S4，储存。本发明通过将通信数据文件分为若干段分别处理，提高处理效率，在对脱敏数据匹配替换数...

本发明涉及数据处理技术领域，尤其涉及一种基于mybatis插件多数据源适配的方法，包括：确定基础数据库和迁移数据库的数据定义规则，配置对应的mybatis插件进行数据转译；设置数据库加密规则；使用mybatis插件对需要进行转译的SQL...

本发明涉及大数据处理领域，尤其涉及一种Spark高性能Driver集群方案，包括，用以提交任务和结果反馈的客户层，用以接收客户端传送的任务并完成计算并分配任务的Driver Master层，用以接收所述Driver Master层分配的...

本发明涉及数据库技术领域，尤其涉及一种针对不同数据库不同sq1语法db‑text‑to‑sql，包括，S1，连接数据库，根据数据库类型进行加载模板和数据库预训练sql；S2，遍历数据源数据库和数据库中的所有表的建表语句；S3，初始化模型...

本发明涉及数据处理领域，尤其涉及一种不同场景下的Hive Server2节点选择方法，包括：针对集群规模进行检测，并根据集群规模确定处理策略；若集群规模处于第二预设集群规模，数据分析单元判定进行二次选择，针对集群节点资源分布均匀度进行检...

本发明涉及文件处理技术领域，尤其涉及一种多网络环境的访问对象存储方法，包括，针对多局域网中的各设备对IP的访问次数进行监控，根据单个设备针对同一IP在预设检测时长的访问次数对访问对象的运行状态是否符合预设标准进行判定；根据预设历史时长内...