本发明涉及数据处理技术领域，尤其涉及一种基于Spark‑SQL语句特性的自动资源分配优化方法，包括以下步骤：对历史Spark‑SQL任务的资源数据进行采样，对采样后得到的若干资源数据依次进行预处理和特征提取；使用所述资源分配模型对Spa...

本发明涉及数据缓存技术领域，尤其是一种Spark Cache策略优化方法。本发明通过引入一种基于缓存数据状态跟踪的优化策略，通过增强缓存的适应性和提升计算效率，为数据缓存技术领域带来了巨大的潜力和价值。该方法通过跟踪缓存数据的状态，可以...

本发明涉及数据处理领域，尤其涉及一种用于多数据源平台的管理系统，包括：数据采集单元，用以采集需求信息；数据分析单元，用以根据节点使用增幅参考值以及节点波动参考值确定节点使用状态以及根据节点使用状态确定调度控制指令；组合执行单元，其用以执...

本发明涉及数据处理领域，尤其涉及一种数据质量规则统一校验方法，包括：针对单条数据进行进行一次判定；根据数据的非空率确定是否针对评估分数进行减小调节；针对单条数据是否合格进行二次判定；根据数据的时间点是否处于预设时间范围判定是否针对评估分...

本发明涉及大数据领域，尤其涉及一种关于实时同步实施方案，包括：数据采集，通过Flink cdc采集binlog日志；字段变更事件识别，根据是否存在字段变更事件生成下游二段kafka，或，将变更前的数据写入sink端；质量稽核，由Flin...

本发明涉及数据安全技术领域，尤其涉及一种在数据预览中识别敏感数据并对其脱敏的方法，包括步骤S1,对录入的所有数据进行扫描，并将扫描确定的敏感数据进行标记；步骤S2,对标记为敏感数据的数据进行分类；步骤S3，通过多线程处理对标记为敏感数据...

本发明涉及数据处理技术领域，尤其涉及一种Hive分区优化方法，包括步骤S1，客户端上传离线同步业务代码到JobManager运行FlowGraph数据流图；步骤S2，JobManager初始化,检查并创建表，避免Task运行过程中连接h...

本发明涉及数据分组领域，尤其涉及一种针对无规律增长的数字进行均匀分组的策略，本发明通过步骤S1，获取无规律增长的整型数组，并随机提取所述整型数组中的子数组，步骤S2，根据所述子数组的最大值以及最小值确定缩放系数，步骤S3，重复执行步骤S...

本发明涉及数据存储领域，尤其涉及一种数据权限同步在物理存储控制方法，本发明包括，步骤S1，在业务层给予用户设置权限目标的只读、读写权限，步骤S2，将用户和权限目标的权限关系同时在物理存储系统中创建，步骤S3，权限关系被创建后设置针对所述...

本发明涉及数据处理技术领域，尤其涉及一种访问带有Kerberos认证的Iceberg表方法，包括：步骤S1，自定义catalog；步骤S2，在自定义的所述catalog中完成对kerberos认证；步骤S3，利用带有kerberos认证...

本发明涉及数据验证技术领域，尤其涉及一种实时同步端到端数据验证方法，包括：步骤S1，获取数据库中待分析数据，并根据数据量确定数据对比方法；步骤S2，根据步骤S1确定的数据对比方法对数据进行对比验证；步骤S3，根据步骤S2的对比验证结果，...

本发明涉及大数据语语言编写技术领域，尤其涉及一种基于语法解析模型的数据库语法扩展方法，包括，G4文件解析器解析G4词法文件和G4语法文件，并将解析的词法、语法集合存入ANTLR词法库或ANTLR语法库中；通过语法编写Web页面对需求词法...

本发明涉及数据存储技术领域，尤其涉及一种大数据标签的存储方法，包括：获取封装数据及封装数据内容对应的索引标签；根据所述索引标签形成对应的若干索引向量，并将各索引向量归并为基础检索目录；收集数据运行周期的检索数据，并根据运行周期的检索数据...

本发明涉及数据处理领域，尤其涉及一种将Hive数据load到本地文件系统的优化方法，本发明包括，步骤S1，针对每个MapReduce任务，通过Hive从数据源复制输入文件到执行单元中；步骤S2，将MapReduce任务运行并生成输出文件...

本发明涉及智能数据库领域，尤其涉及一种基于ODBC的数据库，包括：查询单元，用以进行信息查询；操作单元，用以进行用户操作，用户操作包括数据的读取、插入、更新和删除；安全单元，用以统计该周期内申请使用数据库失败的人员信息并发送至历史储存单...

本发明涉及一种基于大数据平台的跨环境数据源设计方法，涉及大数据平台元数据管理技术领域，对数据源进行应用分类；为应用分类和数据源类型配置模板；为开发环境创建所述数据源的映射关系，将同种类的所述数据源作为所述映射关系的映射对象；将映射完成的...

本发明涉及数据处理技术领域，尤其涉及一种基于hadoop的并发任务处理方法，包括：根据待运行任务的属性进行对应的扩展程序包，并将完成扩展的待运行任务进行包装，以形成扩展任务；根据扩展程序包将待运行任务分离，并形成对应各hadoop集群的...

本发明涉及程序自动开发技术领域，尤其涉及一种基于注解逆向生成模型建表的方法；该方法包括首先在实体类上注解，其次在程序运行时通过ORM框架对实体类的变化进行自动检测，然后所述ORM框架对所述注解进行解析以使代码生成器生成相应的源代码文件及...

本发明涉及资源映射技术领域，尤其涉及一种基于跨环境的资源映射及任务发布方法，包括，步骤S1，根据开发环境、测试环境以及生产环境对现有资源进行规划分配，进行物理集群搭建：步骤S2，在数据任务执行前，在各环境的系统中创建虚拟资源，并对各环境...

本发明属于大数据技术领域，更具体地，涉及一种高性能大数据调度系统，包括：调度可视化模块、策略配置中心、调度控制中心模块、任务分布式队列模块、调度协调中心模块，其中，调度控制中心模块能够对提交的工作流进行任务拆解并触发任务执行；任务分布式...