本发明涉及文件治理技术领域，特别是指一种Hive小文件治理方法，该方法包括：设置初始清理周期，对产生的小文件进行定期清理，以获得定期清理结果；实时监控小文件的产生情况，根据所述产生情况确定小文件是否存在异常；基于小文件存在异常，确定小文...

本发明涉及数据分析技术领域，尤其涉及一种可执行sq l语句的sq l元素解析方法。该方法包括将初始sq l语句分解为若干词元；生成解析树；识别表名和投影字段；执行sq l语句查询。本发明通过自动将用户输入的自然语言问句通过一定的转化规则...

本发明涉及文件清理技术领域，特别是指一种基于存算分离的数据湖文件按时清理系统及方法，该按时清理方法包括：扫描所述数据湖内各文件，根据扫描结果确定需进行清理的文件，以得到若干孤立文件；累计所述孤立文件以得到实际标记数量，根据所述实际标记数...

本发明涉及任务调度技术领域，尤其涉及一种分布式去中心化的任务调度系统，包括，任务类型分级模块、节点监测计算模块、节点选择模块、负载均衡模块、容错自愈模块以及准确率验证模块。本发明通过利用节点监测计算模块监测各节点的实时性能指标，并结合任...

本发明涉及计算机仿真领域，尤其涉及一种孪生物理建模方法，本发明通过获取监测端所采集针对监测目标的图像信息，以根据图像信息确定预定周期内监测目标的活动部件数量以及监测目标的位移参量，计算针对监测端的孪生仿真复杂表征参量，汇总各监测端对应的...

本发明涉及数据处理技术领域，尤其涉及一种基于大数据的分布式任务协同方法，包括：步骤S1，将任一用户提交的大数据任务拆分为若干个子任务数据；步骤S2，将所述若干个节点的计算结果进行合并，对所述用户的信息进行验证并在用户没有权限时发出权限访...

本发明涉及软件开发领域，尤其涉及一种基于动态隔离的更新加载方法，包括：获取待选择依赖库，根据依赖库复杂比对值以及依赖库复杂参考值确定库状态；根据待选择依赖库的库状态确定依赖库选择方式；响应不同的依赖库选择方式下选择若干第一预备依赖库；第...

本发明涉及数据安全技术领域，尤其涉及一种基于数据权限及数据安全脱敏的数据访问方法，本发明通过确定查询请求对应的解析字段所在的位置信息，将数据库终端的查询记录中各记录字段与解析字段进行位置信息比对，以构建字段集合，通过确定字段集合内与解析...

本发明涉及数据处理技术领域，尤其涉及一种基于LRU的标签更新方法，该方法包括：获取若干历史行为数据，确定若干历史标签及其对应的若干访问时间戳；基于若干历史标签和若干访问时间戳创建历史存储链表；基于若干访问时间戳确定初始更新频率；收集预设...

本发明涉及计算机领域，尤其涉及一种数据中台物理隔离环境任务参数更新方法，包括：采集数据中台各物理隔离单元的物理隔离环境参数；确定隔离单元权重评价值；判定物理隔离单元的访问是否需要设置公钥；设置对应任务预设安全认证参数并进行存储；调整所述...

本发明涉及三维建模技术领域，尤其涉及一种三维建模方法，本发明通过控制采集端移动获取实际场景内各区域物体的初步建模数据以及环境数据，依据初步建模数据确定物体表面的框架区域以及框架区域参数，根据框架区域参数结合环境数据计算针对物体的环境干涉...

本发明涉及数据迁移技术领域，尤其涉及一种基于数据平台的迁移方法，包括：步骤S1，确定待迁移数据平台以及目标迁移数据平台，确定待迁移数据平台中存储的数据类型以及数据迁移需求信息；步骤S2，依据数据迁移需求确定迁移差异特征，依据迁移差异特征...

本发明涉及数据处理技术领域，尤其涉及一种基于数据湖平台的数据备份和灾难恢复系统，包括以下步骤：数据备份模块，用以对数据湖中的数据进行备份；快照模块，用以在数据湖中的数据发生更改时生成相应的快照；灾难恢复模块，用以对备份的数据和所述快照进...

本发明涉及数据处理技术领域，尤其涉及一种基于离线同步实现断点续传的方法，包括以下步骤：对原文件进行分片以输出若干分片数据，在网络中断时将所述若干分片数据离线传输至目标位置；根据网络中断时分片数据的断点对所述分片数据进行传输，按分片的顺序...

本发明涉及程序开发技术领域，尤其涉及一种程序开发代码动态调试方法，包括：编写脚本文件；根据所述脚本文件中的代码特征的复杂程度确定编译所述脚本文件过程在代码中设置断点，并确定设置所述断点的对应段代码的报错提示的状态；根据所述脚本文件的编译...

本发明涉及数据库管理技术领域，尤其涉及一种数据仓库管理系统，包括：设置为若干分布式空间的数据库，各分布式空间的容量设置为对应的固定值；存档库，其设置为若干存档空间，计步器，其用以根据运行存档以及存档目录的状态，并对存档库进行复位指令；与...

本发明涉及日志管理领域，尤其涉及一种日志管理方法，本发明通过日志数据库实时获取所创建日志事件的特征信息，依据各日志事件间对应上下文信息的内容关联特征以及时间戳差值计算日志事件间关联表征参数，对各日志事件进行聚类，得到若干聚类日志集，监测...

本发明涉及数据分析技术领域，尤其涉及一种基于大数据的执行资源管理系统，其系统包括：扫描模块，其用以对被扫描物体形状进行扫描并生成扫描模型以及根据扫描模型生成投影图形；决策模块，用以根据扫描模型分配被扫描物体至不同处理器；处理模块，用以接...

本发明涉及数据仓库技术领域，尤其涉及一种湖仓一体平台自动生成操作日志的方法，该方法包括：实时捕捉用户操作行为，提取操作行为中操作参数，基于预设标签规则和操作参数生成目标标签；基于目标标签与操作行为的时间戳进行关联，形成初始操作日志；识别...

本发明涉及计算机网络通信技术领域，尤其涉及一种系统间通信方法，包括：获取发送端系统和接收端系统的传输节点的实时节点状态；获取发送端系统和接收端系统的传输节点的数据版本号；获取发送端系统和接收端系统的传输节点在标准持续时间段内的实时传输速...