一种大数据检索合成交换数据结构的数据描述方法及系统技术方案

本发明专利技术提出了一种大数据检索合成交换数据结构的数据描述方法及系统，涉及计算机技术领域。包括建立全息型数据结构，以数组的形式实现数据的顺序添加，其中新加入的数据放在数组的最后面；数据包或文件均包括多个数据伙伴节点、数据演变节点和数据节点；三种格式产生的节点以添加的顺序进行排列，新的类型节点添加至数组的末尾；设有type字段，提供类型节点的结构功能和解析指示；将源数据根据全息型数据结构进行数据交换，接收端在全息型数据结构的数据交换下，对数据格式进行解析方案的适配，提取或者添加相关数据。其能够实现异构数据检索、合成、交换和存储的功能，为单一系统单一应用对于跨网络、系统和应用的前端集成应用提供了便捷。提供了便捷。提供了便捷。

【技术实现步骤摘要】
一种大数据检索合成交换数据结构的数据描述方法及系统


[0001]本专利技术涉及计算机
，具体而言，涉及一种大数据检索合成交换数据结构的数据描述方法及系统。

技术介绍

[0002]当前要实现跨网络、跨系统、跨应用的数据应用，通常基于不同来源不同格式的数据文件或者数据服务，采用人工编程或者基于数据治理工具人工配置操作等进行数据汇聚治理工作，转换接入到当前所在系统的大数据库中形成统一建模的大数据池，再以约定建模的数据格式为本地系统提供数据服务，在数据服务基础上，再进行人工研发各类数据应用系统实现数据集成应用。而这种方式由于不同来源的数据格式不统一，通常为文本文件或者电子表格文件或者多个不同格式的服务总线服务，需要人工识别，通过人工编程或者数据治理软件工具重新解析、设计和建模。同时现有技术和方案从原始数据到最终应用，需要专业数据工程师人员进行数据的中间处理转换，提高了数据使用成本，降低了数据流转使用效率，不符合大数据时代的高效数据应用需求。由此需要一种大数据检索合成交换数据结构的数据描述方法及系统。

技术实现思路

[0003]本专利技术的目的在于提供一种大数据检索合成交换数据结构的数据描述方法，其能够实现异构数据检索、合成、交换和存储的功能，为单一系统单一应用界面对于跨网络、跨系统、跨应用的前端大数据集成应用提供了便捷。
[0004]本专利技术的实施例是这样实现的：
[0005]第一方面，本申请实施例提供一种大数据检索合成交换数据结构的数据描述方法，其包括基于预设编程语法建立全息型数据结构，全息型数据结构以数组的形式实现数据的顺序添加，其中最新加入的数据，放在数组的最后面；预设数组中任一项数据均支持预设的数据伙伴、数据演变和数据节点三种格式的类型节点；任一数据包或文件均包括多个数据伙伴节点、多个数据演变节点和多个数据节点；三种格式产生的类型节点根据生成或者添加的顺序进行排列，最新的类型节点添加至数组或者文件的末尾；每个类型节点都有type字段，提供类型节点的结构功能和解析指示；将源数据根据全息型数据结构进行数据交换，接收端根据预设的数据约定，在全息型数据结构的数据交换下，针对数据格式进行解析方案的适配，而后提取或者添加相关数据。
[0006]在本专利技术的一些实施例中，数据伙伴在进行数据交换时，对于数据提供方的信息进行描述，并附带增值访问协议的接口信息。
[0007]在本专利技术的一些实施例中，增值访问协议接口提供在网络可达条件下，通过增值访问协议，在数据伙伴授权条件下，进行相关数据的互动检索。
[0008]在本专利技术的一些实施例中，数据演变在进行数据交换时，作为数据演变的关系的描述类节点，记录当前数据包或文件中节点的转换、聚合、拆分的来源推演关系。
[0009]在本专利技术的一些实施例中，数据节点在进行数据交换时，记录每个数据集合，并提供结构描述和数据内容。
[0010]在本专利技术的一些实施例中，全息型数据结构还包括：基于全息型数据结构围绕一个数据实用目标，将相关的但不相同结构的数据并存在同一个文件或数据包中；同时全息型数据结构包括异构数据的数据内容、异构数据的数据结构性描述以及异构数据之间的推演关系的描述；异构数据包括来源网络服务接口，并为数据交换提供安全访问接口机制，在网络可达条件下，对节点数据在符合源数据服务安全和授权条件下的深度访问以及对得出的结果进行集成。
[0011]在本专利技术的一些实施例中，预设编程语法为通用的JSON语法格式。
[0012]第二方面，本申请实施例提供一种大数据检索合成交换数据结构的数据描述系统，其包括架构模块，基于预设编程语法建立全息型数据结构，全息型数据结构以数组的形式实现数据的顺序添加，其中最新加入的数据，放在数组的最后面；类型模块，用于预设数组中任一项数据均支持预设的数据伙伴、数据演变和数据节点三种格式的类型节点；任一数据包或文件均包括多个数据伙伴节点、多个数据演变节点和多个数据节点；添加规则模块，用于三种格式产生的类型节点根据生成或者添加的顺序进行排列，最新的类型节点添加至数组或者文件的末尾；指示字段预设模块，每个类型节点都有type字段，提供类型节点的结构功能和解析指示；交换模块，用于将源数据根据全息型数据结构进行数据交换，接收端根据预设的数据约定，在全息型数据结构的数据交换下，针对数据格式进行解析方案的适配，而后提取或者添加相关数据。
[0013]第三方面，本申请实施例提供一种电子设备，包括至少一个处理器、至少一个存储器和数据总线；其中：处理器与存储器通过数据总线完成相互间的通信；存储器存储有可被处理器执行的程序指令，处理器调用程序指令以执行一种大数据检索合成交换数据结构的数据描述方法。
[0014]第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现一种大数据检索合成交换数据结构的数据描述方法。
[0015]相对于现有技术，本专利技术的实施例至少具有如下优点或有益效果：
[0016]本设计原理为定义一种数据描述和文件存储的数据结构，通过统一交换数据包格式，由各个系统基于统一数据包实现和本地系统交互，则建立单独的数据治理系统成为非必要的选择，也不需要数据来源系统的全量数据开放，只需要和各个来源系统基于本专利技术的数据结构，建立起一种条件交换交易机制，就可以实现本地数据集成应用外部数据的系统功能。其只需要各个系统按照本设计协议支持一个全息型数据接口，就能实现数据之间的交换共享。而不需要在本地的应用体系架构中实现一个庞大复杂和实际应用效果不佳的数据治理系统。并且本设计可用于计算机软件系统的前端交互应用和文件数据存储。其对来自不同数据服务系统、不同业务应用系统、不同结构的数据定义了一个通用独立的数据包结构，可实现异构数据检索、合成、交换、存储的功能，支持包内数据关系的关联，提供数据交换的协议约定；同时定义了数据的界面展示规则参数体系，约定了跨系统互动协议接口，为单一系统单一应用界面对于跨网络、跨系统、跨应用的前端大数据集成应用提供了便捷。
附图说明
[0017]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0018]图1为本专利技术中一种大数据检索合成交换数据结构的数据描述方法流程图；
[0019]图2为本专利技术中数据包或者文件的数据结构示意图；
[0020]图3为本专利技术中一种大数据检索合成交换数据结构的数据描述系统的结构示意图；
[0021]图4为本专利技术中一种电子设备的结构示意图。
[0022]图标：1、架构模块；2、类型模块；3、添加规则模块；4、指示字段预设模块；5、交换模块；6、处理器；7、存储器；8、数据总线。
具体实施方式
[0023]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种大数据检索合成交换数据结构的数据描述方法，其特征在于，包括：基于预设编程语法建立全息型数据结构，所述全息型数据结构以数组的形式实现数据的顺序添加，其中最新加入的数据，放在数组的最后面；预设所述数组中任一项数据均支持预设的数据伙伴、数据演变和数据节点三种格式的类型节点；任一所述数据包或文件均包括多个数据伙伴节点、多个数据演变节点和多个数据节点；三种格式产生的类型节点根据生成或者添加的顺序进行排列，最新的类型节点添加至所述数组或者文件的末尾；每个类型节点都有type字段，提供类型节点的结构功能和解析指示；将源数据根据所述全息型数据结构进行数据交换，接收端根据预设的数据约定，在所述全息型数据结构的数据交换下，针对数据格式进行解析方案的适配，而后提取或者添加相关数据。2.如权利要求1所述的一种大数据检索合成交换数据结构的数据描述方法，其特征在于，所述数据伙伴在进行数据交换时，对于数据提供方的信息进行描述，并附带增值访问协议的接口信息。3.如权利要求2所述的一种大数据检索合成交换数据结构的数据描述方法，其特征在于，所述增值访问协议接口提供在网络可达条件下，通过所述增值访问协议，在所述数据伙伴授权条件下，进行相关数据的互动检索。4.如权利要求1所述的一种大数据检索合成交换数据结构的数据描述方法，其特征在于，所述数据演变在进行数据交换时，作为数据演变的关系的描述类节点，记录当前数据包或文件中节点的转换、聚合、拆分的来源推演关系。5.如权利要求1所述的一种大数据检索合成交换数据结构的数据描述方法，其特征在于，所述数据节点在进行数据交换时，记录每个数据集合，并提供结构描述和数据内容。6.如权利要求1所述的一种大数据检索合成交换数据结构的数据描述方法，其特征在于，所述全息型数据结构还包括：基于所述全息型数据结构围绕一个数据实用目标，将相关的但不相同结构的数据并存在同一个文件或数据包中；同...

【专利技术属性】
技术研发人员：李振球，
申请(专利权)人：李振球，
类型：发明
国别省市：