一种数据处理方法及装置制造方法及图纸

本申请提供一种数据处理方法及装置，该方法包括：接收混合数据形式的目标数据；动态获取当前代价阈值，并获取目标数据对应的数据处理代价；判断数据处理代价是否超过当前代价阈值；如果否，将目标数据解析为点对点数据；其中，点对点数据包括文件描述符、起始位置以及偏移量；使用点对点数据处理过程对点对点数据进行处理。可见，实施这种实施方式，能够通过P2P技术直接将文件内容发送到加速硬件，从而减少数据经过计算机内存的过程，进而提高数据传输效率。传输效率。传输效率。

【技术实现步骤摘要】
一种数据处理方法及装置


[0001]本申请涉及计算机
，具体而言，涉及一种数据处理方法及装置。

技术介绍

[0002]数据库在处理数据时需要读写大量的文件。为了实现这一目的，本领域技术人员采用了硬件加速。然而，在硬件加速过程中处理计算机文件内的数据时需要将文件内的数据读取到计算机内存中，再将内存中的数据发送给加速硬件。但是，目前的数据传输效率仍然不是很理想，本领域技术人员仍为了提高该效率而不断的进行相关的研究与试验。

技术实现思路

[0003]本申请实施例的目的在于提供一种数据处理方法及装置，能够通过P2P技术直接将文件内容发送到加速硬件，从而减少数据经过计算机内存的过程，进而提高数据传输效率。
[0004]本申请实施例第一方面提供了一种数据处理方法，包括：
[0005]接收混合数据形式的目标数据；
[0006]动态获取当前代价阈值，并获取所述目标数据对应的数据处理代价；
[0007]判断所述数据处理代价是否超过所述当前代价阈值；
[0008]如果否，将所述目标数据解析为点对点数据；其中，所述点对点数据包括文件描述符、起始位置以及偏移量；
[0009]使用点对点数据处理过程对所述点对点数据进行处理。
[0010]在上述实现过程中，该方法可以优先接收混合数据形式的目标数据；然后，再动态获取当前代价阈值，并获取所述目标数据对应的数据处理代价；再后，判断所述数据处理代价是否超过所述当前代价阈值；并在数据处理代价未超过当前代价阈值时，将所述目标数据解析为点对点数据；其中，所述点对点数据包括文件描述符、起始位置以及偏移量；最后，再使用点对点数据处理过程对所述点对点数据进行处理。可见，该方法能够通过P2P技术直接将文件内容发送到加速硬件，从而减少数据经过计算机内存的过程，进而提高数据传输效率。
[0011]进一步地，所述动态获取当前代价阈值，包括：
[0012]根据预设规则动态监控当前设备状态和当前的点对点传输性能；
[0013]根据所述当前设备状态和所述当前的点对点传输性能确定点对点传输代价；
[0014]根据所述点对点传输代价确定当前代价阈值。
[0015]进一步地，所述方法还包括：
[0016]当判断出所述数据处理代价超过所述当前代价阈值时，将所述目标数据解析为数据指针；
[0017]使用内存数据形式的数据处理过程对所述数据指针进行处理。
[0018]进一步地，所述混合数据形式具体为四元组数据形式，其中，所述四元组数据形式
包括文件描述符部分、起始位置部分、偏移量部分以及数据指针部分。
[0019]本申请实施例第二方面提供了一种数据处理装置，所述数据处理装置包括：
[0020]接收单元，用于接收混合数据形式的目标数据；
[0021]动态获取单元，用于动态获取当前代价阈值；
[0022]获取单元，用于获取所述目标数据对应的数据处理代价；
[0023]判断单元，用于判断所述数据处理代价是否超过所述当前代价阈值；
[0024]解析单元，用于当判断出不超过所述当前代价阈值时，将所述目标数据解析为点对点数据；其中，所述点对点数据包括文件描述符、起始位置以及偏移量；
[0025]数据处理单元，用于使用点对点数据处理过程对所述点对点数据进行处理。
[0026]在上述实现过程中，该数据处理装置可以通过接收单元接收混合数据形式的目标数据；通过动态获取单元动态获取当前代价阈值；通过获取单元获取所述目标数据对应的数据处理代价；通过判断单元判断所述数据处理代价是否超过所述当前代价阈值；通过解析单元在判断出不超过所述当前代价阈值时，将所述目标数据解析为点对点数据；其中，所述点对点数据包括文件描述符、起始位置以及偏移量；最后，再通过数据处理单元，用于使用点对点数据处理过程对所述点对点数据进行处理。可见，该方法能够通过P2P技术直接将文件内容发送到加速硬件，从而减少数据经过计算机内存的过程，进而提高数据传输效率。
[0027]进一步地，所述动态获取单元包括：
[0028]监控子单元，用于根据预设规则动态监控当前设备状态和当前的点对点传输性能；
[0029]确定子单元，用于根据所述当前设备状态和所述当前的点对点传输性能确定点对点传输代价；以及根据所述点对点传输代价确定当前代价阈值。
[0030]进一步地，所述解析单元，还用于当判断出超过所述当前代价阈值时，将所述目标数据解析为数据指针；
[0031]所述数据处理单元，还用于使用内存数据形式的数据处理过程对所述数据指针进行处理。
[0032]进一步地，所述混合数据形式具体为四元组数据形式，其中，所述四元组数据形式包括文件描述符部分、起始位置部分、偏移量部分以及数据指针部分。
[0033]本申请实施例第三方面提供了一种电子设备，包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行本申请实施例第一方面中任一项所述的数据处理方法。
[0034]本申请实施例第四方面提供了一种计算机可读存储介质，其存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行本申请实施例第一方面中任一项所述的数据处理方法。
附图说明
[0035]为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0036]图1为本申请实施例提供的一种数据处理方法的流程示意图；
[0037]图2为本申请实施例提供的一种数据处理装置的结构示意图；
[0038]图3为本申请实施例提供的一种内存形式的数据和P2P形式的数据的比较示意图；
[0039]图4为本申请实施例提供的一种解析混合形式数据的过程图；
[0040]图5为本申请实施例提供的一种动态适配P2P技术的应用示意图。
具体实施方式
[0041]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
[0042]应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0043]实施例1
[0044]请参看图1，图1为本实施例提供了一种数据处理方法的流程示意图。其中，该数据处理方法包括：
[0045]S101、接收混合数据形式的目标数据。
[0046]本实施例中，混合数据形式具体为四元组数据形式，其中，四元组数据形式包括文件描述符部分、起始位置部分、偏移量部分以及数据指针部分。
[004本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：接收混合数据形式的目标数据；动态获取当前代价阈值，并获取所述目标数据对应的数据处理代价；判断所述数据处理代价是否超过所述当前代价阈值；如果否，将所述目标数据解析为点对点数据；其中，所述点对点数据包括文件描述符、起始位置以及偏移量；使用点对点数据处理过程对所述点对点数据进行处理。2.根据权利要求1所述的数据处理方法，其特征在于，所述动态获取当前代价阈值，包括：根据预设规则动态监控当前设备状态和当前的点对点传输性能；根据所述当前设备状态和所述当前的点对点传输性能确定点对点传输代价；根据所述点对点传输代价确定当前代价阈值。3.根据权利要求1所述的数据处理方法，其特征在于，所述方法还包括：当判断出所述数据处理代价超过所述当前代价阈值时，将所述目标数据解析为数据指针；使用内存数据形式的数据处理过程对所述数据指针进行处理。4.根据权利要求1所述的数据处理方法，其特征在于，所述混合数据形式具体为四元组数据形式，其中，所述四元组数据形式包括文件描述符部分、起始位置部分、偏移量部分以及数据指针部分。5.一种数据处理装置，其特征在于，所述数据处理装置包括：接收单元，用于接收混合数据形式的目标数据；动态获取单元，用于动态获取当前代价阈值；获取单元，用于获取所述目标数据对应的数据处理代价；判断单元，用于判断所述数据处理代价是否超过所述当前代价阈值；解析单元，用于当判断出不...

【专利技术属性】
技术研发人员：蒿杰，吕志丰，彭琳，高韵沣，陈韶伟，陆佳霖，
申请(专利权)人：芯跳科技广州有限公司，
类型：发明
国别省市：