数据处理方法及相关装置制造方法及图纸

技术编号:37564307 阅读:10 留言:0更新日期:2023-05-15 07:45
本申请实施例提供一种数据处理方法及相关装置,所述方法包括:接收待存储数据集,所述待存储数据集中包括多个待存储数据,所述待存储数据对应的存储空间大于2字节;将所述待存储数据集进行拆分处理,得到第一子待存储数据集和第二子待存储数据集,所述第一子待存储数据集中的元素为所述待存储数据集中的多个待存储数据中的第一个待存储数据和第二个待存储数据;对所述第二子待存储数据集中的待存储数据进行数据压缩处理,以得到压缩处理后的第二子待存储数据集,所述压缩处理后的第二子待存储数据集中的待存储数据对应的存储空间包括1字节;将所述第一子待存储数据集和所述压缩处理后的第二子待存储数据进行存储,能够对第二子待存储数据集中的待存储数据进行高强度压缩,从而提升数据压缩的效率,减少压缩后的数据在存储时占用的内存空间。的数据在存储时占用的内存空间。的数据在存储时占用的内存空间。

【技术实现步骤摘要】
数据处理方法及相关装置


[0001]本申请涉及数据处理
,具体涉及一种数据处理方法及相关装置。

技术介绍

[0002]在数据存储方面,随着数据量的不断增加,需要对数据进行压缩后进行存储,从而节省存储空间。现有的对数据进行压缩的方案通常是将数据按数据的最小单位bit进行储存,其对数据进行压缩时的压缩率较低,以及当需要储存的数值的最大值过大时,现有方案对数据进行压缩时实际的压缩效果不明显,导致压缩的效率较低。

技术实现思路

[0003]本申请实施例提供一种数据处理方法及相关装置,能够对第二子待存储数据集中的待存储数据进行高强度压缩,从而提升数据压缩的效率,减少压缩后的数据在存储时占用的内存空间。
[0004]本申请实施例的第一方面提供了一种数据处理方法,,所述方法包括:
[0005]接收待存储数据集,所述待存储数据集中包括多个待存储数据,所述待存储数据对应的存储空间大于2字节;
[0006]将所述待存储数据集进行拆分处理,得到第一子待存储数据集和第二子待存储数据集,所述第一子待存储数据集中的元素为所述待存储数据集中的多个待存储数据中的第一个待存储数据和第二个待存储数据;
[0007]对所述第二子待存储数据集中的待存储数据进行数据压缩处理,以得到压缩处理后的第二子待存储数据集,所述压缩处理后的第二子待存储数据集中的待存储数据对应的存储空间包括1字节;
[0008]将所述第一子待存储数据集和所述压缩处理后的第二子待存储数据进行存储。
[0009]在一个可能的实现方式中,所述对所述第二子待存储数据集中的待存储数据进行数据压缩处理,以得到压缩处理后的第二子待存储数据集,包括:
[0010]对所述第二子待存储数据集中的待存储数据和第一子待存储数据集中的待存储数据进行排序处理,以得到第一待存储数据序列,第一子待存储数据集中的待存储数据位于所述第一待存储数据序列中的第一序列位置和第二序列位置;
[0011]根据所述第一待存储数据序列对所述第二子待存储数据集中的待存储数据进行数据压缩变换处理,以得到压缩处理后的第二子待存储数据集。
[0012]在一个可能的实现方式中,所述根据所述第一待存储数据序列对所述第二子待存储数据集中的待存储数据进行数据压缩变换处理,以得到压缩处理后的第二子待存储数据集,包括:
[0013]通过如下公式所示的方法根据所述第一待存储数据序列对所述第二子待存储数据集中的待存储数据进行数据压缩变换处理,以得到压缩处理后的第二子待存储数据集:
[0014]dn=(bn

b[n

1])

(b[n

1]‑
b[n

2]),n大于或等于3;
[0015]其中,dn为bn压缩处理后对应的压缩数据,bn为第一待存储数据序列中第n个待存储数据,b[n

1]为第一待存储数据序列中第n

1个待存储数据,b[n

2]为第一待存储数据序列中第n

2个待存储数据,第一待存储数据序列为b1,b2,
……
,bn;b1为第一个待存储数据,b2为第二个待存储数据。
[0016]在一个可能的实现方式中,所述根据所述第一待存储数据序列对所述第二子待存储数据集中的待存储数据进行数据压缩变换处理,以得到压缩处理后的第二子待存储数据集,包括:
[0017]通过如下公式所示的方法根据所述第一待存储数据序列对所述第二子待存储数据集中的待存储数据进行数据压缩变换处理,以得到压缩处理后的第二子待存储数据集:
[0018]dn=b[n

1]‑
b[n

2],n大于或等于3;
[0019]其中,dn为bn压缩处理后对应的压缩数据,b[n

1]为第一待存储数据序列中第n

1个待存储数据,b[n

2]为第一待存储数据序列中第n

2个待存储数据,第一待存储数据序列为b1,b2,
……
,bn;b1为第一个待存储数据,b2为第二个待存储数据。
[0020]在一个可能的实现方式中,所述将所述第一子待存储数据集和所述压缩处理后的第二子待存储数据进行存储,包括:
[0021]存储所述第一子待存储数据集中的待存储数据;
[0022]根据所述第一待存储数据序列对所述压缩处理后的第二子待存储数据进行数据区间判别;
[0023]若压缩处理后的第二子待存储数据存在处于第一数据区间的第一数据dk,则缓存所述第一数据dk;
[0024]若压缩处理后的第二子待存储数据存在处于第二数据区间的第二数据dm,则在内存中存储所述第二数据;
[0025]在对所述压缩处理后的第二子待存储数据均进行数据区间判别后,在内存中存储所述第一数据dk。
[0026]本申请实施例的第二方面提供了一种数据处理装置,所述装置包括:
[0027]接收单元,用于接收待存储数据集,所述待存储数据集中包括多个待存储数据,所述待存储数据对应的存储空间大于2字节;
[0028]拆分单元,用于将所述待存储数据集进行拆分处理,得到第一子待存储数据集和第二子待存储数据集,所述第一子待存储数据集中的元素为所述待存储数据集中的多个待存储数据中的第一个待存储数据和第二个待存储数据;
[0029]压缩单元,用于对所述第二子待存储数据集中的待存储数据进行数据压缩处理,以得到压缩处理后的第二子待存储数据集,所述压缩处理后的第二子待存储数据集中的待存储数据对应的存储空间包括1字节;
[0030]存储单元,用于将所述第一子待存储数据集和所述压缩处理后的第二子待存储数据进行存储。
[0031]在一个可能的实现方式中,所述压缩单元用于:
[0032]对所述第二子待存储数据集中的待存储数据和第一子待存储数据集中的待存储数据进行排序处理,以得到第一待存储数据序列,第一子待存储数据集中的待存储数据位于所述第一待存储数据序列中的第一序列位置和第二序列位置;
[0033]根据所述第一待存储数据序列对所述第二子待存储数据集中的待存储数据进行数据压缩变换处理,以得到压缩处理后的第二子待存储数据集。
[0034]在一个可能的实现方式中,在所述根据所述第一待存储数据序列对所述第二子待存储数据集中的待存储数据进行数据压缩变换处理,以得到压缩处理后的第二子待存储数据集方面,所述压缩单元用于:
[0035]通过如下公式所示的方法根据所述第一待存储数据序列对所述第二子待存储数据集中的待存储数据进行数据压缩变换处理,以得到压缩处理后的第二子待存储数据集:
[0036]dn=(bn

b[n

1])

(b[n

1]‑
b本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法,其特征在于,所述方法包括:接收待存储数据集,所述待存储数据集中包括多个待存储数据,所述待存储数据对应的存储空间大于2字节;将所述待存储数据集进行拆分处理,得到第一子待存储数据集和第二子待存储数据集,所述第一子待存储数据集中的元素为所述待存储数据集中的多个待存储数据中的第一个待存储数据和第二个待存储数据;对所述第二子待存储数据集中的待存储数据进行数据压缩处理,以得到压缩处理后的第二子待存储数据集,所述压缩处理后的第二子待存储数据集中的待存储数据对应的存储空间包括1字节;将所述第一子待存储数据集和所述压缩处理后的第二子待存储数据进行存储。2.根据权利要求1所述的方法,其特征在于,所述对所述第二子待存储数据集中的待存储数据进行数据压缩处理,以得到压缩处理后的第二子待存储数据集,包括:对所述第二子待存储数据集中的待存储数据和第一子待存储数据集中的待存储数据进行排序处理,以得到第一待存储数据序列,第一子待存储数据集中的待存储数据位于所述第一待存储数据序列中的第一序列位置和第二序列位置;根据所述第一待存储数据序列对所述第二子待存储数据集中的待存储数据进行数据压缩变换处理,以得到压缩处理后的第二子待存储数据集。3.根据权利要求2所述的方法,其特征在于,所述根据所述第一待存储数据序列对所述第二子待存储数据集中的待存储数据进行数据压缩变换处理,以得到压缩处理后的第二子待存储数据集,包括:通过如下公式所示的方法根据所述第一待存储数据序列对所述第二子待存储数据集中的待存储数据进行数据压缩变换处理,以得到压缩处理后的第二子待存储数据集:dn=(bn

b[n

1])

(b[n

1]

b[n

2]),n大于或等于3;其中,dn为bn压缩处理后对应的压缩数据,bn为第一待存储数据序列中第n个待存储数据,b[n

1]为第一待存储数据序列中第n

1个待存储数据,b[n

2]为第一待存储数据序列中第n

2个待存储数据,第一待存储数据序列为b1,b2,
……
,bn;b1为第一个待存储数据,b2为第二个待存储数据。4.根据权利要求2所述的方法,其特征在于,所述根据所述第一待存储数据序列对所述第二子待存储数据集中的待存储数据进行数据压缩变换处理,以得到压缩处理后的第二子待存储数据集,包括:通过如下公式所示的方法根据所述第一待存储数据序列对所述第二子待存储数据集中的待存储数据进行数据压缩变换处理,以得到压缩处理后的第二子待存储数据集:dn=b[n

1]

b[n

2],n大于或等于3;其中,dn为bn压缩处理后对应的压缩数据,b[n

1]为第一待存储数据序列中第n

1个待存储数据,b[n

2]为第一待存储数据序列中第n

2个待存储数据,第一待存储数据序列为b1,b2,
……
,bn;b1为第一个待存储数据,b2为第二个待存储数据。5.根据权利要求3或4所述的方法,其特征在于,所述将所述第一子待存储数据集和所述压缩处理后的...

【专利技术属性】
技术研发人员:陈举贤
申请(专利权)人:深圳融昕医疗科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1