一种混合数据动态调整迷你缓冲编码方法及装置制造方法及图纸

本发明专利技术涉及数据流编码算法领域，具体提供了一种混合数据动态调整迷你缓冲编码方法及装置，基于数据流，Simplestream压缩算法对simple8b进行了改造，将simple8b的selector 0和selector1重新定义；Simplestream压缩算法最小单元是8字节，分为控制块、数据块和字节块；控制块由selector 0定义；所述数据块在原先simple8b的基础上，去除了selector 0，重新定义selector 1；字节块不编码，采用原生的二进制码。与现有技术相比，本发明专利技术的高效压缩数据的同时，所消耗资源极小，可以降低带宽需求并提高传输效率。并提高传输效率。并提高传输效率。

【技术实现步骤摘要】
一种混合数据动态调整迷你缓冲编码方法及装置


[0001]本专利技术涉及数据流编码算法领域，具体提供一种混合数据动态调整迷你缓冲编码方法及装置。

技术介绍

[0002]数据编码在数据传输过程中得到了广泛应用。在大数据环境中，随着数据传输量的不断增长，迫切需要引入一种高效且简单的编码算法，以降低带宽需求并提高传输效率。

技术实现思路

[0003]本专利技术是针对上述现有技术的不足，提供一种实用性强的混合数据动态调整迷你缓冲编码方法。
[0004]本专利技术进一步的技术任务是提供一种设计合理，安全适用的混合数据动态调整迷你缓冲编码装置。
[0005]本专利技术解决其技术问题所采用的技术方案是：
[0006]一种混合数据动态调整迷你缓冲编码方法，基于数据流，Simplestream压缩算法对simple8b进行了改造，将simple8b的selector 0和selector 1重新定义；
[0007]所述Simplestream压缩算法最小单元是8字节，分为控制块、数据块和字节块；
[0008]所述控制块由selector 0定义；所述数据块在原先simple8b的基础上，去除了selector 0，重新定义selector 1；所述字节块不编码，采用原生的二进制码。
[0009]进一步的，selector 1在所述数据块中重新定义，Bit 0
‑
3selector 1；
[0010]Simplestream重新定义selector 1的意义，支持游程编码；
[0011]Bit32
‑
63是一个32bit的整数，是一个表示值；
[0012]Bit 4
‑
31是一个28bit的整数，是所述表示值的重复次数。
[0013]进一步的，selector 0是新的控制块，Bit 0
‑
3selector 0；
[0014]Simplestream将simple8b原先的selector 0重新定义为一个控制块的头部，并将余下的60bit赋予新的意义；
[0015]其中，Bit 4
‑
7是控制标志，控制标志共有4组，分别为会话标志、整数标志、浮点数标志和字节流标志；每组有三个值，分别表示开始、结束和进行中；
[0016]Bit 8
‑
63再根据不同的控制标志分别定义。
[0017]进一步的，所述控制标志Bit 4
‑
7，表示占用占用4bit，0
‑
15共16个标志，标志定义如下：
[0018]0、reserved，保留；
[0019]1、session begin，会话开始；
[0020]2、session end，会话结束；
[0021]3、session continued，会话进行中；
[0022]4、integerparagraphbegin，整数传输开始；
[0023]5、integer paragraph end，整数传输结束；
[0024]6、integer paragraph continued，整数传输进行中；
[0025]7、float paragraphbegin，浮点数传输开始；
[0026]8、float paragraph end，浮点数传输结束；
[0027]9、float paragraph continued，浮点数传输进行中；
[0028]10、bytesparagraphbegin，字节流传输开始；
[0029]11、bytes paragraph end，字节流传输结束；
[0030]12、bytes paragraph continued，字节流传输进行中；
[0031]13
‑
15、reserved，保留。
[0032]进一步的，会话标志组的控制标志1
‑
3；
[0033]Bit 8
‑
31,reserved，保留；Bit 32
‑
63,original data size，传输前原数据的大小。
[0034]进一步的，整数标志组的控制标志4
‑
6；
[0035]Bit 8
‑
10，data type indicator，started from 0:int64，uint64，int32，uint32，int16，uint16，int8，uint8，表示8种整数数据类型；
[0036]Bit 11
‑
19，bit map of encoding method，表示用到的压缩算法，以bitmap的方式，一个bit对应一种算法，1表示使用算法，0表示没有使用算法；
[0037]Bit 11,delta；
[0038]Bit 12,delta over delta；
[0039]Bit 13,zigzag；
[0040]Bit 14
‑
19,reserved；
[0041]Bit 20
‑
31,最大公约数，表示编码的一组数有最大公约数，后面的编码中已经被最大公约数作为除数调整过；
[0042]Bit 32
‑
35,从个位数向前连续零的个数；
[0043]Bit 36
‑
63，the number of integers，整数的数量，只在整数传输开始控制块中有意义。
[0044]进一步的，浮点数标志组的控制标志7
‑
9；
[0045]Bit 8
‑
10,data type indicator,started from 0:int64,uint64,int32,uint32,int16,uint16,int8,uint8，表示8种整数数据类型，只在浮点数按整数来处理时有意义；
[0046]Bit 11
‑
19,bit map of encoding method,表示用到的压缩算法，以bitmap的方式，一个bit对应一种算法，1表示使用算法，0表示没有使用算法；
[0047]Bit 11,delta；
[0048]Bit 12,delta over delta；
[0049]Bit 13,zigzag；
[0050]Bit 14,XOR；
[0051]Bit 15
‑
19,reserved；
[0052]Bit 20
‑
31,最大公约数，表示编码的一组数有最大公约数，后面的编码中已经被最大公约数作为除数调整过；
[0053]Bit 32
‑
35，小数点后位数；
[0054]Bit 36...

【技术保护点】

【技术特征摘要】
1.一种混合数据动态调整迷你缓冲编码方法，其特征在于，基于数据流，Simplestream压缩算法对simple8b进行了改造，将simple8b的selector 0和selector 1重新定义；所述Simplestream压缩算法最小单元是8字节，分为控制块、数据块和字节块；所述控制块由selector 0定义；所述数据块在原先simple8b的基础上，去除了selector 0，重新定义selector 1；所述字节块不编码，采用原生的二进制码。2.根据权利要求1所述的一种混合数据动态调整迷你缓冲编码方法，其特征在于，selector 1在所述数据块中重新定义，Bit 0
‑
3selector 1；Simplestream重新定义selector 1的意义，支持游程编码；Bit32
‑
63是一个32bit的整数，是一个表示值；Bit 4
‑
31是一个28bit的整数，是所述表示值的重复次数。3.根据权利要求2所述的一种混合数据动态调整迷你缓冲编码方法，其特征在于，selector 0是新的控制块，Bit 0
‑
3selector 0；Simplestream将simple8b原先的selector 0重新定义为一个控制块的头部，并将余下的60bit赋予新的意义；其中，Bit 4
‑
7是控制标志，控制标志共有4组，分别为会话标志、整数标志、浮点数标志和字节流标志；每组有三个值，分别表示开始、结束和进行中；Bit 8
‑
63再根据不同的控制标志分别定义。4.根据权利要求3所述的一种混合数据动态调整迷你缓冲编码方法，其特征在于，所述控制标志Bit 4
‑
7，表示占用占用4bit，0
‑
15共16个标志，标志定义如下：0、reserved，保留；1、session begin，会话开始；2、session end，会话结束；3、session continued，会话进行中；4、integerparagraphbegin，整数传输开始；5、integer paragraph end，整数传输结束；6、integer paragraph continued，整数传输进行中；7、float paragraphbegin，浮点数传输开始；8、float paragraph end，浮点数传输结束；9、float paragraph continued，浮点数传输进行中；10、bytesparagraphbegin，字节流传输开始；11、bytes paragraph end，字节流传输结束；12、bytes paragraph continued，字节流传输进行中；13
‑
15、reserved，保留。5.根据权利要求4所述的一种混合数据动态调整迷你缓冲编码方法，其特征在于，会话标志组的控制标志1
‑
3；Bit 8
‑
31,reserved，保留；Bit 32
‑
63,original data size，传输前原数据的大小。6.根据权利要求5所述的一种混合数据动态调整迷你缓冲编码方法，其特征在于，整数标志组的控制标志4
‑
6；Bit 8
‑
10，...

【专利技术属性】
技术研发人员：阎立华，蒋清春，任鲲鹏，裴春峰，王永炎，刘进谋，
申请(专利权)人：上海沄熹科技有限公司，
类型：发明
国别省市：