数据处理方法及相关设备技术

技术编号:27685250 阅读:15 留言:0更新日期:2021-03-17 03:50
本发明专利技术实施例公开了一种数据处理方法、数据处理装置、设备及计算机存储介质,包括:获取待处理数据;将所述待处理数据按照预设算法进行转换,以得到M组候选数据,其中,所述候选数据与所述待处理数据的数据类型不同,且,至少一组候选数据的数据冗余度高于所述待处理数据的冗余度;M为不小于2的整数;分别获取所述M组候选数据中每组候选数据的数据冗余度;将所述数据冗余度高于预设阈值的候选数据确定为目标数据。采用该手段,通过对待处理数据进行处理,创建冗余数据,进而来提高数据冗余度,有助于提高数据的压缩比。

【技术实现步骤摘要】
数据处理方法及相关设备
本专利技术涉及压缩
,尤其涉及一种数据处理方法、数据处理装置、设备及计算机存储介质。
技术介绍
现有技术中的压缩技术利用经典信息理论提供的算法。例如,无损压缩是采用在文件中查找和删除数据冗余的结果。经典的压缩算法,甚至是如利用人工智能和机器语言的新算法,都关注冗余。冗余度越高,压缩比越好。例如,Huffman和Run-Length算法倾向于寻找纯冗余,这意味着它们倾向于发现一段数据(即文本的一个字符),并在更大的数据块中找到尽可能多的完全相同的副本。这些算法在一定程度上表现良好,但它们已经发展到压缩的瓶颈,所有这些算法都是基于现有的冗余来执行的,仅依赖于现有的冗余和对小数据块的执行限制了传统压缩算法的性能,现有技术并没有提供一种较优的方式来更进一步提高压缩比。
技术实现思路
本专利技术实施例提供了一种数据处理方法、数据处理装置、设备及计算机存储介质,可以有助于提高数据压缩比。第一方面,本专利技术实施例提供了一种数据处理方法,包括:获取待处理数据;将所述待处理数据按照预设算法进行转换,以得到M组候选数据,其中,所述候选数据与所述待处理数据的数据类型不同,且,至少一组候选数据的数据冗余度高于所述待处理数据的冗余度;M为不小于2的整数;分别获取所述M组候选数据中每组候选数据的数据冗余度;将所述数据冗余度高于预设阈值的候选数据确定为目标数据。通过本申请实施例,通过将待处理数据按照预设算法进行转换,以得到M组候选数据,其中,至少一组候选数据的数据冗余度高于所述待处理数据的冗余度;通过分别获取所述M组候选数据中每组候选数据的数据冗余度,然后将所述数据冗余度高于预设阈值的候选数据确定为目标数据。采用该手段,通过对待处理数据进行处理,创建冗余数据,进而来提高数据冗余度,有助于提高数据的压缩比。其中,所述待处理数据为N位的二进制数据,所述将所述待处理数据按照预设算法进行转换,以得到M组候选数据,包括:将所述N位的二进制数据分割为M个二进制数据块集,其中,每个二进制数据块集的总位数均为N,且所述每个二进制数据块集中均包括至少两个二进制数据块,所述每个二进制数据块集中的任意两个二进制数据块的位数相同;其中,任意两个二进制数据块集中的二进制数据块的位数不相同;依次获取所述M个二进制数据块集中每个二进制数据块集中的每个二进制数据块分别对应的第一数值;根据所述M个二进制数据块集中每个二进制数据块集中的每个二进制数据块分别对应的第一数值得到M组候选数据。其中,所述依次获取所述M个二进制数据块集中每个二进制数据块集中的每个二进制数据块分别对应的第一数值,包括:依次获取所述M个二进制数据块集中每个二进制数据块集中的每个二进制数据块分别对应的数值数据;对所述每个二进制数据块分别对应的数值数据进行处理,以得到所述每个二进制数据块分别对应的数值数据所对应的第一数值。优选的,所述第一数值为质数。其中,所述对所述每个二进制数据块分别对应的数值数据进行处理,以得到所述每个二进制数据块分别对应的数值数据所对应的第一数值,包括:依次将所述每个二进制数据块分别对应的数值数据与质数集中的不同质数进行相加,以得到所述每个二进制数据块分别对应的数值数据所对应的质数;其中,所述质数集中的不同质数为按照数值从小到大的顺序依次排列的质数。进一步地,所述方法还包括:获取所述每个二进制数据块分别对应的数值数据所对应的质数的序号;根据所述M个二进制数据块集中每个二进制数据块集中的每个二进制数据块分别对应的数值数据所对应的质数的序号得到M组候选数据。其中,所述每组候选数据的数据冗余度为每组候选数据中任一候选数据的重复个数与该组候选数据的个数的比值。第二方面,本专利技术实施例提供了一种数据处理装置,包括:获取模块,用于获取待处理数据;处理模块,用于将所述待处理数据按照预设算法进行转换,以得到M组候选数据,其中,所述候选数据与所述待处理数据的数据类型不同,且,至少一组候选数据的数据冗余度高于所述待处理数据的冗余度;M为不小于2的整数;计算模块,用于分别获取所述M组候选数据中每组候选数据的数据冗余度;确定模块,用于将所述数据冗余度高于预设阈值的候选数据确定为目标数据。第三方面,本专利技术实施例提供了一种数据处理设备,包括:处理器和存储器;所述处理器和存储器相连,其中,所述存储器用于存储程序代码,所述处理器用于调用所述程序代码,以执行所述的数据处理方法。第四方面,本专利技术实施例提供了一种计算机存储介质,所述计算机存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时,执行所述的数据处理方法。通过本申请实施例,通过将待处理数据按照预设算法进行转换,以得到M组候选数据,其中,至少一组候选数据的数据冗余度高于所述待处理数据的冗余度;通过分别获取所述M组候选数据中每组候选数据的数据冗余度,然后将所述数据冗余度高于预设阈值的候选数据确定为目标数据。采用该手段,通过对待处理数据进行处理,创建冗余数据,进而来提高数据冗余度,有助于提高数据的压缩比。附图说明为了更清楚地说明本专利技术实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本专利技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。图1是本专利技术实施例提供的一种数据处理方法的流程示意图;图2是本专利技术实施例提供的又一种数据处理方法的流程示意图;图3是本专利技术实施例提供的一种数据处理方法的示意图;图4是本专利技术实施例提供的一种数据处理装置的结构示意图;图5是本专利技术实施例提供的一种数据处理设备的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图,对本专利技术实施例中的技术方案进行清楚、完整地描述。应当理解,本申请的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。在本专利技术中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本专利技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本专利技术所描述的实施例可以与其它实施例相结合。现有压缩算法都是基于现有的冗余来执行,该手段限制了传统压缩算法的性能。现有技术并没有提供一种较优的方式来更进一步提高压缩比。为此,本方案提供一种数据处本文档来自技高网...

【技术保护点】
1.一种数据处理方法,其特征在于,包括:/n获取待处理数据;/n将所述待处理数据按照预设算法进行转换,以得到M组候选数据,其中,所述候选数据与所述待处理数据的数据类型不同,且,至少一组候选数据的数据冗余度高于所述待处理数据的冗余度;M为不小于2的整数;/n分别获取所述M组候选数据中每组候选数据的数据冗余度;/n将所述数据冗余度高于预设阈值的候选数据确定为目标数据。/n

【技术特征摘要】
1.一种数据处理方法,其特征在于,包括:
获取待处理数据;
将所述待处理数据按照预设算法进行转换,以得到M组候选数据,其中,所述候选数据与所述待处理数据的数据类型不同,且,至少一组候选数据的数据冗余度高于所述待处理数据的冗余度;M为不小于2的整数;
分别获取所述M组候选数据中每组候选数据的数据冗余度;
将所述数据冗余度高于预设阈值的候选数据确定为目标数据。


2.根据权利要求1所述的方法,其特征在于,所述待处理数据为N位的二进制数据,N为不小于2的整数;所述将所述待处理数据按照预设算法进行转换,以得到M组候选数据,包括:
将所述N位的二进制数据分割为M个二进制数据块集,其中,每个二进制数据块集的总位数均为N,且所述每个二进制数据块集中均包括至少两个二进制数据块,所述每个二进制数据块集中的任意两个二进制数据块的位数相同;其中,任意两个二进制数据块集中的二进制数据块的位数不相同;
依次获取所述M个二进制数据块集中每个二进制数据块集中的每个二进制数据块分别对应的第一数值;
根据所述M个二进制数据块集中每个二进制数据块集中的每个二进制数据块分别对应的第一数值得到M组候选数据。


3.根据权利要求2所述的方法,其特征在于,所述依次获取所述M个二进制数据块集中每个二进制数据块集中的每个二进制数据块分别对应的第一数值,包括:
依次获取所述M个二进制数据块集中每个二进制数据块集中的每个二进制数据块分别对应的数值数据;
对所述每个二进制数据块分别对应的数值数据进行处理,以得到所述每个二进制数据块分别对应的数值数据所对应的第一数值。


4.根据权利要求3所述的方法,其特征在于,所述第一数值为质数。


5.根据权利要求4所述的方法,其特征在于,所述对所述每个二进制数据块分别对应的数值数据进行...

【专利技术属性】
技术研发人员:殷燕黄坤白智德白志得哈米德
申请(专利权)人:深圳智慧林网络科技有限公司
类型:发明
国别省市:广东;44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1