用于图压缩的多上下文熵编码制造技术

示例实施例涉及使用多上下文熵编码器来编码邻接列表。系统可以获得具有数据的图(或多个图)并且可以使用多上下文熵编码器来压缩图的数据。多上下文熵编码器可以对数据内的邻接列表进行编码，使得每个整数被分配给不同的概率分布。例如，操作多上下文熵编码器可以涉及使用算术编码、霍夫曼编码和ANS的组合。整数到概率分布的分配可以取决于每个整数的角色和/或类似种类的先前值。通过使用多上下文熵编码，计算系统可以增加压缩率，同时保持相似的处理速度。的处理速度。的处理速度。

【技术实现步骤摘要】
【国外来华专利技术】用于图压缩的多上下文熵编码
[0001]相关申请的交叉引用
[0002]本申请要求于2020年2月12日提交的美国临时专利申请第62/975,722号的优先权，其全部内容通过引用并入本文。

技术介绍

[0003]数据压缩技术用于将数字数据编码为具有比原始数据少的比特的替代压缩形式，然后在需要原始数据时解码(即，解压缩)该压缩形式。特定数据压缩系统的压缩率是编码的输出数据的大小(在存储或传输期间)与原始数据的大小的比率。随着在许多不同领域中以数字形式获得、传输和存储的数据量显著增加，数据压缩技术被越来越多地使用。这些技术可以帮助减少存储和传输数据所需的资源。
[0004]通常，数据压缩技术可以被分类为无损或有损的。无损压缩通过识别和消除统计冗余来减少比特。无损压缩中不丢失信息。有损压缩涉及通过去除不必要或不太重要的信息来减少比特。

技术实现思路

[0005]本文呈现的示例实施例涉及用于使用多上下文熵编码来压缩诸如图(graph)数据的数据的系统和方法。
[0006]在第一示例实施例中，提供了一种方法。该方法涉及在计算系统处获得具有数据的图并通过计算系统使用多上下文熵编码器来压缩图的数据。多上下文熵编码器对数据内的邻接列表进行编码，使得每个整数被分配给不同的概率分布。
[0007]在第二示例实施例中，提供了一种系统。该系统包括计算系统、非暂时性计算机可读介质和存储在非暂时性计算机可读介质上的程序指令，该程序指令可由计算系统执行以执行操作。该操作包括获得具有数据的图并使用多上下文熵编码器压缩图的数据。多上下文熵编码器对数据内的邻接列表进行编码，使得每个整数被分配给不同的概率分布。
[0008]在第三示例实施例中，提供了一种被配置为存储指令的非暂时性计算机可读介质。该程序指令可以存储在数据存储装置中，并且在由计算系统执行时可以使计算系统执行根据第一示例实施例和第二示例实施例的操作。
[0009]在第四示例实施例中，一种系统可以包括用于执行上述示例实施例的每个操作的各种装置。
[0010]通过阅读以下详细描述并在适当的情况下参考附图，这些以及其他实施例、方面、优点和替代方案对于本领域普通技术人员将变得显而易见。此外，应当理解，本文提供的该
技术实现思路
和其他描述以及附图旨在仅通过示例的方式来说明实施例，并且因此，许多变化是可能的。例如，结构元素和过程步骤可以被重新布置、组合、分布、消除或以其他方式改变，而仍然在所要求保护的实施例的范围内。
附图说明
[0011]图1是根据一个或多个示例实施例的计算系统的框图。
[0012]图2描绘了根据一个或多个示例实施例的基于云的服务器集群。
[0013]图3描绘了根据一个或多个示例实施例的非对称数字系统实施方式。
[0014]图4描绘了根据一个或多个示例实施例的霍夫曼编码实施方式。
[0015]图5示出了根据一个或多个示例实施例的方法的流程图。
[0016]图6示出了根据示例实施例的计算机程序的示意图。
具体实施方式
[0017]本文描述了示例方法、设备和系统。应当理解，本文使用词语“示例”和“示例性”是指“用作示例、实例或说明”。在本文描述为“示例”或“示例性”的任何实施例或特征不一定被解释为比其他实施例或特征优选或有利。可以使用其他实施例，并且可以做出其他改变，而不背离本文提出的主题的范围。
[0018]因此，本文描述的示例实施例并不意味着是限制性的。可以以各种不同的配置来布置、替换、组合、分离和设计本文总体上描述并在图中示出的本公开的各方面，所有这些都在本文中被考虑。此外，除非上下文另有说明，否则每个图中示出的特征可以相互组合使用。因此，附图一般应被视为一个或多个整体实施例的组成方面，但应理解并非所有示出的特征对于每个实施例来说都是必需的。
[0019]1、概述
[0020]由现代计算系统处理的图具有越来越大的大小，通常比可用于处理它们的资源增长得更快。这可能需要实施允许在不解压缩完整图的情况下访问数据的压缩方案。
[0021]这样的结构的当前实施方式通过使用其他列表作为参考来存储邻接列表(adjacency list)来压缩图。边可以从该参考复制或使用通用整数码进行编码。虽然这种方案可能会实现有用的压缩率，但它不能很好地适应源数据的变化。
[0022]示例实施例可以涉及使用多上下文熵编码来编码邻接列表。多上下文熵编码可以涉及使用多种压缩模式(schema)，诸如算术编码、霍夫曼编码或非对称数字系统(ANS)。例如，系统可以使用霍夫曼编码和ANS的组合。霍夫曼编码可用于创建支持访问任何节点的邻域的文件，而ANS可用于创建只能以其整体被解码的文件。此外，该系统可以使要编码的符号能够被分割成多个上下文。对于每个上下文，系统可以使用不同的概率分布，当假设符号属于不同的概率分布时，这可以允许进行更精确的编码。
[0023]在一些实施例中，系统可以使用多上下文熵编码，使得每个整数根据其角色被分配给不同的(存储的)概率分布。例如，多上下文熵编码可以使块的长度能够从参考列表被复制而不是被跳过。多上下文熵编码还可以涉及根据类似种类的先前值将每个整数分配给不同的概率分布。例如，可以根据先前增量(delta)的幅度为给定增量选择不同的概率分布。使用多上下文熵编码可以使系统能够实现对于现有技术的压缩率改进，同时还具有相似的处理速度。本文描述了进一步的示例。
[0024]2、示例系统
[0025]图1是例示了计算系统100的简化框图，示出了可以包括在被布置成根据本文的实施例操作的计算设备中的一些组件。计算系统100可以是客户端设备(例如，由用户主动操
作的设备)、服务器设备(例如，向客户端设备提供计算服务的设备)或某个其他类型的计算平台。一些服务器设备可以不时地作为客户端设备进行操作以执行特定操作，并且一些客户端设备可以结合服务器特征。
[0026]在该示例中，计算系统100包括处理器102、存储器104、网络接口106和输入/输出单元108，所有这些都可以通过系统总线110或类似机制联接。在一些实施例中，计算系统100可以包括其他组件和/或外围设备(例如，可拆卸存储装置、打印机等)。
[0027]处理器102可以是任何类型的计算机处理元件中的一个或多个，诸如中央处理单元(CPU)、协处理器(例如，数学、图形或加密协处理器)、数字信号处理器(DSP)、网络处理器和/或执行处理器操作的集成电路或控制器的形式。在一些情况下，处理器102可以是一个或多个单核处理器。在其他情况下，处理器102可以是一个或多个具有多个独立处理单元的多核处理器。处理器102还可以包括用于临时存储正在被执行的指令和相关数据的寄存器存储器，以及用于临时存储最近使用的指令和数据的高速缓冲存储器。
[0028]存储器104可以是任何形式的计算机可用存储器，包括但不限于随机存取存储器(RAM)、只读存储器(ROM)和非易失性存储器。这可以包括闪存、硬盘驱动器、固态本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：在计算系统处获得具有数据的图；和通过所述计算系统使用多上下文熵编码器压缩所述图的数据，其中，所述多上下文熵编码器对所述数据内的邻接列表进行编码，使得每个整数被分配给不同的概率分布。2.根据权利要求1所述的方法，其中，使用所述多上下文熵编码器压缩所述图的数据包括：使用所述多上下文熵编码器压缩所述图的数据以存储在存储器中。3.根据权利要求1所述的方法，其中，使用所述多上下文熵编码器压缩所述图的数据包括：使用所述多上下文熵编码器压缩所述图的数据以传输到至少一个计算设备。4.根据权利要求1所述的方法，其中，使用所述多上下文熵编码器压缩所述图的数据包括：使用霍夫曼编码和非对称数字系统(ANS)的组合来压缩所述图的数据。5.根据权利要求1所述的方法，还包括：获得具有第二数据的第二图；以及使用所述多上下文熵编码器压缩所述图的第二数据，其中，压缩所述图的第二数据与压缩所述图的数据同时执行。6.根据权利要求1所述的方法，还包括：使用解码器解压缩所述图的被压缩数据，其中，所述解码器被配置为解码由所述多上下文熵编码器编码的数据。7.一种系统，包括：计算系统；非暂时性计算机可读介质；以及存储在所述非暂时性计算机可读介质上的程序指令，其中，所述程序指令可由所述计算系统执行以执行操作，所述操作包括：获得具有数据的图；以及使用多上下文熵编码器压缩所述图的数据，其中，所述多上下文熵编码器对所述数据内的邻接列表进行编码，使得每个整数被分配给不同的概率分布。8.根据权利要求7所述的系统，其中，使用所述多上下文熵编码器压缩所述图的数据包括：使用所述多上下文熵编码器压缩所述图的数据以存储在存储器中。9.根据权利要求7所述的系统，其中，使用所述多上下文熵编码器压缩所述图的数据包括：使用所述多上下文熵编码器压缩所述图的数据以传输到至少一个计算设备。10.根据权利要求7所述的系统，其中，使用所述多上下文熵编码器压缩所述图的数据包括：使用霍夫曼编码和非对称数字系统(ANS)的组合来压缩所述图的数据。11.根据权利要求7所述的系统，其中，所述操作还包括：获得具有第二数据的第二图；以及
使用所述多上下文熵编码器压缩所述图的第二数据，其中，...

【专利技术属性】
技术研发人员：L弗萨里，L科姆萨，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：