【技术实现步骤摘要】
【国外来华专利技术】
根据本专利技术的实施例涉及用于使用重新排序提供神经网络的解码参数的解码器、编码器、方法和计算机程序。根据本专利技术的实施例涉及通过张量维度移位对张量维度重新排序。根据本专利技术的实施例涉及用于神经网络的编码的张量维度重新排序的方法。根据本专利技术的实施例涉及用于多媒体内容描述和分析的神经网络的压缩。
技术介绍
1、许多框架提供了多种压缩工具，包括量化和/或无损编码方法和无损解码方法，用于处理和/或压缩张量。
2、例如，基于人工神经网络在多媒体分析和处理、媒体编码、数据分析和许多其他应用方面的成功应用，对允许交换此类网络(例如以各自的神经网络参数的形式)的概念的需求有所增加。例如，这些神经网络参数可以以张量的形式进行处理和/或编码和解码。
3、因此，这种张量的处理、编码和解码可能是提供这种框架效率的关键方面。
4、因此，希望获得一种改进的概念用于编码、解码和处理以多维数组或张量鞥结构化表示形式提供的参数，如神经网络参数，从而在编码效率、灵活性和复杂性之间取得更好的折衷。
5、本申请通过独立权利要求中的主题内容实现这一目标。
6、根据本专利技术的进一步实施例由本申请的从属权利要求的主题定义。
技术实现思路
1、根据本专利技术的实施例包括一种解码器，用于基于编码表示，例如基于以编码的(例如压缩)形式表示(或例如包括)神经网络参数的比特流，提供神经网络的解码参数，例如“权重”或“系数”。
2、解码器被配置为获得第一多维
3、此外，解码器被配置为使用重排排序获得重新排序的多维数组(例如reorderedtensor[idxb]，其中idxb是多个索引变量的向量；例如b[n][o][m][p]，其中n、o、m、p是索引变量)，其中第一多维数组的第一维度(例如由最左侧数组索引指定的多维数组的维度)被重排，例如移动到不同的维度，例如与重新排序的多维数组中的第一维度不同。
4、在许多框架中，参数的结构化表示，例如张量，可以被解释为一维或二维表示，例如以一维数组或二维数组的形式。因此，这种被解释的表示的形状可以由结构化表示的原始维度，特别是原始结构化表示中的参数的各自顺序决定。
5、例如，根据某些框架，在这种解释中，被解释的数组的第一维度的长度可以等于原始表示的第一维度的长度，而被解释的数组的第二维度的长度可以等于原始表示的所有其他维度的乘积。
6、专利技术人认识到，参数的这种形状和/或顺序也会影响压缩和/或处理流水线的效率。此外，传统框架缺乏灵活性，无法在处理步骤之间调整相应的结构化参数表示(例如张量)以提高效率。
7、因此，专利技术人认识到，基于参数的结构化表示的维度的重新排序，可以为编码、解码和/或处理参数(如神经网络参数)提供编码效率、灵活性和复杂性之间提供更好的折衷，这些参数在结构化表示(如多维数组或张量)中提供。
8、此外，例如，对于这些参数的编码和/或解码，重新排序可以利用参数之间的相关性，从而可以提高编码效率。特别是，可以对重新排序进行调整以改善相关特性，从而使用上下文自适应编码(例如cabac)。
9、此外，专利技术人认识到，本专利技术的重新排序方法允许将用于编码的张量形状的需求或约束与用于处理的张量形状的需求或约束解耦。因此，即使张量形状的目标是矛盾的，也可以经由重新排序来实现。
10、此外，专利技术人认识到，基于本专利技术的重新排序，可以提高现有编码框架的效率，而对复杂性的影响有限。例如，已经开发的处理方法需要预定义的参数结构，例如张量形式，但为了提高处理效率，这些方法可以保持不变，同时允许重塑参数表示。例如，本专利技术的重新排序可以允许重塑相应的张量，从而实现高效的块扫描。
11、根据本专利技术的实施例，解码器被配置为解码维度移位值(例如“first_tensor_dimension_shift”值，例如单个标量值)。维度移位值描述了在执行重新排序时，例如为了获得具有维度[d0,d1,d2,d3]的重新排序的多维数组，第一多维数组(例如具有维度[d2,d0,d1,d3])的第一维度，例如d2(例如也被指定为“第一张量维度”)应该移位多少维度，例如移位多少数组索引，例如向更大的维度编号移位。专利技术者认识到，基于维度移位值，可以以较低的信令开销控制张量维度的移位。此外，通过信号传递维度的移位信息可以让重新排序更加高效。
12、根据本专利技术的实施例，解码器被配置为解码维度移位值，例如“first_tensor_dimension_shift”值，以及维度移位值(例如标量值)描述了第一多维数组(例如具有维度[d2,d0,d1,d3])的第一维度，例如d2(例如也被指定为“第一张量维度”)在重新排序的多维数组中的新位置，例如“具有维度[d0,d1,d2,d3]”的多维数组中的第三维度”。因此，可以提供绝对维度重新排序信息，而不是相对位移信息。这样就可以对相应的张量维度进行精确的重新排序。
13、根据本专利技术的实施例，对维度移位值进行exp哥伦布编码。可选地，解码器被配置为对维度移位值执行exp哥伦布解码。专利技术人认识到，exp哥伦布编码可以提供维度移位值的有效表示。
14、根据本专利技术的实施例，解码器被配置为使用单个标量维度移位值(例如first_tensor_dimension shift)作为描述重新排序的多维数组中维度新顺序的唯一参数执行重新排序。专利技术人认识到，重新排序可以通过单个标量维度移位值来控制，因此附加数据(例如以信令开销的形式)非常有限，因此允许在重新排序的基础上最大化编码和/或处理效率收益。
15、根据本专利技术的实施例，解码器被配置为例如仅执行单个维度到另一个位置的单次移位，以获得重新排序的多维数组。专利技术人认识到，允许任意维度顺序可能会导致巨大的信令开销，特别是对于高维张量，因为排列的数量可能随着张量维度的数量大量增加。相反，根据本专利技术的一个方面，解码器可以仅执行单个维度到另一个位置的移位，从而限制信令开销。
16、根据本专利技术的实施例，解码器被配置为从第一多维数组的第一维度得到导出辅助数组的维度。作为示例，可选地，解码器可被配置为从第一多维数组的第一维度中导出矢量或二维数组或具有两个以上维度的数组的维度；例如，张量或“相关张量”或“对应张量”的维度。例如，可选地，解码器可被配置为从第一多维数组的第一维度导出偏置值的“辅助”数组的维度，或批量归一化参数的“辅助”数组的维度，或缩放因子的“辅助”数组的维度。可选地，例如，解码器被配置为将辅助数组的维度设置为等于第一多维数组的第一维度。
17、一些框架(如mpeg-7第17部分)指定了特殊的ndu类型(如nnr_本文档来自技高网...
【技术保护点】
1.一种解码器(100，200)，用于基于编码表示提供神经网络的解码参数，
2.根据权利要求1所述的解码器(100，200)，
3.根据权利要求1或2所述的解码器(100，200)，
4.根据权利要求3所述的解码器(100，200)，
5.根据权利要求1至4中任何一项所述的解码器(100，200)，
6.根据权利要求1至5中任何一项所述的解码器(100，200)，
7.根据权利要求1至6中任何一项所述的解码器(100，200)，
8.根据权利要求1至7中任何一项所述的解码器(100，200)，
9.根据权利要求1至8中任何一项所述的解码器(100，200)，
10.根据权利要求1至9中任何一项所述的解码器(100，200)，
11.根据权利要求1至10中任何一项所述的解码器(100，200)，
12.根据权利要求1至11中任何一项所述的解码器(100，200)，
13.根据权利要求1至12中任何一项所述的解码器(100，200)，
...【技术特征摘要】
【国外来华专利技术】
1.一种解码器(100，200)，用于基于编码表示提供神经网络的解码参数，
2.根据权利要求1所述的解码器(100，200)，
3.根据权利要求1或2所述的解码器(100，200)，
4.根据权利要求3所述的解码器(100，200)，
5.根据权利要求1至4中任何一项所述的解码器(100，200)，
6.根据权利要求1至5中任何一项所述的解码器(100，200)，
7.根据权利要求1至6中任何一项所述的解码器(100，200)，
8.根据权利要求1至7中任何一项所述的解码器(100，200)，
9.根据权利要求1至8中任何一项所述的解码器(100，200)，
10.根据权利要求1至9中任何一项所述的解码器(100，200)，
11.根据权利要求1至10中任何一项所述的解码器(100，200)，
12.根据权利要求1至11中任何一项所述的解码器(100，200)，
13.根据权利要求1至12中任何一项所述的解码器(100，200)，
14.根据权利要求1至13中任何一项所述的解码器(100，200)，
15.根据权利要求1至14中任何一项所述的解码器(100，200)，
16.根据权利要求1至15中任何一项所述的解码器(100，200)，
17.根据权利要求16所述的解码器(100，200)，
18.根据权利要求1至17中任何一项所述的解码器(100，200)，
19.一种用于提供神经网络参数的编码表示的编码器(300)，
20.根...
【专利技术属性】
技术研发人员：保罗·哈斯，海纳·基尔霍夫，丹尼尔·贝金，卡斯滕·穆勒，沃伊切赫·萨梅克，海科·施瓦尔茨，德特勒夫·马尔佩，托马斯·威甘德，格哈德·泰克，
申请(专利权)人：弗劳恩霍夫应用研究促进协会，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。