用于神经网络的压缩表示的高级语法制造技术

一种装备，包括：用于对用于至少一个神经网络的高级比特流语法进行编码或解码的装置；其中，该高级比特流语法包括至少一个信息单元，所述信息单元具有元数据或该至少一个神经网络的一部分的压缩的神经网络数据；以及其中，串行化比特流包括该至少一个信息单元中的一个或多个信息单元。一个或多个信息单元。一个或多个信息单元。

【技术实现步骤摘要】
【国外来华专利技术】用于神经网络的压缩表示的高级语法


[0001]示例和非限制性实施例总体上涉及多媒体传输和神经网络，更具体地，涉及用于神经网络的压缩表示的高级语法。

技术介绍

[0002]已知为神经网络的交换提供标准化格式。

技术实现思路

[0003]根据一方面，一种装备，包括用于对用于至少一个神经网络的高级比特流语法进行编码或解码的装置；其中，所述高级比特流语法包括至少一个信息单元，所述信息单元具有元数据或所述至少一个神经网络的一部分的压缩的神经网络数据；并且其中，串行化比特流包括所述至少一个信息单元中的一个或多个信息单元。
[0004]根据一个方面，一种装备，包括至少一个处理器；以及至少一个包括计算机程序代码的非暂时性存储器；其中，所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起使所述装备至少执行：对用于至少一个神经网络的高级比特流语法进行编码或解码；其中，所述高级比特流语法包括至少一个信息单元，所述信息单元具有元数据或所述至少一个神经网络的一部分的压缩的神经网络数据；并且其中，串行化比特流包括所述至少一个信息单元中的一个或多个信息单元。
[0005]根据一方面，一种方法，包括对用于至少一个神经网络的高级比特流语法进行编码或解码；其中，所述高级比特流语法包括至少一个信息单元，所述信息单元具有元数据或所述至少一个神经网络的一部分的压缩的神经网络数据；并且其中，串行化比特流包括所述至少一个信息单元中的一个或多个信息单元。
[0006]根据一个方面，提供了一种机器可读的非暂时性程序存储设备，其有形地体现了所述机器可执行的用于执行操作的指令的程序，所述操作包括：对用于至少一个神经网络的高级比特流语法进行编码或解码；其中，所述高级比特流语法包括至少一个信息单元，所述信息单元具有元数据或所述至少一个神经网络的一部分的压缩的神经网络数据；并且其中，串行化比特流包括所述至少一个信息单元中的一个或多个信息单元。
附图说明
[0007]结合附图在以下描述中解释前述方面和其他特征，其中：
[0008]图1示意性地示出了采用本文所述示例的实施例的电子设备；
[0009]图2示意性地示出了适合于采用本文描述的示例的实施例的用户设备；
[0010]图3还示意性地示出了采用本文描述的示例的实施例的电子设备，这些电子设备使用无线和有线网络连接进行连接；
[0011]图4示意性地示出了一般级别的编码器的框图；
[0012]图5是示出根据本文描述的示例的编码器和解码器之间的接口的框图；
[0013]图6示出了压缩的神经网络(NNR)比特流的示例结构；
[0014]图7是示出NNR比特流如何可以由不同类型的若干NNR单元组成的示例图；
[0015]图8示出了AlexNet的示例拓扑描述，它采用神经网络交换格式(NNEF)拓扑图格式；
[0016]图9是被配置为实现用于神经网络的压缩表示的高级语法的示例装备；
[0017]图10是实现用于神经网络的压缩表示的高级语法的示例方法；以及
[0018]图11是其中可以实践示例实施例的一种可能且非限制性系统的框图。
具体实施方式
[0019]可以在说明书和/或附图中找到的以下首字母缩略词和缩写定义如下：
[0020]3GP3GPP文件格式
[0021]3GPP第三代合作伙伴计划
[0022]3GPPTS3GPP技术规范
[0023]4CC四字码
[0024]4G第四代宽带蜂窝网络技术
[0025]5G第五代蜂窝网络技术
[0026]5GC5G核心网
[0027]ACC准确性
[0028]AI人工智能
[0029]AIoT人工智能物联网
[0030]a.k.a.也被称为
[0031]AMF访问和移动性管理功能
[0032]AVC高级视频编码
[0033]CDMA码分多址
[0034]CE核心实验
[0035]CU中央单元
[0036]DASH基于HTTP的动态自适应流式传输
[0037]DCT离散余弦变换
[0038]DSP数字信号处理器
[0039]DU分布式单元
[0040]eNB(或eNodeB)演进的NodeB(例如，LTE基站)
[0041]EN
‑
DCE
‑
UTRA
‑
NR双连接
[0042]en
‑
gNB或En
‑
gNB向UE提供NR用户平面和控制平面协议终止并充当EN
‑
DC中的辅助节点的节点
[0043]E
‑
UTRA演进的通用陆地无线电接入，即LTE无线电接入技术
[0044]FDMA频分多址
[0045]f(n)使用以(从左到右)左比特在前的方式写入的n比特的固定模式比特串。
[0046]F1或F1
‑
CCU和DU控制接口之间的接口
[0047]gNB(或gNodeB)用于5G/NR的基站，即向UE提供NR用户平面和控制平面协议终止
并通过NG接口连接到5GC的节点
[0048]GSM全球移动通信系统
[0049]H.222.0MPEG
‑
2系统的正式名称为ISO/IEC13818
‑
1和ITU
‑
TRec.H.222.0
[0050]H.26xITU
‑
T的域中的视频编码标准族
[0051]HLS高级语法
[0052]IBC内部块复制
[0053]ID标识符
[0054]IEC国际电工委员会
[0055]IEEE电气和电子工程师学会
[0056]I/F接口
[0057]IMD集成消息传送设备
[0058]IMS即时消息传送服务
[0059]I/O输入/输出
[0060]IoT物联网
[0061]IP互联网协议
[0062]ISO国际标准化组织
[0063]ISOBMFFISO基本媒体文件格式
[0064]ITU国际电信联盟
[0065]ITU
‑
T国际电联电信标准化部门
[0066]LTE长期演进
[0067]LZMALempel
–
Ziv
–
Markov链压缩
[0068]LZMA2简单容器格式，其可以包括未压缩数据和LZMA数据
[0069]LZOLempel
–
Ziv
–
Oberhumer压缩
[0070]LZWLempel
–
Ziv
–
Welch压缩
[0071]MAC媒体访问控制
[0072本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种装备，包括：用于对用于至少一个神经网络的高级比特流语法进行编码或解码的装置；其中，所述高级比特流语法包括至少一个信息单元，所述信息单元具有元数据或所述至少一个神经网络的一部分的压缩的神经网络数据；以及其中，串行化比特流包括所述至少一个信息单元中的一个或多个信息单元。2.根据权利要求1所述的装备，其中，所述串行化比特流作为文件被存储在虚拟或非虚拟目录树结构中，或者作为比特流通过数据管道被发送。3.根据权利要求1至2中任一项所述的装备，其中，所述至少一个神经网络的所述一部分是以下中的至少一个：层，滤波器，内核，偏差，量化权重，张量，或至少一个神经网络的可识别部分的任何其他数据结构。4.根据权利要求1至3中任一项所述的装备，其中，所述信息单元包括：信号传送所述信息单元的大小的单元大小；携带与所述至少一个神经网络相关的压缩或未压缩数据以及相关元数据的单元有效负载；以及具有关于所述单元有效负载携带的数据类型的信息和相关元数据的单元头部。5.根据权利要求4所述的装备，其中，所述单元有效负载包括以下至少一项：包括全局元数据和关于所述至少一个神经网络的信息的参数集合；神经网络拓扑信息和相关数据；压缩的或未压缩的神经网络数据，其为完整的或部分的；量化数据；或压缩的神经网络比特流开始指示符或与开始码相关的有效负载数据。6.根据权利要求5所述的装备，其中，所述拓扑数据、所述压缩的或未压缩的神经网络数据单元有效负载、或所述量化数据中的至少一个被分割为多个信息单元。7.根据权利要求6所述的装备，其中，神经网络单元头部包括用于指示所述分割的信息。8.根据权利要求7所述的装备，其中，指示所述分割的所述信息由向后计数以便指示使用的分割的数量的计数器表示。9.根据权利要求7至8中任一项所述的装备，其中，计数器值0指示没有部分信息，并且大于0的所述计数器值指示所述部分信息的索引。10.根据权利要求6至9中任一项所述的装备，其中，所述多个信息单元在它们各自的单元头部中具有相同的唯一标识符，以指示分割所属的神经网络拓扑元素级别信息。11.根据权利要求10所述的装备，其中，所述唯一标识符是NNEF拓扑图中的Khronos神经网络交换格式NNEF变量标识符或标签。12.根据权利要求6至11中任一项所述的装备，其中，所述拓扑信息包括Khronos神经网络交换格式NNEF拓扑信息。13.根据权利要求6至12中任一项所述的装备，其中，所述多个信息单元在它们的单元头部中具有指示这样的信息单元是否是可独立解码的标志。14.根据权利要求5至13中任一项所述的装备，其中，所述参数集合包含指示在所述压缩的神经网络比特流中拓扑单元的存在和携带的标志。
15.根据权利要求5至14中任一项所述的装备，其中，所述参数集合包含指示是否将稀疏化被应用于所述至少一个神经网络的标志。16.根据权利要求5至15中任一项所述的装备，其中，所述参数集合包含稀疏化性能图数据结构，所述稀疏化性能图数据结构信号传送在不同稀疏化阈值与所得到的神经网络推理准确性之间的映射。17.根据权利要求16所述的装备，其中，所述得到的神经网络推理准确性对应于所述至少一个神经网络在输出准确性方面的性能。18.根据权利要求5至17中任一项所述的装备，其中，单元有效负载或头部包含量化映射数据结构，所述量化映射数据结构信号传送码本，所述码本包括在量化值和对应的去量化值之间的映射。19.根据权利要求1至18中任一项所述的装备，其中，使用神经网络交换格式来携带所述压缩的神经网络数据。20.根据权利要求5至19中任一项所述的装备，其中，所述压缩的神经网络数据单元有效负载是经由与所述压缩的网络数据单元有效负载相关联的单元头部内的引用或标签可映射到所述拓扑数据的，其中所述引用或标签包括以下中的至少一个：唯一标识符，唯一字符串，或相对或绝对的统一资源标识符或定位符。21.根据权利要求4至20中任一项所述的装备，其中，所述单元头部指示神经网络单元类型，所述神经网络单元类型指示所述串行化比特流的开始，其中所述串行化比特流是压缩的或未压缩的神经网络比特流。22.根据权利要求1至21中任一项所述的装备，其中，编码器通过传输信道向解码器提供所述串行化比特流。23.根据权利要求1至22中任一项所述的装备，其中，所述高级语法的所述解码包括：通过读取至少一个信息单元的大小、与所述信息单元相关联的单元头部，以及与所述信息单元相关联的有效负载，来解析所述单元；以及识别和解析与所述信息单元相关联的拓扑数据、量化数据、开始码指示符数据、参数集合数据、或压缩或未压缩数据中的至少一个。24.根据权利要求23所述的装备，还包括：用于检查开始单元的存在的装置，所述开始单元指示所述比特流的所述开始和在所述比特流的所述开始处所述解码的开始。25.根据权利要求23至24中任一项所述的装备，还包括：用于进一步压缩与所述信息单元相关联的压缩数据的装置。26.一种方法，包括：对用于至少一个神经网络的高级比特流语法进行编码或解码；其中，所述高级比特流语法包括至少一个信息单元，所述信息单元具有元数据或所述至少一个神经网络的一部分的压缩的神经网络数据；以及...

【专利技术属性】
技术研发人员：E，
申请(专利权)人：诺基亚技术有限公司，
类型：发明
国别省市：