本申请公开了一种帧内模式决策系统及方法，涉及音视频编码技术领域，该系统包括预处理神经网络和帧内模式决策电路；预处理神经网络，用于根据视频帧的最大编码单元亮度数据，预测获得块划分预测结果并保存至片外存储中；帧内模式决策电路，用于调用片外存储的块划分预测结果，代替原块的块划分决策过程，进一步通过预测模式决策完成最大编码单元的决策过程。由于本申请通过预处理神经网络，提前对最大编码单元亮度数据的块划分结果进行预测，可去除传统模式决策算法中自底向上的块划分搜索过程，极大减少了计算量，这样在后续的帧内模式决策电路中无需过多的硬件电路，极大节省了硬件资源，从而实现了高效率的帧内模式决策硬件设计。
【技术实现步骤摘要】
本申请涉及音视频编码，尤其涉及一种帧内模式决策系统及方法。
技术介绍
1、视频压缩，也称视频编码，其目的是消除视频信号间存在的冗余信息。至今，国内外标准化组织已相继制定了多种不同的视频编码标准，例如avs3(audio video codingstandard)是我国自主研制的第三代音视频编解码标准，编码标准中的帧内预测技术通过去除视频帧内的空间信息冗余，达到压缩视频的目的。
2、但是传统帧内预测技术采用的是自底向上、暴力搜索的模式决策算法，需要极大的计算量，在编码器芯片设计中，为了保证足够的计算效率，则需要消耗大量的硬件资源。
3、上述内容仅用于辅助理解本申请的技术方案，并不代表承认上述内容是现有技术。
技术实现思路
1、本申请的主要目的在于提供了一种帧内模式决策系统及方法，旨在解决传统帧内模式决策算法需要极大的计算量，从而导致需要消耗大量的硬件资源的技术问题。
2、为实现上述目的，本申请提出一种帧内模式决策系统，所述的系统包括：预处理神经网络和帧内模式决策电路；
3、所述预处理神经网络，用于根据视频帧的最大编码单元亮度数据，预测获得块划分预测结果，并将所述块划分预测结果保存至片外存储中；
4、所述帧内模式决策电路，用于调用所述片外存储的块划分预测结果进行进一步决策，获得所述视频帧中所有最大编码单元的帧内模式决策结果。
5、在一实施例中，所述预处理神经网络包括：编码器网络、解码器网络以及块划分结果生成模块；</p>6、所述编码器网络，用于提取视频帧的最大编码单元亮度数据的特征向量，并将所述特征向量传递给所述解码器网络；
7、所述解码器网络，用于提取所述特征向量对应的历史节点信息，并根据所述节点信息划分所述特征向量中各节点的块划分方式，各节点的预测结果组成可变长度向量；
8、所述块划分结果生成模块，用于以预设编码标准为编码约束，从所述解码器网络的输出结果中确定当前节点符合编码约束的块划分预测结果，并将所述块划分预测结果补充到可变长度向量中，预测结束后，将所有节点的块划分结果所构成的可变长度向量保存至片外存储中。
9、在一实施例中，所述编码器网络由多个残差块构成；
10、所述编码器网络，还用于通过所述残差块的卷积层对所述最大编码单元亮度数据进行多次特征提取，获得所述最大编码单元亮度数据的特征向量，并将所述特征向量传递给所述解码器网络。
11、在一实施例中，所述解码器网络，还用于基于所述特征向量，通过编解码器的自注意力机制提取所述特征向量对应的历史节点信息；
12、所述解码器网络，还用于基于历史节点的预测结果，以自回归方式输出各节点的块划分方式，各节点的预测结果组成可变长度向量。
13、在一实施例中，所述块划分结果生成模块包括：块划分约束模块和标签连接模块；
14、所述块划分约束模块，用于以预设编码标准为编码约束，从所述解码器网络的输出结果中确定当前节点符合编码约束的最优块划分结果，并将所述最优块划分结果补充到可变长度向量中，预测结束后，将所有节点的块划分结果所构成的可变长度向量发送至片外存储中；
15、所述标签连接模块，用于将决策过的历史节点的划分结果连接到一起，发送至解码器网络。
16、在一实施例中，所述帧内模式决策电路包括：调度电路模块和若干多尺寸帧内决策电路模块；
17、所述调度电路模块，用于调用所述片外存储的块划分预测结果，并根据所述块划分预测结果，依次调用对应尺寸的帧内决策电路模块进行预测模式决策，并将像素数据发送至所述若干多尺寸帧内决策电路模块，所述像素数据至少包括原始像素和重构像素；
18、所述若干多尺寸帧内决策电路模块，用于根据所述像素数据，从候选的多种预测模式中，决策出当前编码单元的最优预测模式。
19、在一实施例中，所述预处理神经网络部署在嵌入式npu中。
20、此外，为实现上述目的，本申请还提出一种帧内模式决策方法，所述帧内模式决策方法应用于帧内模式决策系统，所述系统包括预处理神经网络和帧内模式决策电路；所述方法包括：
21、所述预处理神经网络根据视频帧的最大编码单元亮度数据，预测获得块划分预测结果，并将所述块划分预测结果保存至片外存储中；
22、所述帧内模式决策电路调用所述片外存储的块划分预测结果进行进一步决策，获得所述视频帧中所有最大编码单元的帧内模式决策结果。
23、在一实施例中，所述预处理神经网络包括编码器网络、解码器网络以及块划分结果生成模块；所述预处理神经网络根据视频帧的最大编码单元亮度数据，预测获得块划分预测结果，并将所述块划分预测结果保存至片外存储中的步骤，包括：
24、所述编码器网络提取视频帧的最大编码单元亮度数据的特征向量，并将所述特征向量传递给所述解码器网络；
25、所述解码器网络提取所述特征向量对应的历史节点信息，并根据所述节点信息划分所述特征向量中各节点的块划分方式，各节点的预测结果组成可变长度向量；
26、所述块划分结果生成模块以预设编码标准为编码约束，从所述解码器网络的输出结果中确定当前节点符合编码约束的块划分预测结果，并将所述块划分预测结果补充到可变长度向量中，预测结束后，将所有节点的块划分结果所构成的可变长度向量保存至片外存储中。
27、在一实施例中，所述帧内模式决策电路包括调度电路模块和若干多尺寸帧内决策电路模块；所述帧内模式决策电路调用所述片外存储的块划分预测结果进行决策，获得所述视频帧的帧内模式决策结果的步骤，包括：
28、所述调度电路模块调用所述片外存储的块划分预测结果，并根据所述块划分预测结果，依次调用对应尺寸的帧内决策电路模块进行预测模式决策，并将像素数据发送至所述若干多尺寸帧内决策电路模块，所述像素数据至少包括原始像素和重构像素；
29、所述若干多尺寸帧内决策电路模块根据所述像素数据，从候选的多种预测模式中，决策出当前编码单元的最优预测模式。
30、本申请提出的一个或多个技术方案，至少具有以下技术效果：本申请提供的帧内模式决策系统，包括：预处理神经网络和帧内模式决策电路；所述预处理神经网络，用于根据视频帧的最大编码单元亮度数据，预测获得块划分预测结果，并将所述块划分预测结果保存至片外存储中；所述帧内模式决策电路，用于调用所述片外存储的块划分预测结果进行进一步决策，获得所述视频帧中所有最大编码单元的帧内模式决策结果。由于本申请通过预处理神经网络，提前对最大编码单元的块划分结果进行预测，可去除传统模式决策算法中自底向上的块划分搜索过程，极大减少了计算量，这样在后续的帧内模式决策电路中无需过多的硬件电路，极大节省了硬件资源，从而实现了高效率的帧内模式决策硬件设计。
本文档来自技高网...
【技术保护点】
1.一种帧内模式决策系统，其特征在于，所述的系统包括：预处理神经网络和帧内模式决策电路；
2.如权利要求1所述的系统，其特征在于，所述预处理神经网络包括：编码器网络、解码器网络以及块划分结果生成模块；
3.如权利要求2所述的系统，其特征在于，所述编码器网络由多个残差块构成；
4.如权利要求2所述的系统，其特征在于，所述解码器网络，还用于基于所述特征向量，通过编解码器的自注意力机制提取所述特征向量对应的历史节点信息；
5.如权利要求2所述的系统，其特征在于，所述块划分结果生成模块包括：块划分约束模块和标签连接模块；
6.如权利要求5所述的系统，其特征在于，所述帧内模式决策电路包括：调度电路模块和若干多尺寸帧内决策电路模块；
7.如权利要求1至6中任一项所述的系统，其特征在于，所述预处理神经网络部署在嵌入式NPU中。
8.一种帧内模式决策方法，其特征在于，所述帧内模式决策方法应用于帧内模式决策系统，所述系统包括预处理神经网络和帧内模式决策电路；所述方法包括：
9.如权利要求8所述的方法，其特征在于，所述预处理神经网络包括编码器网络、解码器网络以及块划分结果生成模块；所述预处理神经网络根据视频帧的最大编码单元亮度数据，预测获得块划分预测结果，并将所述块划分预测结果保存至片外存储中的步骤，包括：
10.如权利要求9所述的方法，其特征在于，所述帧内模式决策电路包括调度电路模块和若干多尺寸帧内决策电路模块；所述帧内模式决策电路调用所述片外存储的块划分预测结果进行决策，获得所述视频帧的帧内模式决策结果的步骤，包括：
...
【技术特征摘要】
1.一种帧内模式决策系统，其特征在于，所述的系统包括：预处理神经网络和帧内模式决策电路；
2.如权利要求1所述的系统，其特征在于，所述预处理神经网络包括：编码器网络、解码器网络以及块划分结果生成模块；
3.如权利要求2所述的系统，其特征在于，所述编码器网络由多个残差块构成；
4.如权利要求2所述的系统，其特征在于，所述解码器网络，还用于基于所述特征向量，通过编解码器的自注意力机制提取所述特征向量对应的历史节点信息；
5.如权利要求2所述的系统，其特征在于，所述块划分结果生成模块包括：块划分约束模块和标签连接模块；
6.如权利要求5所述的系统，其特征在于，所述帧内模式决策电路包括：调度电路模块和若干多尺寸帧内决策电路模块；
7.如权利要求...
【专利技术属性】
技术研发人员：姜宇程，张鹏，王景生，喻杰，廖振雄，都美江，李英，麦宋平，
申请(专利权)人：鹏城实验室，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。