本申请公开了一种上下文增强方法、装置、设备及介质，属于视频压缩技术领域。基于待压缩帧和先前解码帧，得到重构光流；对先前解码帧的特征进行多尺度特征提取，得到多尺度特征；将重构光流和多尺度特征输入上下文生成模块，得到多尺度上下文，并根据多尺度上下文和多尺度特征的可变形卷积偏移量和交叉注意力，分别对多尺度上下文进行局部增强和全局增强；融合局部增强后的多尺度上下文和全局增强后的多尺度上下文，得到多尺度增强上下文。通过先前解码帧的多尺度特征，对多尺度上下文分别进行局部增强和全局增强，在没有码率开销的情况下对待压缩帧进行增强，获得多尺度增强上下文，以此提高视频压缩的质量，从而提高视频压缩的效率。
【技术实现步骤摘要】
本申请涉及视频压缩，尤其涉及上下文增强方法、装置、设备及介质。
技术介绍
1、近年来，基于深度学习的视频压缩技术也得到了快速发展。
2、然而，目前的深度学习视频压缩技术中的上下文增强方法，主要关注局部帧间信息，缺乏对全局信息的关注，导致现有的上下文增强方法难以处理复杂视频内容。
3、上述内容仅用于辅助理解本申请的技术方案，并不代表承认上述内容是现有技术。
技术实现思路
1、本申请的主要目的在于提供一种上下文增强方法、装置、设备及介质，旨在提高处理复杂视频内容时的视频压缩性能。
2、为实现上述目的，本申请提供一种上下文增强方法，所述方法包括：
3、基于待压缩帧和先前解码帧，得到重构光流；
4、对所述先前解码帧的特征进行多尺度特征提取，得到多尺度特征，所述多尺度特征包括预设最小尺度特征；
5、将所述重构光流和所述多尺度特征输入上下文生成模块，得到多尺度上下文，所述多尺度上下文包括预设最小尺度上下文；
6、通过所述多尺度上下文和所述多尺度特征的可变形卷积偏移量，以及所述重构光流，对所述多尺度特征进行光流引导的可变形卷积补偿，得到局部增强后的所述多尺度上下文；
7、通过所述预设最小尺度上下文和所述预设最小尺度特征的交叉注意力，对所述多尺度上下文进行全局增强，得到全局增强后的所述多尺度上下文；
8、融合局部增强后的所述多尺度上下文和全局增强后的所述多尺度上下文，得到多尺度增强上下文。</p>9、可选地，所述多尺度特征还包括预设中等尺度特征以及预设最小尺度特征；所述将所述重构光流和所述多尺度特征输入上下文生成模块，得到多尺度上下文的步骤，包括：
10、对所述重构光流进行双线性下采样，得到预设中等尺度的重构光流和预设最小尺度的重构光流；
11、通过所述原始尺度特征、所述预设中等尺度特征以及所述预设最小尺度特征，分别对所述重构光流、所述预设中等尺度的重构光流以及所述预设最小尺度的重构光流进行补偿，得到多尺度上下文。
12、可选地，所述多尺度上下文还包括预设中等尺度上下文和原始尺度上下文；所述通过所述多尺度上下文和所述多尺度特征的可变形卷积偏移量，以及所述重构光流，对所述多尺度特征进行光流引导的可变形卷积补偿，得到局部增强后的所述多尺度上下文的步骤，包括：
13、通过所述原始尺度上下文和所述原始尺度特征的可变形卷积偏移量，以及所述重构光流，对所述原始尺度特征进行光流引导的可变形卷积补偿，得到第一尺度上下文；
14、通过所述预设中等尺度上下文和所述预设中等尺度特征的可变形卷积偏移量，以及所述预设中等尺度的重构光流，对所述预设中等尺度特征进行光流引导的可变形卷积补偿，得到第二尺度上下文；
15、通过所述预设最小尺度上下文和所述预设最小尺度特征的可变形卷积偏移量，以及所述预设最小尺度的重构光流，对所述预设最小尺度特征进行光流引导的可变形卷积补偿，得到第三尺度上下文。
16、可选地，所述融合局部增强后的所述多尺度上下文和全局增强后的所述多尺度上下文，得到多尺度增强上下文的步骤，包括：
17、通过通道空间注意力，融合所述第三尺度上下文和全局增强后的所述预设最小尺度上下文，得到融合上下文；
18、通过卷积神经网络获取所述第一尺度上下文的第一残差、所述第二尺度上下文的第二残差，以及所述融合上下文的第三残差；
19、将所述第一残差、所述第二残差以及所述第三残差，分别与所述第一尺度上下文、所述第二尺度上下文以及所述融合上下文相加，得到多尺度增强上下文。
20、可选地，所述根据所述交叉注意力，获取全局增强后的所述多尺度上下文的步骤，包括：
21、通过所述交叉注意力对所述预设最小尺度上下文进行全局增强，得到全局增强后的所述预设最小尺度上下文；
22、将得到的所述全局增强的预设最小尺度上下文作为新的预设最小尺度上下文，并根据新的预设最小尺度上下文，获取新的交叉注意力，继续执行预设次数的所述通过所述交叉注意力对所述预设最小尺度上下文进行全局增强的步骤，得到执行预设次数全局增强后的所述预设最小尺度上下文。
23、可选地，所述对所述先前解码帧的特征进行多尺度特征提取，得到多尺度特征的步骤，包括：
24、将所述先前解码帧的特征输入至金字塔式卷积神经网络，得到多尺度特征。
25、可选地，所述基于所述待压缩帧和所述先前解码帧，获取重构光流的步骤包括：
26、将所述待压缩帧和所述先前解码帧输入光流估计网络，得到光流；
27、将所述光流输入至光流编码器和光流解码器，得到重构光流。
28、本申请还提供一种上下文增强装置，所述上下文增强装置包括：
29、重构模块，用于基于待压缩帧和先前解码帧，得到重构光流；
30、提取模块，用于对所述先前解码帧的特征进行多尺度特征提取，得到多尺度特征，所述多尺度特征包括预设最小尺度特征；
31、上下文生成模块，用于将所述重构光流和所述多尺度特征输入上下文生成模块，得到多尺度上下文，所述多尺度上下文包括预设最小尺度上下文；
32、局部增强模块，用于通过所述多尺度上下文和所述多尺度特征的可变形卷积偏移量，以及所述重构光流，对所述多尺度特征进行光流引导的可变形卷积补偿，得到局部增强后的所述多尺度上下文；
33、全局增强模块，用于通过所述预设最小尺度上下文和所述预设最小尺度特征的交叉注意力，对所述多尺度上下文进行全局增强，得到全局增强后的所述多尺度上下文；
34、融合模块，用于融合局部增强后的所述多尺度上下文和全局增强后的所述多尺度上下文，得到多尺度增强上下文。
35、本申请还提供一种上下文增强设备，所述上下文增强设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序配置为实现如上任一项所述的上下文增强方法的步骤。
36、本申请还提供一种介质，所述介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上任一项所述的上下文增强方法的步骤。
37、本申请提供的一种上下文增强方法、装置、设备及介质，基于待压缩帧和先前解码帧，得到重构光流；对所述先前解码帧的特征进行多尺度特征提取，得到多尺度特征，所述多尺度特征包括预设最小尺度特征；将所述重构光流和所述多尺度特征输入上下文生成模块，得到多尺度上下文，所述多尺度上下文包括预设最小尺度上下文；通过所述多尺度上下文和所述多尺度特征的可变形卷积偏移量，以及所述重构光流，对所述多尺度特征进行光流引导的可变形卷积补偿，得到局部增强后的所述多尺度上下文；通过所述预设最小尺度上下文和所述预设最小尺度特征的交叉注意力，对所述多尺度上下文进行全局增强，得到全局增强后的所述多尺度上下文；融合局部增强后的所述多尺度上下文和全局增强后的所述多尺本文档来自技高网
...
【技术保护点】
1.一种上下文增强方法，其特征在于，所述方法包括：
2.如权利要求1所述上下文增强方法，其特征在于，所述多尺度特征还包括预设中等尺度特征以及预设最小尺度特征；所述将所述重构光流和所述多尺度特征输入上下文生成模块，得到多尺度上下文的步骤，包括：
3.如权利要求2所述上下文增强方法，其特征在于，所述多尺度上下文还包括预设中等尺度上下文和原始尺度上下文；所述通过所述多尺度上下文和所述多尺度特征的可变形卷积偏移量，以及所述重构光流，对所述多尺度特征进行光流引导的可变形卷积补偿，得到局部增强后的所述多尺度上下文的步骤，包括：
4.如权利要求3所述上下文增强方法，其特征在于，所述融合局部增强后的所述多尺度上下文和全局增强后的所述多尺度上下文，得到多尺度增强上下文的步骤，包括：
5.如权利要求1所述上下文增强方法，其特征在于，所述根据所述交叉注意力，获取全局增强后的所述多尺度上下文的步骤，包括：
6.如权利要求1所述上下文增强方法，其特征在于，所述对所述先前解码帧的特征进行多尺度特征提取，得到多尺度特征的步骤，包括：
7.如权利要求1所述上下文增强方法，其特征在于，所述基于所述待压缩帧和所述先前解码帧，获取重构光流的步骤包括：
8.一种上下文增强装置，其特征在于，所述上下文增强装置包括：
9.一种上下文增强设备，其特征在于，所述上下文增强设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序配置为实现如权利要求1至7中任一项所述的上下文增强方法的步骤。
10.一种介质，其特征在于，所述介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的上下文增强方法的步骤。
...
【技术特征摘要】
1.一种上下文增强方法，其特征在于，所述方法包括：
2.如权利要求1所述上下文增强方法，其特征在于，所述多尺度特征还包括预设中等尺度特征以及预设最小尺度特征；所述将所述重构光流和所述多尺度特征输入上下文生成模块，得到多尺度上下文的步骤，包括：
3.如权利要求2所述上下文增强方法，其特征在于，所述多尺度上下文还包括预设中等尺度上下文和原始尺度上下文；所述通过所述多尺度上下文和所述多尺度特征的可变形卷积偏移量，以及所述重构光流，对所述多尺度特征进行光流引导的可变形卷积补偿，得到局部增强后的所述多尺度上下文的步骤，包括：
4.如权利要求3所述上下文增强方法，其特征在于，所述融合局部增强后的所述多尺度上下文和全局增强后的所述多尺度上下文，得到多尺度增强上下文的步骤，包括：
5.如权利要求1所述上下文增强方法，其特征在于，所述...
【专利技术属性】
技术研发人员：王荣刚，翟勇琪，高文，
申请(专利权)人：北京大学深圳研究生院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。