【技术实现步骤摘要】
本专利技术属于图像数据处理领域，具体涉及一种基于脉冲扩散模型的帧间图像辅助信息生成方法。
技术介绍
1、图像数据处理技术在帧间图像辅助信息生成中得到了广泛应用，尤其是在视频监控、视频会议和流媒体服务等领域，显著提高了视频数据的传输效率和质量。在视频监控系统中，分布式图像处理通过减少带宽需求，确保远程摄像设备能够实时传输高质量的图像数据。在视频会议中，该技术优化了网络资源的使用，确保多方通信的稳定性和流畅性。在流媒体服务中，分布式图像处理在网络条件不稳定的情况下，能够维持视频质量，减少视频卡顿和缓冲现象。
2、在帧间图像辅助信息生成过程中，辅助信息生成是图像处理中的关键环节。辅助信息生成是指在图像处理和编码过程中创建并传输描述图像各部分关系的数据，以帮助解码端重建完整视频。通常情况下，图像数据被分为多个编码单元，使用预测技术生成辅助信息。辅助信息可以包括运动矢量、残差或其他预测误差，用于描述各编码单元之间的依赖关系。这些信息在解码阶段发挥至关重要的作用，通过减少数据冗余、提高压缩比来优化编码和传输效率，并保证解码时的图像重建质量。
3、辅助信息生成在图像处理中具有广泛的适用性，可以适应不同的网络环境和数据丢失条件，确保传输带宽的有效利用和图像质量的稳定性。现有的辅助信息生成方法主要分为两类：预测误差编码和参考帧差异编码。预测误差编码通过对视频帧的预测误差进行建模，生成用于精确恢复丢失数据的辅助信息。其优点在于能够高效压缩数据，并保持较高的重建质量，但在处理复杂动态场景时可能存在计算复杂度高的问题。参考帧差异
技术实现思路
1、本专利技术的目的是提出一种基于脉冲扩散模型的帧间图像辅助信息生成方法，通过模拟视频信号在时间和空间维度上的扩散过程，生成更加精确的辅助信息，旨在提高视频压缩效率，优化传输性能，并增强在复杂环境下的视频解码鲁棒性。
2、本专利技术采取的技术方案是：
3、基于脉冲扩散模型的帧间图像辅助信息生成方法，包括以下步骤：
4、步骤一，初始辅助信息生成：
5、基于帧间图像的相似性，利用传统压缩算法生成初步的辅助信息，作为后续优化处理的基础；这一初始步骤能够快速生成初步预测，减少后续处理的计算负担。
6、步骤二，脉冲神经网络编码：
7、通过脉冲神经网络（snn）对初始辅助信息进行编码，模拟生物神经元的活动模式，优化辅助信息的时序处理能力，从而提升数据表征的精确性和时空关联度；
8、步骤三，基于扩散模型的噪声注入：
9、采用扩散模型在脉冲神经网络编码后的辅助信息中逐步注入噪声，模拟真实环境中的随机扰动，增强生成辅助信息在复杂场景下的鲁棒性，确保在传输或解码过程中能应对外部干扰；
10、步骤四，优化辅助信息解码：
11、通过扩散模型的反向过程，从含噪声的辅助信息恢复出高质量的辅助信息，逐步消除噪声并生成优化的辅助信息；
12、通过脉冲神经网络对优化后的辅助信息进行反向解码，将其还原为具有物理意义的中间结果，确保解码过程的稳定性和精确性，为后续的视频帧重构提供可靠的辅助信息；
13、步骤五，重构视频帧生成：
14、结合优化后的辅助信息与视频块的局部特征，应用反卷积图像处理技术，重构最终的视频帧，完成压缩视频数据的高效传输和解码重建。
15、进一步的，在步骤一中，所述初始的辅助信息，是根据当前视频帧序列的结构和运动特征，利用线性或非线性插值方法生成，具体表示为：
16、，
17、其中，表示初始化的辅助信息，表示差值函数，和分别表示前后帧。
18、进一步的，在步骤二中，具体采用脉冲发放模型模拟生物神经元的活动，优化辅助信息的表征，具体表示为：
19、，
20、式中，为神经元i在时刻t的电位，为膜时间常数，为反转电位，为输入电流；
21、在 snn 中，输入电流是与初始化的辅助信息直接相关的，采用下式表示：
22、，
23、其中， α和 β是调节辅助信息影响的参数。
24、进一步的，在步骤三中，将snn编码后的辅助信息输入到扩散模型中，逐步注入噪声以模拟随机扰动的过程，产生更逼近真实分布的辅助信息，具体表示为：
25、，
26、式中，表示扩散系数，表示高斯噪声，表示当前时刻的辅助信息状态，看作是snn神经元电位的函数输出；在每个时间步t，snn 网络中的神经元膜电位的状态更新将影响最终的辅助信息，将神经元的输出（如脉冲发放率）映射到辅助信息，形成以下关系：
27、，
28、其中，是神经元电位的非线性变换，可能基于脉冲发放频率或者其他与神经元状态相关的度量。
29、进一步的，在步骤四中，所述生成优化的辅助信息的过程，表示为：
30、，
31、其中，通过所述反向过程得到，具体表示为：
32、，
33、式中，表示经过snn优化后的辅助信息生成函数， si opt 为最终优化的辅助信息；表示通过神经网络学习得到的噪声估计函数；
34、所述生成函数的网络架构包括：
35、501：输入层：接收输入的辅助信息，并将其编码为脉冲信号；
36、502：编码层：通过 lif神经元模型将输入信号转化为脉冲序列；
37、503：脉冲神经元层：根据输入的脉冲序列，模拟脉冲发放机制；
38、504：突触权重层：通过stdp算法调整突触权重；
39、505：膜电位累积层：神经元的膜电位根据接收到的脉冲累积并更新，超过阈值时发放脉冲；
40、506：输出层：通过将脉冲序列解码为连续信号，生成最终优化后的辅助信息 si opt 。
41、这一架构通过模拟生物神经网络的工作机制，使视频压缩的辅助信息生成过
42、程更加高效和智能化。
43、进一步的，步骤五中，重构最终视频帧的过程，表示为：
44、，
45、式中，表示解码后的重构视频帧，表示重构函数；所述重构函数的网络架构包括：
46、601：输入层：接收输入的优化辅助信息 si opt ，输入维度为 h × w × c； 本文档来自技高网...
【技术保护点】
1.基于脉冲扩散模型的帧间图像辅助信息生成方法，其特征在于，包括以下步骤：
2.如权利要求1所述的基于脉冲扩散模型的帧间图像辅助信息生成方法，其特征在于，在步骤一中，所述初始的辅助信息，是根据当前视频帧序列的结构和运动特征，利用线性或非线性插值方法生成，具体表示为：
3.如权利要求1所述的基于脉冲扩散模型的帧间图像辅助信息生成方法，其特征在于，在步骤二中，具体采用脉冲发放模型模拟生物神经元的活动，优化辅助信息的表征，具体表示为：
4.如权利要求1所述的基于脉冲扩散模型的帧间图像辅助信息生成方法，其特征在于，在步骤三中，将SNN编码后的辅助信息输入到扩散模型中，逐步注入噪声以模拟随机扰动的过程，产生更逼近真实分布的辅助信息，具体表示为：
5.如权利要求1所述的基于脉冲扩散模型的帧间图像辅助信息生成方法，其特征在于，在步骤四中，所述生成优化的辅助信息的过程，表示为：
6.如权利要求1所述的基于脉冲扩散模型的帧间图像辅助信息生成方法，其特征在于，在步骤五中，重构最终视频帧的过程，表示为：
【技术特征摘要】
1.基于脉冲扩散模型的帧间图像辅助信息生成方法，其特征在于，包括以下步骤：
2.如权利要求1所述的基于脉冲扩散模型的帧间图像辅助信息生成方法，其特征在于，在步骤一中，所述初始的辅助信息，是根据当前视频帧序列的结构和运动特征，利用线性或非线性插值方法生成，具体表示为：
3.如权利要求1所述的基于脉冲扩散模型的帧间图像辅助信息生成方法，其特征在于，在步骤二中，具体采用脉冲发放模型模拟生物神经元的活动，优化辅助信息的表征，具体表示为：
4.如权...
【专利技术属性】
技术研发人员：蒋先涛，靖永慧，张镇，谢东明，许晓洁，靖婉琦，李培波，许得龙，刘梦洁，刘晨甲，徐如明，宋光恒，焦明波，
申请(专利权)人：聊城莱柯智能机器人有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。