一种矿井视频图像融合方法与装置制造方法及图纸

本发明专利技术公开了一种矿井视频图像融合方法，用于实现矿井图像的采样、融合和重构。该方法首先对矿井视频图像分块压缩采样，然后对图像块压缩采样信号进行信源熵融合，最后对融合的信号进行重构、拼接后恢复变成原始图像。本发明专利技术进一步公开了一种矿井视频图像融合装置，该装置包括矿井图像采集设备、矿井图像融合节点和矿井图像接收设备。该装置采用无线传输方式，图像压缩处理和传输能力强，视频图像处理的冗余计算少，所需存储空间小，井下传输信道带宽要求低，满足井下特定的使用环境，有效提高了井下视频图像的压缩处理和传输能力，保证了矿井WSN、Zigbee无线网络环境下视频信号的实时性传输。

【技术实现步骤摘要】
一种矿井视频图像融合方法与装置
本专利技术涉及一种无线通信和图像融合技术，具体地说，涉及一种矿井视频图像融合方法与装置。
技术介绍
现有的矿井图像信息融合技术需要考虑图像的所有像素点，即需要对压缩编码的图像信息解压缩恢复后再对其融合，采用这种技术装置存在设计复杂、传输带宽要求高、存储空间需求大等问题。尤其是，矿井环境中视频图像受噪声干扰影响较大，在矿井视频中存在分辨率低、图像模糊等现象，但由于矿井监控和视频通信对矿井视频图像质量和实时性要求较高，加之井下通信环境带宽资源有限，采用传统的图像融合技术难以解决视频图像压缩处理时出现的视频信号传输延迟、图像抖动等问题。因此，迫切需要研究和专利技术一种新的矿井视频图像融合方法及装置，以解决现存问题。2006年，Donoho等提出了压缩感知(CompressedSensing，CS)理论，通过分析信号本身的稀疏矩阵，试图突破传统信息论中的带宽瓶颈，对信号处理和压缩极限产生了很大的提升。该理论表明，如果信号是可压缩的或在某个变换域是稀疏的，那么就可以用一个与变换基不相关的随机观测矩阵将变换所得的高维信号投影到一个低维空间上，然后通过求解一个稀疏优化问题来实现信号的精确重构，可以用远低于采样定理要求的采样次数重构信号。而且，已有研究表明使用信息熵作为加权系数在感知域进行信息的融合，可以完整地重构原图像，能够降低传输性能的要求，硬件设计的复杂度以及存储空间的需求。因此，基于上述CS理论，研究索基于压缩感知理论的矿井视频图像融合技术和方法，将为矿井无线网环境下矿井无线视频图像的压缩处理提供了一个新思路。
技术实现思路
本专利技术主要解决现有技术所存在的问题，专利技术了一种基于分块压缩感知的矿井视频图像融合方法与装置。将分块压缩感知和信源熵融合算法运用于矿井视频图像的压缩采样和图像融合，采用分块压缩感知的算法，降低了信号的采样速率和随机观测矩阵的复杂性，从而减少视频图像处理的冗余计算、节省存储空间；采用信源熵融合算法，能够在图像重构之前实现信息融合，从而减少对传输信道带宽的要求。本专利技术采用的技术方案是：一种矿井视频图像融合方法与装置，采用基于分块压缩感知的信源熵融合算法，用于实现矿井视频图像信号的采样、融合和重构。所述矿井视频图像融合方法，包括如下步骤：步骤1、信号的采样，包括以下子步骤：1.1)将输入的矿井视频图像信号分成S个大小K×K像素的图像块，其中S，K∈N；1.2)构建第s(s＝1，2，...S)个图像块对应的观测矩阵为ΦK，其中，ms＜K2，且ΦK为Hadamard矩阵；1.3)获得第s个图像块的不同观测向量分别为x1＝ΦKΘ1和x2＝ΦKΘ2，其中且Θ1，Θ2分别为源图像第s块的列向量；步骤2、信号的融合，包括以下子步骤：2.1)计算观测向量x1和x2的信源熵entropy(x1)和entropy(x2)、联合熵entropy(x1，x2)、互信息量MI(x1，x2)，2.2)计算观测向量x1和x2的权系数，2.3)融合不同的观测向量为最终的观测值xb＝t1x1+t2x2，其中，t1，t2经过归一化处理，满足t1+t2＝1；步骤3、信号的重构，根据图像块信号对应的感知矩阵，采用正交匹配追踪算法重构图像块信号对应的重构值；步骤4、信号的整合，根据对源图像块划分的方法，将各个块对应的重构值进行拼接、重整，获得重构图像。本专利技术进一步公开了一种基于压缩感知的矿井视频图像融合装置，应用于所述矿井视频图像融合方法，该装置包括：矿井图像采集设备、矿井图像融合节点和矿井图像接收设备；其中，所述矿井图像采集设备，用于矿井图像分块采集、图像压缩编码；所述矿井图像融合节点用于在感知域上图像融合；所述矿井图像接收设备用于矿井图像重构解码、视频处理和图像显示；所述矿井图像采集设备、矿井图像融合节点和矿井图像接收设备通过无线通信接口连接，用于对采集的矿井图像信号融合后传输给矿井图像接收设备；所述无线通信接口采用Zigbee、WiFi或/和WCDMA、WiMAX或/和LTE空中接口。所述矿井图像采集设备包括：视频采集单元和图像编码单元；所述视频采集单元用于连续图像的分块采集，包括图像分块模块和图像采集模块；所述图像分块模块用于矿井图像分块处理。所述图像采集模块用于采集连续的分块图像并将采集到的分块图像信息传输到图像编码单元进行压缩编码。所述图像编码单元，用于对采集到的分块图像信息进行压缩编码，包括矩阵模块、存储模块和乘法模块。所述矩阵模块用于生成压缩观测矩阵。所述存储模块用于存储矩阵模块生成的压缩观测矩阵。所述乘法模块用于将视频采集单元采集到的分块图像信号与存储模块存储的压缩观测矩阵相乘，以得到压缩编码后的分块图像编码。所述矿井图像融合节点包括信源熵计算单元和加权融合处理单元；所述信源熵计算单元，用于相关信源熵的计算，包括信源熵模块、联合熵模块、互信息量模块和存储模块；所述信源熵模块、联合熵模块和互信息量模块分别用于计算分块采集信号的信源熵、联合熵和互信息量。所述存储模块用于存储分块采集信号的信源熵、联合熵和互信息量。所述加权融合处理单元，用于对采样信号的加权融合处理，包括权计算模块和融合模块。所述权计算模块用于计算分块采集图像信息的权系数。所述融合模块用于分块采集图像信息的加权融合处理。所述矿井图像接收设备包括图像重构单元和视频合成单元；所述图像重构单元，用于对分块压缩融合后的图像进行解码恢复，包括矩阵模块、存储模块、乘法模块、校正模块和块合成模块。所述矩阵模块用于生成稀疏表达矩阵；所述存储模块用于存储矩阵模块生成的稀疏表达矩阵；所述乘法模块用于计算分块压缩编码后的图像编码与矩阵稀疏表达矩阵的正交基矩阵；所述校正模块用于计算正交基矩阵与分块压缩编码后的图像的噪声残差，并迭代计算、校正得到稀疏解码后的恢复图像；所述块合成模块用于将分块图像信息拼接、重整成原图像；所述视频合成单元用于将稀疏编码后的恢复图像合并为连续视频。所述矿井视频图像融合装置包括无线摄像机、车载移动台和手持移动台等通信设备。所述矿井图像采集设备、矿井图像融合节点和矿井图像接收设备为本质安全型防爆装置。本专利技术的有益效果在于：本专利技术采用分块压缩采样，所需随机观测矩阵简单，有效减少了图像编码和压缩处理的冗余计算量和存储需求；特别是采用矿井视频图像融合方法，在图像重构之前，就已进行数据融合，从而降低了矿井视频图像对传输信道的要求。附图说明图1为一种矿井视频图像融合方法原理图；图2为一种基于分块压缩感知的矿井视频图像融合处理示意图；图3为一种矿井视频图像融合装置示意图；具体实施方式下面结合附图对本专利技术的具体实施方式进行详细描述。参照图1，为一种矿井视频图像融合方法原理图，其矿井视频图像信号采样和融合过程如下：首先对原始矿井视频图像分块，然后对分块矿井图像进行随机观测，再对观测得到的信号即为矿井图像的分块压缩信号进行信源熵融合，最后对融合所得信号进行重构、拼接，得到原始矿井图像。将分块压缩感知和信源熵融合算法运用于矿井视频图像的压缩采样和图像融合，采用分块压缩感知的算法，降低了信号的采样速率和随机观测矩阵的复杂性，从而减少视频图像处理的冗余计算，节省存储空间；采用信源熵融合算法，在图像重构之前融合信息，旨在减少传输信道带宽要求。参本文档来自技高网...

【技术保护点】
一种矿井视频图像融合方法，用于实现矿井视频图像信号的采样、融合和重构，其特征在于，包括以下步骤：步骤1、信号的采样，包括以下子步骤：1.1)将输入的矿井视频图像信号分成S个大小K×K像素的图像块，其中S，K∈N；1.2)构建第s(s＝1，2，...S)个图像块对应的观测矩阵为Φ

【技术特征摘要】
1.一种矿井视频图像融合方法，用于实现矿井视频图像信号的采样、融合和重构，其特征在于，包括以下步骤：步骤1、信号的采样，包括以下子步骤：1.1)将输入的矿井视频图像信号分成S个大小K×K像素的图像块，其中S，K∈N；1.2)构建第s(s＝1，2，...S)个图像块对应的观测矩阵为ΦK，其中，ms＜K2，且ΦK为Hadamard矩阵；1.3)获得第s个图像块的不同观测向量分别为x1＝ΦKΘ1和x2＝ΦKΘ2，其中且Θ1，Θ2分别为源图像第s块的列向量；步骤2、信号的融合，包括以下子步骤：2.1)计算观测向量x1和x2的信源熵entropy(x1)和entropy(x2)、联合熵entropy(x1，x2)、互信息量MI(x1，x2)，2.2)计算观测向量x1和x2的权系数，2.3)融合不同的观测向量为最终的观测值xb＝t1x1+t2x2，其中，t1，t2经过归一化处理，满足t1+t2＝1；步骤3、信号的重构，根据图像块信号对应的感知矩阵，采用正交匹配追踪算法重构图像块信号对应的重构值；步骤4、信号的整合，根据对源图像块划分的方法，将各个块对应的重构值进行拼接、重整，获得重构图像。2.一种基于压缩感知的矿井视频图像融合装置，应用于所述矿井视频图像融合方法，其特征在于，包括：矿井图像采集设备(10)、矿井图像融合节点(20)和矿井图像接收设备(30)；其中，所述矿井图像采集设备(10)，用于矿井图像分块采集、图像压缩编码；所述矿井图像融合节点(20)用于在感知域上图像融合；所述矿井图像接收设备(30)用于图像重构解码、视频处理和图像显示；所述矿井图像采集设备(10)、矿井图像融合节点(20)和矿井图像接收设备(30)通过无线通信接口连接，用于将采集的矿井图像信号融合后传输给矿井图像接收设备(30)；其特征还在于，所述无线通信接口采用Zigbee、W...

【专利技术属性】
技术研发人员：张帆，闫秀秀，李亚杰，
申请(专利权)人：中国矿业大学北京，
类型：发明
国别省市：北京,11