一种面向低质量相机的高清成像方法技术

本发明专利技术公开了一种面向低质量相机的高清成像方法，包括以下步骤:数据采集系统、数据库构建和卷积网络生成；数据采集包括用高清图像模拟低质量图像、实际拍摄的低质量图像、通过低质量相机拍摄高清图像投影后的图像；数据库构建主要是对低质量图像和高质量图像的图像进行校正、低质量图像和高质量图像配准获取像素点或者像素区域的一一对应；卷积神经网络生成采用低质量图像通过单一的卷积神经网络或者多层卷积神经网络获取高质量图像，最后与实际的高清图像的进行对比评估网络的优劣。本发明专利技术采用低质量相机获得高清图像，解决了无人机光电吊舱、卫星高清成像载荷重、体积大、能耗大的问题。的问题。的问题。

【技术实现步骤摘要】
一种面向低质量相机的高清成像方法


[0001]本专利技术属于高清成像
，尤其涉及一种面向低质量相机的高清成像方法。

技术介绍

[0002]有人/无人机光电吊舱军事侦察、卫星高清成像中的成像设备的重量占很大一部分，甚至可以达到60～70％以上，尤其是长焦镜头对体积和载荷提出更高的要求，同样工艺下分辨率越高的相机，其能耗也越大，因此如何提高低成本相机的成像质量的需求量大。
[0003]2007年中国第一批智能手机诞生，2009年，智能手机开始普及，手机的相机成为大多数厂家研究的重点，2014年荣耀6Plus实现双摄的图像拼接，2015年荣耀7的大底加高像素以及RGBW在暗光下更高的信噪比，2016年P9黑白双摄，2018年超级大底长焦三摄，2020年四摄、实现等效16mm至125mm全覆盖相机。越廉价的相机，成像质量越差，如何提高廉价相机的清晰度，减少处理器的能耗，成为很多研究的关键问题。

技术实现思路

[0004]本专利技术专利主要针对无人机光电吊舱、卫星高清成像载荷重、体积大、能耗大的问题，提出了一种面向低质量相机的高清成像系统，采用低质量相机获得高清图像。
[0005]本专利技术公布了一种面向低质量相机的高清成像系统，包括以下步骤:数据采集系统、数据库构建和卷积网络生成。其中数据采集包括用高清图像模拟低质量图像、实际拍摄低质量图像、通过高清图像的投影拍摄低质量图像；数据库构建主要是对低质量图像和高质量图像的图像进行校正、图像配准获取像素点或者像素区域的一一对应；卷积神经网络生成采用低质量图像通过单一的卷积神经网络或者多层卷积神经网络，最后与实际的高清图像的对比获得高质量图像。本专利技术专利主要针对无人机光电吊舱、卫星高清成像载荷重、体积大、能耗大的问题，提出了一种面向低质量相机的高清成像系统，采用低质量相机获得高清图像。
[0006]本专利技术公开的面向低质量相机的高清成像方法，包括以下步骤：
[0007]数据采集：采集用高清图像模拟低质量图像、实际拍摄的低质量图像和通过低质量相机拍摄高清图像投影后的图像；
[0008]数据库构建：对低质量图像和高质量图像的图像进行校正、将低质量图像和高质量图像配准使得像素点或者像素区域一一对应；
[0009]卷积神经网络训练和评估：将低质量图像通过单一的卷积神经网络或者多层卷积神经网络获取高质量图像，与实际的高清图像的进行对比评估卷积神经网络的优劣。
[0010]进一步的，所述数据采集具体实现包括：
[0011](1)用高清图像模拟低质量图像，采用高斯模糊核模拟图像模糊、运动模糊核模拟图像运动、加入雾来模拟雾环境下的图像；
[0012]所述运动模糊核为：
[0013]其中c
x
为水平方向的运动，c
y
为垂直方
向上的运动，n(x,y)为加入的噪声，x，y为高清图像上像素点坐标；
[0014](2)拍摄实际的低质量图像：将高清相机和低质量相机固定到一起，拍摄实际的图像；
[0015](3)通过低质量相机拍摄高清图像投影后的图像：将高质量相机拍摄的图像投影到平面上，低质量相机拍摄平面上的投影图像的方式获取图像数据。
[0016]进一步的，低质量相机拍摄高清图像投影后的图像的步骤为：
[0017]将高质量相机拍摄的图像投影到平面上，其中平面为电脑显示器、电视机屏幕、投影仪的幕布；
[0018]低质量相机固定在投影平面前面，通过修改相机参数或者改变外界环境模拟拍摄不同情况下的低质量图像，其中修改相机的曝光时间、显示器的亮度来模拟不同光照强度；在相机的镜头前面加入水汽、玻璃来模拟图像中加入雾的环境；修改原始图像的高亮度区域来模拟图像的过曝；调节相机不同距离的拍摄来模拟不同高度下的拍摄；
[0019]低质量相机采集和高质量图像投影同步，高质量图像每隔时间T播放投影，低质量相机在T
‑△
T时采集，其中T为1s，
△
T大于相机的曝光时间且小于0.5T。
[0020]进一步的，数据库构建为图像配准形成一一配准的图像，包括实际拍摄低质量图像配准、通过低质量相机拍摄高清图像投影后的图像配准两种方式：
[0021]实际拍摄低质量图像配准，即低质量相机与高清相机固定在同一个平台上，同时拍摄，采用SIFT特征点匹配的方式对其进行图像匹配；
[0022]通过低质量相机拍摄高清图像投影后的图像配准，即采用棋盘格拍摄低质量的棋盘格和高清的棋盘格，然后利用每一个点的匹配，获取对应的匹配区域。
[0023]进一步的，所述利用每一个点的匹配，获取对应的匹配区域包括：
[0024]A、采用31
×
19的棋盘格，把棋盘格图像压缩到和高清图像同样的尺寸；
[0025]B、采用角点检测分别检测低质量图像和高质量图像的角点，建立低质量图像角点和高质量图像角点的匹配对；
[0026]C、获取转换矩阵，提取低质量图像角点向量α
L
和高质量图像的角点向量β
H
对应的方形网格，对应的坐标点为(x0,y0)～(x3,y3)，(x'0,y'0)～(x'3,y'3)
[0027][0028]其中转换矩阵为(R,T)，R为2
×
2维，T为2
×
1维；
[0029]D、对于其它低质量相机拍摄的图片，通过(R,T)转换为对应图像，以实现低质量图像与高质量图像的配准。
[0030]进一步的，通过一层卷积神经网络或者多层卷积神经网络的方式生成低质量图像，其中损失函数如下：
[0031][0032]其中，
[0033]X
s
为经过一系列操作后输出的图像，
△
X
s
为输出图像X
s
的梯度，Y
s
为真实的参考图像，
△
Y
s
为参考图像Y
s
的梯度，S为图像的RGB通道，采用该损失函数，将颜色的损失函数、纹理的损失函数或去雾的损失函数都融入到一个网络中。
[0034]与现有技术相比，本专利技术的有益效果如下：
[0035]本专利技术采用低质量相机获得高清图像，解决了无人机光电吊舱、卫星高清成像载荷重、体积大、能耗大的问题。
附图说明
[0036]图1一种面向低质量相机的高清成像系统软件流程图；
[0037]图2不同方式的图像采集系统；
[0038]图3其它不同方式的图像采集系统；
[0039]图4棋盘格匹配；
[0040]图5高清图像；
[0041]图6正常拍摄的图像；
[0042]图7低曝光拍摄的图像；
[0043]图8背光拍摄的图像；
[0044]图9低照度拍摄的图像；
[0045]图10校正后的很便宜相机拍摄的图片；
[0046]图11校正后的较便宜的相本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向低质量相机的高清成像方法，其特征在于，包括以下步骤：数据采集：采集用高清图像模拟低质量图像、实际拍摄的低质量图像和通过低质量相机拍摄高清图像投影后的图像；数据库构建：对低质量图像和高质量图像的图像进行校正、将低质量图像和高质量图像配准使得像素点或者像素区域一一对应；卷积神经网络训练和评估：将低质量图像通过单一的卷积神经网络或者多层卷积神经网络获取高质量图像，与实际的高清图像的进行对比评估卷积神经网络的优劣。2.根据权利要求1所述的面向低质量相机的高清成像方法，其特征在于，所述数据采集具体实现包括：(1)用高清图像模拟低质量图像，采用高斯模糊核模拟图像模糊、运动模糊核模拟图像运动、加入雾来模拟雾环境下的图像；所述运动模糊核为：其中c
x
为水平方向的运动，c
y
为垂直方向上的运动，n(x,y)为加入的噪声，x，y为高清图像上像素点坐标；(2)拍摄实际的低质量图像：将高清相机和低质量相机固定到一起，拍摄实际的图像；(3)通过低质量相机拍摄高清图像投影后的图像：将高质量相机拍摄的图像投影到平面上，低质量相机拍摄平面上的投影图像的方式获取图像数据。3.根据权利要求1或2任一所述的面向低质量相机的高清成像方法，其特征在于，低质量相机拍摄高清图像投影后的图像的步骤为：将高质量相机拍摄的图像投影到平面上，其中平面为电脑显示器、电视机屏幕、投影仪的幕布；低质量相机固定在投影平面前面，通过修改相机参数或者改变外界环境模拟拍摄不同情况下的低质量图像，其中修改相机的曝光时间、显示器的亮度来模拟不同光照强度；在相机的镜头前面加入水汽、玻璃来模拟图像中加入雾的环境；修改原始图像的高亮度区域来模拟图像的过曝；调节相机不同距离的拍摄来模拟不同高度下的拍摄；低质量相机采集和高质量图像投影同步，高质量图像每隔时间T播放投影，低质量相机在T
‑△
T时采集，其中T为1s，
△
T大于相机的曝光时间且小于0.5T。4.根据权利要求1所述的面向低质量相机的高清成...

【专利技术属性】
技术研发人员：曾向荣，刘煜，钟志伟，刘衍，许翔昊，刘昱，王江岩，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：