一种用于微纳卫星的视频稳像方法技术

本发明专利技术属于视频稳像技术领域，公开了一种用于微纳卫星的视频稳像方法。视频稳像方法为：通过相机获取景物的视频信息，通过陀螺仪获取相机运动信息；然后将视频信息和相机运动信息进行融合处理得到相机运动轨迹，再通过平滑算法对相机运动轨迹进行平滑处理得到平滑相机运动轨迹，最后利用平滑相机运动轨迹对视频信息进行稳像处理得到稳像视频。该方法使用的传感器较少，适用于对质量、体积、功耗、成本等有着严格要求的微纳卫星；且提出算法稳像性能也较好，具有较为广泛的应用场景。

【技术实现步骤摘要】

本专利技术属于视频稳像
，特别涉及一种用于微纳卫星的视频稳像方法。
技术介绍
微纳卫星(NanoSat)是指质量小于10千克、具有实际使用功能的卫星，其在质量、体积、功耗等方面有着严格的要求。微纳卫星由于体积小、重量轻，在太空中拍摄视频时，易受恶劣环境的影响从而导致卫星本身的晃动，继而带动相机的不规则运动，导致最终拍摄的视频出现抖动。视频的抖动，不仅影响视频的主观质量，同时也限制了其后期信息的有效利用，甚至会直接影响人们对视频内容的分析判断。因此，面向微纳卫星开发性能优异的视频稳像方法有效地消除视频的抖动，是目前视频处理领域的一个重要的研究方向。专利“一种移动终端视频的电子稳像方法，公开号：CN104902142A”公开了一种用于移动终端视频的电子稳像方法，该方法旨在利用陀螺仪、加速度计、地磁传感器等姿态传感器测量视频的帧间运动矢量，从而对抖动的视频帧进行补偿稳像。由于该方法使用的传感器较多，因此，不适用于对质量、体积、功耗、成本等有着严格要求的微纳卫星。
技术实现思路
本专利技术的目的是提供一种用于微纳卫星的视频稳像方法，该方法使用的传感器较少，适用于对质量、体积、功耗、成本等有着严格要求的微纳卫星； 且提出算法稳像性能也较好，具有较为广泛的应用场景。为达到以上目的，本专利技术采用以下技术方案予以实现。一种用于微纳卫星的视频稳像方法，其特征在于：通过相机获取景物的视频信息，通过陀螺仪获取相机运动信息；然后将视频信息和相机运动信息进行融合处理得到相机运动轨迹，再通过平滑算法对相机运动轨迹进行平滑处理得到平滑相机运动轨迹，最后利用平滑相机运动轨迹对视频信息进行稳像处理得到稳像视频。上述技术方案的特点和进一步改进：进一步的，所述融合处理的具体步骤如下：(1)在视频信息中，通过SIFT特征点提取算法提取n个当前帧特征点，然后通过SIFT匹配算法寻找当前帧特征点在下一帧中的视频匹配点，得到n个视频匹配点an＝(x,y,z)T，其中x，y，z分别代表了特征点an的三维坐标；(2)用陀螺仪数据将当前帧特征点A匹配到下一帧对应位置，利用陀螺仪数据匹配时，给定td不同的值，则得出n个运动匹配点b1、b2……bn，其中bn＝(x',y',z')T，上式中x＇，y＇，z＇分别为特征点bn的三维坐标；(3)计算视频匹配点an与运动匹配点bn之间的距离平方和Sn，s(an,bn)表示对应的视频匹配点an与运动匹配点bn之间的距离，使得Sn值最小时的td值，即为校准值；(4)陀螺仪测量的是物体绕三轴旋转的角速度w＝(wx,wy,wz)，将其乘以时间Δt转换成其角度值r＝(rx,ry,rz)，旋转角度θ＝norm(r)，将角度值r归一化，得其转轴的单位向量k＝r/θ，陀螺仪测得的旋转向量用旋转矩阵的形式表示为R(θ)＝I+sinθSk+(1-cosθ)Sk2，式中，Sk是单位向量k的反对称矩阵，表示为k是一个矩阵，k1，k2，k3分别是他们的三个元素，k＝R/θ＝(rx/θ，ry/θ，rz/θ)＝(k1，k2，k3)，I为3×3的单位矩阵；将每一帧视频中的陀螺仪测得的每一组物体绕三轴旋转的角速度分别利用罗德里格旋转公式转换为其相应的旋转矩阵R(θ)，然后将每一帧的数个旋转矩阵R(θ)通过相乘融合，最后生成代表每一帧的旋转矩阵R，综合视频各帧的旋转矩阵R，形成随时间变换的视频帧序列的旋转矩阵序列R(t)，旋转矩阵序列为相机运动轨迹。进一步的，所述平滑处理的具体步骤如下：(1)在黎曼几何的流形基础上，直接平滑旋转矩阵序列R(t)，最短测地线的长度为dg(Ri,Rj)＝||logm(RiTRj)||F，其中，logm(·)是矩阵对数运算符，||·||F是矩阵的F范数，Ri、Rj分别表示旋转矩阵序列R(t)中的第i帧旋转矩阵和第j帧旋转矩阵；(2)按照黎曼流形架构，定义旋转矩阵序列R(t)的平滑度为相邻旋转矩阵R的测地距离的总和，描述上述要求的目标函数为其中，Ri'表示第i帧平滑后的平滑旋转矩阵，α为控制稳定轨迹平滑的权重因子，R′i+1表示第i+1帧平滑后的新的旋转矩阵；通过黎曼流形约束平滑算法迭代求使得目标函数最小的那个平滑旋转矩阵Ri'，即得到平滑后的平滑旋转矩阵序列R'(t)，R'(t)为平滑相机运动轨迹。进一步的，所述稳像处理的具体步骤如下：(1)首先将视频帧采样时间与陀螺仪采样时间校准，校准式为tb'＝tb+td，式中，tb为视频初始帧采样时间，tb'为与陀螺仪数据校准后的视频帧起始时间；(2)视频帧内旋转矩阵R”(t3)，其中t3代表第三帧，视频帧第i行对应的时间戳为ti＝tb'+ts×(i/h)，式中，ts表示一帧中从上到下逐行扫描曝光的时间，h表示视频帧总行数；通过对比校准之后的视频帧每一行的时间戳与陀螺仪数据时间戳，确定用于生成每一行像素坐标旋转矩阵所对应的陀螺仪数据组；设f(1)+td为校准后的第一帧视频时间戳、f(2)+td为校准后的第二帧视频时间戳、每一行视频时间戳分别标注为t0′、t1′、t2′……、g(n)表示第n组陀螺仪数据时间戳，确定视频帧每一行对应的idxa-idxb组陀螺仪数据，从而生成代表每一行运动的帧内旋转矩阵R”(t3)，将获取的帧内每一行的旋转矩阵与其所在帧的帧间旋转矩阵融合，获取各行的像素点位置的对应关系x2＝KR′(t2)R′(t1)R″(t3)K-1x1，式中，x1为未稳像视频的像素x坐标，x2为稳像视频像素x坐标，R′(t1)表示t1时平滑后的新旋转矩阵，R′(t2)表示t2时平滑后的新旋转矩阵；(3)设视频帧图像宽w＇、高h，将视频帧图像各像素点坐标二维网格化表示，以图像左下角像素点为坐标原点，则图像像素点的网格化坐标的横坐标值X，纵坐标值Y分别为：其中，X和Y都是h行w＇列，通过下式对视频图像帧进行逐行的坐标转换，使网格化图像像素坐标[Xi,Yi]T转换得到旋转变换后的坐标位置式中，f(·)函数的作用是将齐次坐标转为非齐次坐标表示；(4)将网格化图像像素坐标[Xi,Yi]T反转换回原始相机拍摄的原视频帧像素点坐标处，根据未处理前的原始视频帧的像素坐标与像素值之间的对应关系，插值求出稳定后的视频帧的像素坐标对应未处理前的原始视频帧的像素值得到视频帧序列。进一步的，插值之后的新的视频帧序列，经过裁边消除黑边效应后，利用video writer函数存入一个新的视频对象中，形成最终的稳像视频。本专利技术的用于微纳卫星的视频稳像方法，该方法在利用搭建好的微纳卫 星平台上，仅使用一种姿态传感器陀螺仪，利用其获取的物理信息，结合微小相机拍摄的视频信息，对抖动的视频进行处理，实现稳像；仅使用陀螺仪进行视频稳像，更符合微纳卫星在质量、体积、成本、功耗等方面的严格要求。附图说明图1为本专利技术的一种用于微纳卫星的视频稳像方法的流程示意图；图2为本专利技术中的校准陀螺仪和相机时间延迟算法示意图；图3为本专利技术中的SIFT匹配相邻帧特征点效果图；图4为本专利技术中的陀螺仪采样率和视频帧率之间的关系图；图5为本专利技术中的视频帧的二维网格化图像示意图；图6为本专利技术中的稳定后视频帧与原始视频帧对比示意图。具体实施方式下面结合附图和具体实施方式对本专利技术进行详细说明。参照图1，为本专利技术的一种用于微纳卫星的视频稳像方本文档来自技高网...

【技术保护点】
一种用于微纳卫星的视频稳像方法，其特征在于：通过相机获取景物的视频信息，通过陀螺仪获取相机运动信息；然后将视频信息和相机运动信息进行融合处理得到相机运动轨迹，再通过平滑算法对相机运动轨迹进行平滑处理得到平滑相机运动轨迹，最后利用平滑相机运动轨迹对视频信息进行稳像处理得到稳像视频。

【技术特征摘要】
1.一种用于微纳卫星的视频稳像方法，其特征在于：通过相机获取景物的视频信息，通过陀螺仪获取相机运动信息；然后将视频信息和相机运动信息进行融合处理得到相机运动轨迹，再通过平滑算法对相机运动轨迹进行平滑处理得到平滑相机运动轨迹，最后利用平滑相机运动轨迹对视频信息进行稳像处理得到稳像视频。2.如权利要求1所述的一种用于微纳卫星的视频稳像方法，其特征在于，所述融合处理的具体步骤如下：(1)在视频信息中，通过SIFT特征点提取算法提取n个当前帧特征点，然后通过SIFT匹配算法寻找当前帧特征点在下一帧中的视频匹配点，得到n个视频匹配点an＝(x,y,z)T,其中x，y，z分别代表了特征点an的三维坐标；(2)用陀螺仪数据将当前帧特征点A匹配到下一帧对应位置，利用陀螺仪数据匹配时，给定td不同的值，则得出n个运动匹配点b1、b2……bn，其中bn＝(x',y',z')T，上式中x＇，y＇，z＇分别为特征点bn的三维坐标；(3)计算视频匹配点an与运动匹配点bn之间的距离平方和Sn， S n = Σ n s ( a n , b n ) 2 , ]]>s(an,bn)表示对应的视频匹配点an与运动匹配点bn之间的距离，使得Sn值最小时的td值，即为校准值；(4)陀螺仪测量的是物体绕三轴旋转的角速度w＝(wx,wy,wz)，将其乘以时间转换成其角度值r＝(rx,ry,rz)，旋转角度θ＝norm(r)，将角度值r归一化，得其转轴的单位向量k＝r/θ，陀螺仪测得的旋转向量用旋转矩阵的形式表示为R(θ)＝I+sinθSk+(1-cosθ)Sk2，式中，Sk是单位向量k的反对称矩阵，表示为 S k = 0 - k 3 ...

【专利技术属性】
技术研发人员：梅少辉，万帅，袁建平，侯建文，罗建军，袁欣，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：陕西;61