基于视频的畸变校正方法、装置、拍照设备以及存储介质制造方法及图纸

本申请公开了一种基于视频的畸变校正方法、装置、拍照设备以及存储介质。通过获取广角摄像头实时取景拍摄到的预览视频中的第一视频帧；根据第一视频帧中人脸区域的位置和非人脸区域的位置，在第一视频帧中构建校正网格，然后基于畸变校正函数对校正网格进行第一位置变换处理得到候选网格，最后基于第一视频帧的前一视频帧的差值网格对候选网格进行第二位置变换处理得到第一视频帧的插值网格，第一视频帧的插值网格用于对第一视频帧的像素点进行插值处理，以实现对第一视频帧的校正。该方法可以对预览视频进行校正。方法可以对预览视频进行校正。方法可以对预览视频进行校正。

【技术实现步骤摘要】
基于视频的畸变校正方法、装置、拍照设备以及存储介质


[0001]本申请涉及图像处理
，特别是涉及一种基于视频的畸变校正方法、装置、拍照设备以及存储介质。

技术介绍

[0002]手机的拍照功能越来越强大，给人们的生活带来了极大便利。在实际应用中，在拍照时，用户先将摄像头对准待拍摄对象，以便于从显示屏上观察到包含有待拍摄对象的连续变动的视频图像。该过程为预览过程。然后，用户点击拍摄按钮，手机可以获取拍摄到的目标图像。当采用广角镜头时，手机拍摄到的目标图像中的图像内容会发生畸变，现有技术会对目标图像进行畸变校正，使得用户最终得到校正后的目标图像，以提高目标图像的图像质量。
[0003]然而，上述现有技术仅对拍摄得到的目标图像进行校正，而不对预览时的视频图像进行校正，这样就会导致用户预览时观察到的图像与用户最终得到校正后的目标图像不一致。

技术实现思路

[0004]基于此，本申请实施例提供了一种基于视频的畸变校正方法、装置、拍照设备以及存储介质，可以在用户预览时对预览视频进行校正，以保证用户预览的图像与拍摄获取的图像趋于一致。
[0005]第一方面，提供了一种基于视频的畸变校正方法，该方法包括：
[0006]获取广角摄像头实时取景拍摄到的预览视频中的第一视频帧；
[0007]根据第一视频帧中人脸区域的位置和非人脸区域的位置，在第一视频帧中构建校正网格，并基于畸变校正函数对校正网格中的各网格点进行第一位置变换处理，得到候选网格；
[0008]基于第二视频帧对应的插值网格对候选网格中各网格点进行第二位置变换处理，得到第一视频帧对应的插值网格，其中，第二视频帧为预览视频中第一视频帧的前一视频帧；
[0009]根据第一视频帧对应的插值网格，对第一视频帧中各像素点的像素值进行插值处理，得到经过人脸畸变校正处理的第一视频帧。
[0010]第二方面，提供了一种基于视频的畸变校正装置，该装置包括：
[0011]获取模块，用于获取广角摄像头实时取景拍摄到的预览视频中的第一视频帧；
[0012]第一位置变换处理模块，用于根据第一视频帧中人脸区域的位置和非人脸区域的位置，在第一视频帧中构建校正网格，并基于畸变校正函数对校正网格中的各网格点进行第一位置变换处理，得到候选网格；
[0013]第二位置变换处理模块，用于基于第二视频帧对应的插值网格对候选网格中各网格点进行第二位置变换处理，得到第一视频帧对应的插值网格，其中，第二视频帧为预览视
频中第一视频帧的前一视频帧；
[0014]插值模块，用于根据第一视频帧对应的插值网格，对第一视频帧中各像素点的像素值进行插值处理，得到经过人脸畸变校正处理的第一视频帧。
[0015]第三方面，提供了一种拍照设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述第一方面中任一项所述的方法。
[0016]第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述第一方面中任一所述的方法。
[0017]本申请实施例提供的技术方案带来的有益效果至少包括：
[0018]通过获取广角摄像头实时取景拍摄到的预览视频中的第一视频帧；根据第一视频帧中人脸区域的位置和非人脸区域的位置，在第一视频帧中构建校正网格，然后基于畸变校正函数对校正网格进行第一位置变换处理得到候选网格，最后基于第一视频帧的前一视频帧的差值网格对候选网格进行第二位置变换处理得到第一视频帧的插值网格，第一视频帧的插值网格用于对第一视频帧的像素点进行插值处理，以实现对第一视频帧的校正。该方法中，通过第一位置变换处理和第二位置变换处理，可以实现对第一视频帧的人脸区域的畸变进行校正的目的，避免因人脸变形影响视觉效果。且通过第二位置变换处理，还可以避免相邻两个视频帧发生跳变，提高预览视频的流畅性。
附图说明
[0019]图1为本申请实施例提供的一种基于视频的畸变校正方法的流程图；
[0020]图2为本申请实施例提供的一种人像轮廓的示意图；
[0021]图3为本申请实施例提供的一种透视投影网格的示意图；
[0022]图4为本申请实施例提供的一种立体投影网格的示意图；
[0023]图5为本申请实施例提供的一种校正网格的示意图；
[0024]图6为本申请实施例提供的一种确定第一视频帧中人脸区域和非人脸区域的位置的方法的示意图；
[0025]图7为本申请实施例提供的一种多人重叠视频帧与语义分割结果对比示意图；
[0026]图8为本申请实施例提供的一种对候选人脸区域进行扩大的方法的示意图；
[0027]图9为本申请实施例提供的一种根据人脸姿态信息确定候选人脸区域的扩大方向的示意图；
[0028]图10为本申请实施例提供的另一种基于视频的畸变校正方法的流程图；
[0029]图11为本申请实施例提供的一种基于视频的畸变校正装置的示意图；
[0030]图12为本申请实施例涉及到的一种拍照设备的框图。
具体实施方式
[0031]为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
[0032]目前，手机中集成了越来越多的功能，例如拍照、上网等功能。在使用手机进行拍照时，手机的取景范围受到手机内的摄像头的视场的限制。为了扩大手机的取景范围，一般
采用广角镜头来进行拍照。
[0033]在实际应用中，用户的拍照过程可以分为两部分，一部分是拍照前的预览过程，另一部分是拍照部分，其中，拍照前的预览部分是指，用户启动手机摄像头之后，摄像头自动获取前景图像，并将前景图像展示在手机的显示屏中。用户通过显示屏中显示的图像确定拍照时机，然后点击拍照按钮，从而进行拍照。其中，自然事物瞬息万变，因此确定恰当的拍照时机对于用户获取到的图像的好坏至关重要。而用户确定拍照时机的主要影响因素是手机的显示屏中显示的图像的质量。
[0034]由于广角镜头自身的特性造成广角镜头拍摄的图像会发生畸变，也就是说，用户在预览过程中从显示屏中看到的图像是畸变的图像，畸变的图像会对用户造成干扰，导致用户对拍照时机判断失误。这样可能使得用户多次拍照都不能获取到满意的图像。
[0035]于此同时，现有技术中，当用户点击拍照按钮之后，手机内自带的校正软件可以对已经获取的图像进行校正。也就是说，用户拍照后得到的图像是校正后的图像，而用户在拍照过程中预览的图像是未经过校正的，这样就会导致用户预览时观察到的图像与用户最终得到校正后的目标图像不一致。
[0036]考虑到在预览过程中，手机的显示屏中显示的其实是连续变化的预览视频，而对预览视频进行校正时，其实时性的要求较高。为了兼顾校正质量和实时性的要求，本申请实施例提供了一种基于视频的畸变校正方法，该方法获取广角摄像头实时取景拍摄到的预览视频中的第一视频帧，然后对第一视频帧进行校正。从而实现对预览视频本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视频的畸变校正方法，其特征在于，所述方法包括：获取广角摄像头实时取景拍摄到的预览视频中的第一视频帧；根据所述第一视频帧中人脸区域的位置和非人脸区域的位置，在所述第一视频帧中构建校正网格，并基于畸变校正函数对所述校正网格中的各网格点进行第一位置变换处理，得到候选网格；基于第二视频帧对应的插值网格对所述候选网格中各网格点进行第二位置变换处理，得到所述第一视频帧对应的插值网格，其中，所述第二视频帧为所述预览视频中所述第一视频帧的前一视频帧；根据所述第一视频帧对应的插值网格，对所述第一视频帧中各像素点的像素值进行插值处理，得到经过人脸畸变校正处理的第一视频帧。2.根据权利要求1所述的方法，其特征在于，所述校正网格包括透视投影网格和立体投影网格，所述根据所述第一视频帧中人脸区域的位置和非人脸区域的位置，在所述第一视频帧中构建校正网格，包括：在所述第一视频帧中的人脸区域的位置处构建所述立体投影网格；在所述第一视频帧中的非人脸区域的位置处构建所述透视投影网格。3.根据权利要求1或2所述的方法，其特征在于，所述根据所述第一视频帧中人脸区域的位置和非人脸区域的位置，在所述第一视频帧中构建校正网格之前，所述方法还包括：对所述第一视频帧进行人体语义分割，得到人体轮廓信息；对所述第一视频帧进行人脸检测，得到候选人脸区域；根据所述候选人脸区域和所述人体轮廓信息对所述候选人脸区域的尺寸进行扩大处理，得到所述第一视频帧中的人脸区域的位置；根据所述第一视频帧中的人脸区域的位置确定所述第一视频帧中的所述非人脸区域的位置。4.根据权利要求3所述的方法，其特征在于，所述根据所述候选人脸区域和所述人体轮廓信息对所述候选人脸区域的尺寸进行扩大处理，包括：获取所述第一视频帧中人脸的姿态信息，所述人脸姿态信息包括人脸俯仰角和人脸偏转方向；根据所述人脸姿态信息确定所述候选人脸区域的扩大方向；根据所述候选人脸区域的扩大方向、所述候选人脸区域和所述人体轮廓信息对所述候选人脸区域的尺寸进行扩大处理。5.根据权利要求1所述的方法，其特征在于，所述基于畸变校正函数对所述校正网格中的各网格点进行第一位置变换处理，得到候选网格之前，所述方法还包括：根据人脸约束条件、直线角度保持约束条件和网格间隔约束条件构建所述畸变校正函数，其中，所述人脸约束条件用于约束所述候选网格和所述校正网格在所述人脸区域的位置偏移量；所述直线角度保持约束条件用于约束所述候选网格和所述校正网格在所述非人脸区域的位置偏移量；所述网格间隔约束条件用于约束所述候选网格和所述校正网格的网格尺寸偏移量。6.根据权利要求1所述的方法，其特征在于，所述畸变...

【专利技术属性】
技术研发人员：蔡星，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：