一种视频生成方法、装置及相关设备制造方法及图纸

本发明专利技术实施例公开了一种视频生成方法、装置及相关设备，具体可以应用于摄像机、智能手机等，以提高视频质量，其中的方法包括：获取第一摄像头在第一时间段内采集的第一视频数据，所述第一视频数据包括多帧第一视频帧；获取第二摄像头在所述第一时间段内采集的图像数据，所述图像数据包括一张或多张图像；调整所述多帧第一视频帧中的每一帧第一视频帧的分辨率，获得第二视频数据；基于所述图像数据，对所述多帧第二视频帧中的一帧或多帧第二视频帧进行图像融合，获得第三视频数据。本申请可以应用于智能视频处理等多个技术领域，可以更智能、更准确地改善录像视频的分辨率。更准确地改善录像视频的分辨率。更准确地改善录像视频的分辨率。

【技术实现步骤摘要】
一种视频生成方法、装置及相关设备


[0001]本专利技术涉及视频处理
，尤其涉及一种视频生成方法、装置及相关设备。

技术介绍

[0002]随着5G技术的迅速发展以及全场景物联网(Internet of Things，IOT)大屏时代的来临。人们对于视频画面清晰度的要求越来越高，往往不再满足于常见的720P或者1080P的清晰度，而是追求4K高清，甚至是8K超高清的视频画面。
[0003]然而，现有技术中，受传感器(Sensor)和图像信号处理器(Image Signal Processor，ISP)的总线传输能力、数据处理能力等约束，往往难以同时实现高帧率和高分辨率录像，也即生成的录像视频往往无法同时满足高流畅度和高清晰度。目前市面上手机自带的录像功能一般可以支持30fps(每秒30帧的视频帧率)和4K画质的录像，或者是240fps(每秒240帧的视频帧率)和720P画质的录像。显然，想要提高录像的帧率，则势必要降低录像的分辨率，反之，想要提高录像的分辨率，则势必要降低录像的帧率。如此，无法同时满足用户对高帧率和高分辨率录像的需求。

技术实现思路

[0004]本专利技术实施例提供一种视频生成方法、装置及相关设备，以更智能、更准确、高效地对采集到的原始视频数据进行处理，提高视频质量，满足用户实际需求。
[0005]第一方面，本专利技术实施例提供了一种视频生成方法，可包括：获取第一摄像头在第一时间段内采集的第一视频数据，所述第一视频数据包括多帧第一视频帧，所述多帧第一视频帧中的每一帧第一视频帧的分辨率为第一分辨率；获取第二摄像头在所述第一时间段内采集的图像数据，所述图像数据包括一张或多张图像，所述一张或多张图像中的每一张图像的分辨率为第二分辨率；调整所述多帧第一视频帧中的每一帧第一视频帧的分辨率，获得第二视频数据，所述第二视频数据包括多帧第二视频帧，所述多帧第二视频帧中的每一帧第二视频帧的分辨率为所述第二分辨率；基于所述图像数据，对所述多帧第二视频帧中的一帧或多帧第二视频帧进行图像融合，获得第三视频数据，所述第三视频数据包括多帧第三视频帧。
[0006]本专利技术实施例，可以通过两个摄像头在相同时间段和相同拍摄视野内分别采集第一视频数据(例如包括多帧第一视频帧)和图像数据(例如包括一张或多张图像)，然后，可以根据图像数据中多张图像的分辨率，调整第一视频数据中的多帧视频帧的分辨率，得到第二视频数据(例如包括多帧第二视频帧)，该第二视频数据中的多帧第二视频帧的分辨率与该多张图像的分辨率一致；最终，基于该多张图像，对该多帧第二视频帧中的一帧或多帧第二视频帧进行图像融合，进一步提高视频质量，得到第三视频数据(例如包括多帧第三视频帧)。本专利技术实施例可以用于日常各类视频录像的场景中，通过对摄像机或者手机同步采集到的原始视频数据和图像数据进行处理，从而获得高分辨率、高帧率的视频数据，以提高摄像机或者手机等终端设备录像的视频质量，满足用户的实际需求。可选地，本申请中，图
像的分辨率可以大于第一视频帧的分辨率，也可以小于或者等于第一视频帧的分辨率，即根据采集到的第一视频数据和图像数据可以得到符合用户实际需求的高分辨率、高质量的视频数据或者低分辨率、轻量、占用内存小的视频数据。此外，在一些可能的实施方式中，本申请还可以通过三个摄像头或者更多的摄像头分别采集视频数据和图像数据，并基于图像数据对视频数据进行处理，提高视频质量。
[0007]在一种可能的实现方式中，所述第二分辨率大于所述第一分辨率；所述调整所述多帧第一视频帧中的每一帧第一视频帧的分辨率，获得第二视频数据，包括：基于预先训练得到的第一模型，对所述多帧第一视频帧中的每一帧第一视频帧进行超分辨率重建，获得所述第二视频数据。
[0008]本专利技术实施例中，可以通过第一摄像头采集的低清视频数据(例如包括多帧低清视频帧)和第二摄像头采集的高清图像数据(例如包括多张高清图像)，根据高清图像的分辨率(例如为第二分辨率)，基于预先训练的模型，将每帧低清视频帧通过超分辨率重建，获得与高清图像分辨率一致的高清视频帧(也即获得高清视频数据)。可以更加高效、准确地提高摄像机和手机等设备录像视频的视频画面清晰度，提高视频质量，满足用户需求。
[0009]在一种可能的实现方式中，所述方法还包括：获取训练样本，所述训练样本包括原始图像集和目标图像集；所述原始图像集包括N张原始图像，所述N张原始图像中的每一张原始图像的分辨率为所述第一分辨率，所述目标图像集包括N张目标图像，所述N张目标图像中的每一张目标图像的分辨率为所述第二分辨率，所述N张原始图像与所述N张目标图像一一对应，所述N为大于或等于1的整数；以所述N张原始图像以及所述N张目标图像作为训练输入，以所述N张原始图像各自对应的目标图像为N个标签，训练得到所述第一模型。
[0010]本专利技术实施例中，可以基于输入的训练样本(例如包括大量的低清图像和与之一一对应的高清图像)，通过不断地深度学习和训练，得到更加合理、符合实际需求的模型。通过该训练得到的模型可以更加智能、高效和准确地对每帧第一视频帧进行分辨率处理(例如为超分辨率重建)，提高每帧视频帧的分辨率，使得视频画面更加清晰，提高视频质量。
[0011]在一种可能的实现方式中，所述第一模型为卷积神经网络模型；所述基于预先训练得到的第一模型，对所述多帧第一视频帧中的每一帧第一视频帧进行超分辨率重建，获得所述第二视频数据，包括：基于所述卷积神经网络模型，对所述多帧第一视频帧中的每一帧第一视频帧进行超分辨率重建，得到与所述每一帧第一视频帧各自对应的第二视频帧，所述第二视频数据包括所述每一帧第一视频帧各自对应的第二视频帧。
[0012]本专利技术实施例中，可以基于训练得到的卷积神经网络模型对该每一帧第一视频帧进行超分辨率重建。例如通过一系列的卷积操作，得到该每一帧第一视频帧各自对应的第二视频帧，也即得到分辨率更高的视频帧，使得视频画面更加清晰，视频质量更高，提升用户观感。基于卷积神经网络的超分辨率重建步骤简单，效率更高。
[0013]在一种可能的实现方式中，在所述基于所述图像数据，对所述多帧第二视频帧中的一帧或多帧第二视频帧进行图像融合，获得第三视频数据之前，所述方法还包括：对所述多帧第二视频帧中的第i帧第二视频帧和所述一张或多张图像中的第j张图像分别进行动态区域检测，确定所述第i帧第二视频帧和所述第j张图像中的动态区域和静态区域，所述i为大于或等于1的整数，所述j为大于或等于1的整数。
[0014]本专利技术实施例中，由于第一摄像头和第二摄像头分别采集第一视频数据与图像数
据的帧率不同(例如第一摄像头以60fps的帧率采集第一视频数据，即每秒60帧第一视频帧，而第二摄像头以10fps的帧率采集图像数据，即每秒拍摄10张图像)，则每一帧第二视频帧并不一定对应有与其来自同一时刻的图像(例如第j张图像可以为在采集时刻上最接近第i帧第二视频帧的图像)，因此两者之间可能存在一致的区域，也可能存在由于拍摄时手抖或者拍摄视野内物体运动等等原因造成的不一致的区域。通过本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频生成方法，其特征在于，包括：获取第一摄像头在第一时间段内采集的第一视频数据，所述第一视频数据包括多帧第一视频帧，所述多帧第一视频帧中的每一帧第一视频帧的分辨率为第一分辨率；获取第二摄像头在所述第一时间段内采集的图像数据，所述图像数据包括一张或多张图像，所述一张或多张图像中的每一张图像的分辨率为第二分辨率；调整所述多帧第一视频帧中的每一帧第一视频帧的分辨率，获得第二视频数据，所述第二视频数据包括多帧第二视频帧，所述多帧第二视频帧中的每一帧第二视频帧的分辨率为所述第二分辨率；基于所述图像数据，对所述多帧第二视频帧中的一帧或多帧第二视频帧进行图像融合，获得第三视频数据，所述第三视频数据包括多帧第三视频帧。2.根据权利要求1所述的方法，其特征在于，所述第二分辨率大于所述第一分辨率；所述调整所述多帧第一视频帧中的每一帧第一视频帧的分辨率，获得第二视频数据，包括：基于预先训练得到的第一模型，对所述多帧第一视频帧中的每一帧第一视频帧进行超分辨率重建，获得所述第二视频数据。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：获取训练样本，所述训练样本包括原始图像集和目标图像集；所述原始图像集包括N张原始图像，所述N张原始图像中的每一张原始图像的分辨率为所述第一分辨率，所述目标图像集包括N张目标图像，所述N张目标图像中的每一张目标图像的分辨率为所述第二分辨率，所述N张原始图像与所述N张目标图像一一对应，所述N为大于或等于1的整数；以所述N张原始图像以及所述N张目标图像作为训练输入，以所述N张原始图像各自对应的目标图像为N个标签，训练得到所述第一模型。4.根据权利要求2或3所述的方法，其特征在于，所述第一模型为卷积神经网络模型；所述基于预先训练得到的第一模型，对所述多帧第一视频帧中的每一帧第一视频帧进行超分辨率重建，获得所述第二视频数据，包括：基于所述卷积神经网络模型，对所述多帧第一视频帧中的每一帧第一视频帧进行超分辨率重建，得到与所述每一帧第一视频帧各自对应的第二视频帧，所述第二视频数据包括所述每一帧第一视频帧各自对应的第二视频帧。5.根据权利要求1所述的方法，其特征在于，在所述基于所述图像数据，对所述多帧第二视频帧中的一帧或多帧第二视频帧进行图像融合，获得第三视频数据之前，包括：对所述多帧第二视频帧中的第i帧第二视频帧和所述一张或多张图像中的第j张图像分别进行动态区域检测，确定所述第i帧第二视频帧和所述第j张图像中的动态区域和静态区域，所述i为大于或等于1的整数，所述j为大于或等于1的整数。6.根据权利要求5所述的方法，其特征在于，在所述一张或多张图像各自对应的采集时刻中，所述第j张图像对应的采集时刻为与所述第i帧第二视频帧对应的采集时刻之间的时间差最小的采集时刻。7.根据权利要求5或6所述的方法，其特征在于，所述基于所述图像数据，对所述多帧第二视频帧中的一帧或多帧第二视频帧进行图像融合，获得第三视频数据，包括：若所述第j张图像中的静态区域的图像高频信息大于所述第i帧第二视频帧中的静态区域的图像高频信息，则将所述第i帧第二视频帧中的静态区域的图像高频信息用所述第j
张图像中的静态区域的图像高频信息进行替代，获得所述第三视频数据，所述第i帧第二视频帧对应的第三视频帧中的动态区域的信息为所述第i帧第二视频帧中的动态区域的信息。8.根据权利要求1-7任意一项所述的方法，其特征在于，所述多帧第一视频帧中的每一帧第一视频帧的长宽比与所述一张或多张图像中的每一张图像的长宽比一致。9.一种视频生成装置，其特征在于，包括：第一获取单元，用于获取第一摄像头在第一时间段内采集的第一视频数据，所述第一视频数据包括多帧第一视频帧，所述多帧第一视频帧中的每一帧第一视频帧的分辨率为第一分辨率；第二获取单元，用于获取第二摄像头在所述第一时间段内采集的图像数据，所述图像数据包括一张或多张图像，所述一张或多张图像中的每一张图像的分辨率为第二分辨率；调整单元，用于调整所述多帧第一视频帧中的每一帧第一视频帧的分辨率，获得第二视频数据，所述第二视频数据包括多帧第二视频帧，所述多帧第二视频帧中的每一帧第二视频帧的分辨率为所述第二分辨率；图像融合单元，用于基于所述图像数据，对所述多帧第二视频帧中的一帧或多帧第二视频帧进行图像融合，获得第三视频数据，所述第三视频数据包括多帧第三视频帧。10.根据权利要求9所述的装置，其特征在于，所述第二分辨率大于所述第一分辨率；所述调整单元，具体用于：基于预先训练得到的第一模型，对所述多帧第一视频帧中的每一帧第一视频帧进行超分辨率重建，获得所述第二视频数据。11.根据权利要求10所述的装置，其特征在于，所述装置还包括：第三获取单元，用于获取训练样本，所述训练样本包括原始图像集和目标图像集；所述原始图像集包括N张原始图像，所述N张原始图像中的每一张原始图像的分辨率为所述第一分辨率，所述目标图像集包括N张目标图像，所述N张目标图像中的每一张目标图像的分辨率为所述第二分辨率，所述N张原始图像与所述N张目标图像一一对应，所述N为大于或等于1的整数；训练单元，用于以所述N张原始图像以及所述N张目标图像作为训练输入，以所述N张原始图像各自对应的目标图像为N个标签，训练得到所述第一模型。12.根据权利要求10或11所述的装置，其特征在于，所述第一模型为卷积神经网络模型；所述调整单元，还具体用于：基于所述卷积神经网络模型，对所述多帧第一视频帧中的每一帧第一视频帧进行超分辨率重建，得到与所述每一帧第一视频帧各自对应的第二视频帧，所述第二视频数据包括所述每一帧第一视频帧各自对应的第二视频帧。13.根据权利要求9所述的装置，其特征在于，所述装置还包括：确定单元，用于对所述多帧第二视频帧中的第i帧第二视频帧和所述一张或多张图像中的第j张图像分别进行动态区域检测，确定所述第i帧第二视频帧和所述第j张图像中的动态区域和静态区域，所述i为大于或等于1的整数，所述j为大...

【专利技术属性】
技术研发人员：朱聪超，罗巍，王强，邓斌，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：