一种视频处理的方法、装置、电子设备及存储介质制造方法及图纸

本公开提供了一种视频处理的方法、装置、电子设备及存储介质，其中，该方法包括：获取智能设备采集的目标真实场景下的视频画面；通过对视频画面进行肢体识别，确定位于视频画面中的用户肢体的位置信息；基于用户肢体的位置信息，调整采集到的视频画面。本公开随着用户肢体的动态变化，本公开的视频画面可以随之发生变化，使得用户即使在目标真实场景下也可以体验到不同的视频画面，虚实结合，提升用户沉浸感，体验更佳。体验更佳。体验更佳。

【技术实现步骤摘要】
一种视频处理的方法、装置、电子设备及存储介质


[0001]本公开涉及计算机视觉
，具体而言，涉及一种视频处理的方法、装置、电子设备及存储介质。

技术介绍

[0002]随着智能设备的快速发展和全面普及，传统的生活模式也发生了全新的改变。例如智能电视的应用使得人们在家庭中就可以通过智能电视实现类似于KTV场景的唱歌体验。
[0003]目前，歌词的背景通常是通过智能电视的显示屏以音乐短片(Music Video，MV)形式呈现，但对于用户而言，上述呈现方式难以使用户亲身感受歌曲所营造的氛围，用户体验不佳。

技术实现思路

[0004]本公开实施例至少提供一种视频处理的方法、装置、电子设备及存储介质。
[0005]第一方面，本公开实施例提供了一种视频处理的方法，所述方法包括：
[0006]获取智能设备采集的目标真实场景下的视频画面；
[0007]通过对所述视频画面进行肢体识别，确定位于所述视频画面中的用户肢体的位置信息；
[0008]基于所述用户肢体的位置信息，调整采集到所述视频画面。
[0009]采用上述视频处理的方法，在获取到智能设备采集的视频画面的情况下，可以通过肢体识别，确定视频画面中用户肢体的位置信息，也即，用户肢体在视频画面中可以是动态变化的，随着用户肢体的动态变化，本公开的视频画面可以随之发生变化，使得用户即使在目标真实场景下也可以体验到不同的视频画面，虚实结合，提升用户沉浸感，体验更佳。
[0010]在一种可能的实施方式中，所述基于所述用户肢体的位置信息，调整采集到的所述视频画面，包括：
[0011]基于所述用户肢体的位置信息，对所述视频画面进行背景分割，确定所述视频画面中的背景区域的位置信息；
[0012]基于所述背景区域的位置信息，调整所述视频画面中的背景区域的背景特效。
[0013]这里，通过背景分离可以确定视频画面中背景区域的位置信息，利用这一位置信息所指示的实施位置可以动态调整视频画面中的背景区域的背景特效，也即，随着用户肢体的运动，背景区域也在发生动态变化，发生动态变化的背景区域的背景特效也随之发生变化，用户体验更佳。
[0014]在一种可能的实施方式中，所述基于所述背景区域的位置信息，调整所述视频画面中的背景区域的背景特效，包括：
[0015]基于所述用户肢体的位置信息，确定用户在所述视频画面中的肢体动作信息；
[0016]基于所述肢体动作信息和所述背景区域的位置信息，将所述视频画面中的背景区
域的背景特效调整为与所述肢体动作信息对应的背景特效。
[0017]这里，可以结合用户的肢体动作信息来控制背景特效的调整，并能够将调整的背景特效展示在背景区域的实时位置上，进一步提升了用户的交互体验。
[0018]在一种可能的实施方式中，所述基于所述背景区域的位置信息，调整所述视频画面中的背景区域的背景特效，包括：
[0019]基于所述用户肢体的位置信息，确定所述视频画面中的用户图像尺寸；
[0020]基于所述用户图像尺寸和所述背景区域的位置信息，将所述视频画面中的背景区域的背景特效调整为与所述用户图像尺寸匹配规格的背景特效。
[0021]考虑到用户与智能设备的空间距离直接影响了用户在视频画面中的图像尺寸，若针对不同的图像尺寸不进行背景特效的调整将可能会导致所展示内容比较突兀，因而，本公开提供了一种结合用户图像尺寸来调整背景特效的方案，这将使得用户的观看舒适度得以提升。
[0022]在一种可能的实施方式中，所述目标真实场景为舞台表演场景，所述基于所述用户图像尺寸和所述背景区域的位置信息，将所述视频画面中的背景区域的背景特效调整为与所述用户图像尺寸匹配规格的背景特效，包括：
[0023]基于所述用户图像尺寸，确定虚拟舞台调整后的属性信息；所述属性信息包括舞台大小和舞台类型中的至少一项；
[0024]基于所述虚拟舞台调整后的属性信息和所述背景区域的位置信息，调整所述视频画面中的背景区域的背景特效。
[0025]这里，可以通过虚拟舞台调整后的属性信息对背景特效进行调整，提升舞台体验。
[0026]在一种可能的实施方式中，所述属性信息包括舞台大小；所述基于所述用户图像尺寸，确定虚拟舞台调整后的属性信息，包括：
[0027]获取虚拟舞台的初始尺寸信息；
[0028]基于所述虚拟舞台的初始尺寸信息与所述用户图像尺寸之间的比值信息，确定针对所述虚拟舞台的尺寸调整量，并基于所述尺寸调整量对所述虚拟舞台进行调整，得到调整后的舞台大小。
[0029]在一种可能的实施方式中，所述目标真实场景为舞台表演场景，所述基于所述背景区域的位置信息，调整所述视频画面中的背景区域的背景特效，包括：
[0030]基于所述背景区域的位置信息，调整舞台表演的提示词在所述背景区域中的显示位置。
[0031]在一种可能的实施方式中，所述基于所述背景区域的位置信息，调整舞台表演的提示词在所述背景区域中的显示位置，包括：
[0032]获取舞台表演的提示词在所述背景区域中的初始位置信息；
[0033]在所述初始位置信息与所述用户肢体的位置信息之间的距离小于预设阈值的情况下，确定针对所述提示词的位置调整量；
[0034]基于所述位置调整量对所述提示词进行调整，得到调整后的显示位置，以使显示后的所述提示词与所述用户肢体之间的距离大于或等于预设阈值。
[0035]这里，通过舞台表演的提示词的调整，避免用户肢体与提示词之间存在重叠等问题的出现，提升用户的体验。
[0036]在一种可能的实施方式中，所述基于所述背景区域的位置信息，调整所述视频画面中的背景区域的背景特效，包括：
[0037]基于所述背景区域的位置信息，确定所述背景区域实时所包含的像素点；
[0038]基于所述背景区域实时所包含的像素点以及预设展示画面所包含的像素点之间的对应关系，从所述预设展示画面中查找与所述背景区域实时对应的目标像素点；
[0039]利用所述目标像素点的像素值对所述背景区域所包含像素点的像素值进行替换，得到替换后的背景区域。
[0040]在一种可能的实施方式中，所述通过对所述视频画面进行肢体识别，确定位于所述视频画面中的用户肢体的位置信息，包括：
[0041]获取预先训练好的肢体识别网络；
[0042]利用所述肢体识别网络对所述视频画面包括的各帧图像进行肢体识别，确定所述位于所述视频画面中各帧图像的用户肢体的位置信息。
[0043]这里，可以利用训练好的肢体识别网络进行肢体识别，提升肢体识别的准确率和效率。
[0044]在一种可能的实施方式中，按照下步骤训练所述肢体识别网络：
[0045]获取各个图像样本以及针对每个所述图像样本预先标注得到的肢体标注信息；
[0046]将每个所述图像样本输入到待训练的肢体识别网络中，得到输出结果，并将所述输出结果与该图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频处理的方法，其特征在于，所述方法包括：获取智能设备采集的目标真实场景下的视频画面；通过对所述视频画面进行肢体识别，确定位于所述视频画面中的用户肢体的位置信息；基于所述用户肢体的位置信息，调整采集到的所述视频画面。2.根据权利要求1所述的方法，其特征在于，所述基于所述用户肢体的位置信息，调整采集到的所述视频画面，包括：基于所述用户肢体的位置信息，对所述视频画面进行背景分割，确定所述视频画面中的背景区域的位置信息；基于所述背景区域的位置信息，调整所述视频画面中的背景区域的背景特效。3.根据权利要求2所述的方法，其特征在于，所述基于所述背景区域的位置信息，调整所述视频画面中的背景区域的背景特效，包括：基于所述用户肢体的位置信息，确定用户在所述视频画面中的肢体动作信息；基于所述肢体动作信息和所述背景区域的位置信息，将所述视频画面中的背景区域的背景特效调整为与所述肢体动作信息对应的背景特效。4.根据权利要求2所述的方法，其特征在于，所述基于所述背景区域的位置信息，调整所述视频画面中的背景区域的背景特效，包括：基于所述用户肢体的位置信息，确定所述视频画面中的用户图像尺寸；基于所述用户图像尺寸和所述背景区域的位置信息，将所述视频画面中的背景区域的背景特效调整为与所述用户图像尺寸匹配规格的背景特效。5.根据权利要求4所述的方法，其特征在于，所述目标真实场景为舞台表演场景，所述基于所述用户图像尺寸和所述背景区域的位置信息，将所述视频画面中的背景区域的背景特效调整为与所述用户图像尺寸匹配规格的背景特效，包括：基于所述用户图像尺寸，确定虚拟舞台调整后的属性信息；所述属性信息包括舞台大小和舞台类型中的至少一项；基于所述虚拟舞台调整后的属性信息和所述背景区域的位置信息，调整所述视频画面中的背景区域的背景特效。6.根据权利要求5所述的方法，其特征在于，所述属性信息包括舞台大小；所述基于所述用户图像尺寸，确定虚拟舞台调整后的属性信息，包括：获取虚拟舞台的初始尺寸信息；基于所述虚拟舞台的初始尺寸信息与所述用户图像尺寸之间的比值信息，确定针对所述虚拟舞台的尺寸调整量，并基于所述尺寸调整量对所述虚拟舞台进行调整，得到调整后的舞台大小。7.根据权利要求2至6任一所述的方法，其特征在于，所述目标真实场景为舞台表演场景，所述基于所述背景区域的位置信息，调整所述视频画面中的背景区域的背景特效，包括：基于所述背景区域的位置信息，调整舞台表演的提示词在所述背景区域中的显示位置。8.根据权利要求7所述的方法，其特征在于，所述基于所述背景区...

【专利技术属性】
技术研发人员：孔祥晖，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：