【技术实现步骤摘要】
本专利技术属于图像处理，具体涉及音乐舞台表演视频的智能卡通化方法。
技术介绍
1、当前，卡通风格化是其中一个重要的发展方向，一种新型的表现形式，在教育、漫画设计、游戏场景开发等领域都有广泛应用，丰富着我们的生产生活和我们的创造力，为人们所喜爱。传统卡通制作需要设计师或绘画师进行设计、着色、绘制边缘，耗时长而且必须花费大量精力。在这个信息迅速增长的新时代，前述方法已经满足不了成千上万的卡通制作需求。通过计算机图形学技术来辅助生成卡通场景图片极大程度满足了这个需求，提高了卡通化的效率。传统的基于计算机的卡通生成方法主要通过滤波器抽象平滑图像和采用检测算子来提取线条。将抽象平滑的图片内容和检测到的边缘线条融合即可得最终卡通化结果。但基于手工调制的滤波器和边缘检测参数，并不能深入理解图片关键内容，需要根据视觉结果不断调节，也不能实现不同风格的转换。
2、近几年，随着计算机软硬件的进步，深度学习技术不断改革创新，取得了巨大发展，推动了机器视觉等方向的飞速提升，同时应用于我们日常的生产生活中。基于深度神经网络的风格融合方法被提出以解决传统自动化卡通技术的弊端。可以实现不同卡通场景的转换。但是这类方法对融合的图片要求较高。融合结果也并不能完整保留关键内容信息，也没有突出边缘的清晰锐利，卡通化效果差。现有卡通化方法已经应用于许多领域，但在音乐教育领域的应用稀缺，此外，现有的卡通画方法，不能同时对于人物、道具和背景卡通化，并且未对卡通化后的人物、道具和背景和谐处理，使得其形成一个统一的卡通动画。
3、因此，有必要提出音乐舞
4、本
技术介绍
所公开的上述信息仅仅用于增加对本专利技术
技术介绍
的理解，因此，其可能包括不构成本领域普通技术人员已知的现有技术。
技术实现思路
1、本专利技术的目的在于提供音乐舞台表演视频的智能卡通化方法，以解决上述
技术介绍
中提出的问题。
2、为实现上述目的，本专利技术提供如下技术方案：
3、音乐舞台表演视频的智能卡通化方法，包括：
4、步骤一、将音乐舞台视频转化为数字格式以便进行后续处理，之后将表演者和舞台环境分离开来以便进行独立处理；
5、步骤二、通过卡通化网络模型分别将表演者和舞台环境转化为卡通样式的效果，并带有抽象的轮廓内容和清晰的结构线图；
6、步骤三、依据表演者和舞台环境的运行和变化，为卡通样式的角色赋予自然的动作和表情，并将音频与动画同步以确保动画与音乐的一致性；
7、步骤四、设计合适的颜色和形状，对动画细节进行处理，测试动画效果并进行必要的调整，以确保动画的真实感和流畅性；
8、步骤五、将设计动画转化为视频格式输出，并确保视频质量的情况下保存到存储设备中，以确保视频的可播放性和可存储性。
9、优选的，所述在步骤一中，使用高质量的摄像设备拍摄表演视频，然后通过视频编辑软件将视频转换为数字格式，之后使用图像分割算法或手动分割，将表演者和舞台环境分别保存为独立的视频片段，在拍摄过程中，选择合适的拍摄角度和镜头运动方式，以突出表演者和舞台效果，同时考虑灯光和舞台布景等因素，确保表演画面的艺术效果。
10、优选的，所述在步骤二中，卡通化网络模块包括两个阶段：在第一阶段，将普通平面图像平滑算子转换成通过深层网络优化的能量损失，遵循双边滤波器构造损失函数，其中包含空间和范围内核，每个内核都测量相邻像素之间的空间和颜色相似度，以实现高质量的图像平滑。
11、在第一阶段，通过一个抽象网络平滑无关紧要的细节，并在使图像内容艺术抽象的同时实现与目标域相似的颜色分布，最终将现实世界的照片映射到抽象的卡通图像，同时保持原图的显著性结构。采用无监督学习，使用准备好的抽象卡通数据集进行生成式对抗训练，目的是将现实世界中的照片映射成那些没有线条的抽象卡通图像风格上。第一个阶段利用双边滤波损失和结构重建损失进行图像内容重构和抽象平滑，利用风格增强损失来迁移色彩风格。
12、(1)结构重建损失
13、用于保持基本结构特征，损失函数定义为：
14、loss＝∑(1+ρβ)||g(pi)-pi||2
15、其中，g(pi)表示抽象阶段的预测，pi表示输入照片，β表示二进制掩膜，掩膜中1表示结构边缘，否则为0，ρ表示显著边缘的权重，利用预训练的线追踪网络来提取语义结构边缘线条图。
16、(2)风格增强损失
17、抽象网络的判别器表示为d，目的是将生成的图像与边缘缺失的抽象卡通图像区分开。因此，抽象卡通图像a的风格特征将被引入到生成结果中。每次迭代，从真实照片p中随机选择一张并从抽象卡通图像集合a中随机选取5张边缘缺失卡通图像作为参考。判别器d的对抗损失定义为：
18、lsiy-d＝∑logd(ay)+log(1-d(g(pi)))
19、其中，ay＝{ay|y＝1,2,…,y}∈a，pi和g(pi)分别表示输入的真实照片和生成器g的输出；
20、生成器g的对抗损失定义为：
21、lsiy＝∑logd(g(pi))
22、(3)无监督双边滤波平滑损失
23、受双边滤波器启发，根据像素值和空间位置相似性来测量相邻像素，并以统一的方式将它们都考虑在内，使得相邻像素之间的输出色差最小化。其由两个内核组成，空间内核用于平滑像素的空间领域的大小，而像素范围内核由于色差而降低了相邻像素的权重。损失函数如下：
24、
25、其中，n指区域内的像素数量，ni(s)是s在h×h范围的相邻像素合集，f(s,k)定义为r(pis,pik)定义为σ表示高斯核标准差，t指通道数，x和y分别代表像素的空间坐标，和分别设为5和0.2。
26、优选的，所述在第二阶段，在有监督边缘线条描绘损失和不受监督的边缘增加损失的情况下，对卡通的结构边缘绘制线条图来模仿不同的卡通风格，在此过程中，通过跟踪卡通图像的线条来构造卡通线数据集，之后利用此数据集实现对线条图像的有监督学习。
27、①边缘线条描绘损失
28、每次迭代，随机选择一个抽象卡通图像ay∈ay，并从cgt中找到其对应的原始卡通图像来作为参考，边缘线条描述损失定义为：
29、leas＝∑||l(ay)-cgt||
30、其中，l(ay)表示以抽象卡通图像ay作为输入的预测结果，cgt表示对应的原始卡通图像；
31、②边缘线条增加损失
32、线条描述网络的判别器为dl，其目的是将生成的卡通图像与真实的卡通图像区分开，生成结果连同去除边缘的抽象卡通图像ay归类为假样本，而原始卡通图像cgt判别为真实样本，最终目的是引导生成器生成判别器无法区分的边缘增强图像，dl的边缘增强损失定义为：
33、leau-d＝∑logdl(cgt)+log(1-dl(l(g(pi))本文档来自技高网...
【技术保护点】
1.音乐舞台表演视频的智能卡通化方法，其特征在于，包括：
2.根据权利要求1所述的音乐舞台表演视频的智能卡通化方法，其特征在于：所述在步骤一中，使用高质量的摄像设备拍摄表演视频，然后通过视频编辑软件将视频转换为数字格式，之后使用图像分割算法或手动分割，将表演者和舞台环境分别保存为独立的视频片段。
3.根据权利要求2所述的音乐舞台表演视频的智能卡通化方法，其特征在于：所述在步骤二中，卡通化网络模块包括两个阶段：在第一阶段，将普通平面图像平滑算子转换成通过深层网络优化的能量损失，遵循双边滤波器构造损失函数，其中包含空间和范围内核，每个内核都测量相邻像素之间的空间和颜色相似度，以实现高质量的图像平滑。
4.根据权利要求3所述的音乐舞台表演视频的智能卡通化方法，其特征在于：所述在第二阶段，在有监督边缘线条描绘损失和不受监督的边缘增加损失的情况下，对卡通的结构边缘绘制线条图来模仿不同的卡通风格，在此过程中，通过跟踪卡通图像的线条来构造卡通线数据集，之后利用此数据集实现对线条图像的有监督学习。
5.根据权利要求4所述的音乐舞台表演视频的智能卡通
6.根据权利要求5所述的音乐舞台表演视频的智能卡通化方法，其特征在于：所述在步骤四中，应用卡通化的色彩和纹理，通过场景切换、过渡效果来提升动画的连贯性，之后使用视频播放器对动画效果进行测试，并根据观众的反应进行调整和优化。
7.根据权利要求6所述的音乐舞台表演视频的智能卡通化方法，其特征在于：所述在步骤五中，转换视频格式输出时，确保视频质量和分辨率足够高，以保证卡通化后的效果清晰可见，并且可以额外添加合适的音效，使得视频更加生动真实。
8.根据权利要求7所述的音乐舞台表演视频的智能卡通化方法，其特征在于：所述在对表演者的形象进行卡通化处理，需要控制卡通化的程度，不要过度处理，以免失去原始表演的特点，采用基于Monkey-Net网络实现卡通人脸的动画效果，即动作神情仿照表演视频中人脸的面部表情及动作。
...【技术特征摘要】
1.音乐舞台表演视频的智能卡通化方法，其特征在于，包括：
2.根据权利要求1所述的音乐舞台表演视频的智能卡通化方法，其特征在于：所述在步骤一中，使用高质量的摄像设备拍摄表演视频，然后通过视频编辑软件将视频转换为数字格式，之后使用图像分割算法或手动分割，将表演者和舞台环境分别保存为独立的视频片段。
3.根据权利要求2所述的音乐舞台表演视频的智能卡通化方法，其特征在于：所述在步骤二中，卡通化网络模块包括两个阶段：在第一阶段，将普通平面图像平滑算子转换成通过深层网络优化的能量损失，遵循双边滤波器构造损失函数，其中包含空间和范围内核，每个内核都测量相邻像素之间的空间和颜色相似度，以实现高质量的图像平滑。
4.根据权利要求3所述的音乐舞台表演视频的智能卡通化方法，其特征在于：所述在第二阶段，在有监督边缘线条描绘损失和不受监督的边缘增加损失的情况下，对卡通的结构边缘绘制线条图来模仿不同的卡通风格，在此过程中，通过跟踪卡通图像的线条来构造卡通线数据集，之后利用此数据集实现对线条图像的有监督学习。
5.根据权利要求4所述的音乐舞台表...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。