一种根据拍照场景生成推荐拍照姿势的方法及系统技术方案

本发明专利技术公开一种根据拍照场景生成推荐拍照姿势的方法及系统，涉及深度学习领域，通过端到端深度卷积神经网络寻找场景图片到姿势动作的直接映射，为用户推荐适合当前拍照场景的姿势，解决用户想不到合适的姿势、不会摆姿势的痛点。势的痛点。势的痛点。

A method and system for generating recommended photographing posture according to photographing scene

【技术实现步骤摘要】
一种根据拍照场景生成推荐拍照姿势的方法及系统


[0001]本专利技术涉及深度学习领域，特别涉及一种由拍照场景生成推荐拍照姿势的方法及系统。

技术介绍

[0002]目前，智能手机的拍照功能正在飞速发展，其摄像头像素、成像质量等越来越高。不少智能手机的拍照功能甚至可以媲美专业相机。同时，移动互联网和社交网络的蓬勃发展也促进了人们的拍照分享意愿。在这样的背景下，加上手机的便捷性，人们越来越多的使用智能手机进行拍照。不管是专业人士还是业余爱好者，数码摄影对很多人来说都很有趣。据估计，每年有超过10亿张照片被智能手机拍摄。社交网络上的人经常和朋友分享他们的照片。智能手机不断增强的计算能力以及通过网络连接到更强大的计算平台的能力，使它们成为业余摄影师的创作助手，主要的智能手机制造商也已经开始引进设备上的照片增强功能。
[0003]但是，拍摄令人满意的照片通常需要专业摄影师的专业知识和经验。和其他视觉艺术一样，由于缺乏类似符号或数学方程式的通用表示，使得传授摄影知识变得困难。许多人的拍照姿势单一而僵硬，不能做出适合当前场景又美观的姿势，在实际生活中也难以快速在互联网上找到适合当前场景的拍照姿势，从而造成像素虽高但作为人像照片质量并不是很令人满意的结果。尽管如此，许多人还是对专业质量的照片很感兴趣，他们希望能够为自己感兴趣的场景或事件创作出类似质量的照片。
[0004]目前，国内已有一些拍照姿势推荐的技术，例如专利《一种拍照时智能推荐拍照表情和拍照姿势的方法及其系统》(专利号：CN107911601A)通过识别表情信息、输入心情信息以及获取拍摄者与移动终端持有者的关系等信息进行拍照表情和拍照姿势的推荐；专利《图片的输出方法及装置》(专利号：CN103220466B)通过判断图片中的人脸数量、人脸位置等信息通过参数匹配推荐姿势库中的姿势图片；专利《拍摄模板推荐方法、装置及拍摄设备》(专利号：CN107018333A)通过人脸数量和人脸对应的身份信息进行姿势模板的推荐。专利《拍照方法及智能终端、云端服务器》(专利号：CN104284092A)通过对拍摄者周围的环境信息(位置信息和环境图片信息)进行分析，通过匹配找到与当前环境一致的已勾勒拍照姿势的图片资料，并将该图片资料推荐给用户作为推荐姿势，其姿势推荐本质上是一个图片匹配的过程，并不能根据具体环境生成推荐姿势。可见，现有技术都没有实现直接根据场景生成拍照姿势的方法。

技术实现思路

[0005]为了解决上述问题，本专利技术提出了一种根据拍照场景生成推荐拍照姿势的方法及系统，通过端到端深度卷积神经网络寻找场景图片到姿势动作的直接映射，为用户推荐适合当前拍照场景的姿势，解决用户想不到合适的姿势、不会摆姿势的痛点。
[0006]本专利技术采用的技术方案如下：
[0007]一种根据拍照场景生成推荐拍照姿势的方法，包括以下步骤：
[0008]收集人体姿势经过筛选的且背景清晰的图片，得到初始数据集；
[0009]获取初始数据集中的每张图片中人体姿势骨骼点，得到姿势数据集；
[0010]扣除初始数据集中的每张图片中的人体并将扣除部分进行背景补全，得到只有背景场景的图片并构成场景数据集；
[0011]根据姿势数据集和场景数据集制作训练数据集；
[0012]将训练数据集中的图像输入到深度卷积神经网络模型中，该深度卷积神经网络模型通过迭代训练，学习场景图片到人体姿势骨骼点的映射关系；
[0013]在用户进行拍照时，先拍摄场景图片并输入到训练好的所述深度卷积神经网络模型中，该模型输出推荐的拍照位置和拍照姿势给用户。
[0014]进一步地，使用OpenPose算法(参见Zhe Cao,Gines Hidalgo,Tomas Simon,Shih
‑
En Wei,Yaser Sheikh,OpenPose:Realtime Multi
‑
Person 2D Pose Estimation using Part Affinity Fields,Computer Vision and Pattern Recognition 2018.)获取图片中人体姿势骨骼点。
[0015]进一步地，使用Deep Image Matting人像分割算法(参见Jiahui Yu,Zhe Lin,Jimei Yang,Xiaohui Shen,Xin Lu,Thomas S.Huang Generative Image Inpainting with Contextual Attention,Computer Vision and Pattern Recognition 2018.)扣除图片中的人体。
[0016]进一步地，使用Generative Image Inpainting图像空白填补算法(参见Ning Xu,Brian Price,Scott Cohen,Thomas Huang Deep Image Matting,Computer Vision and Pattern Recognition 2017.)对图片中扣除部分进行背景补全。
[0017]进一步地，所述深度卷积神经网络模型基于ResNet50，中间结构由50层残差网络卷积层构成，在最后一层连接两个并行的池化层，在池化层后使用两层共享的多维全连接层，每个全连接层后使用ReLU激活函数；所述深度卷积神经网络模型含有两个输出分支，一个用于输出二维的人体姿势骨骼点坐标，另一个用于输出由拍照位置、脸部位置坐标组成的一维向量。
[0018]进一步地，根据姿势数据集和场景数据集制作训练数据集的方法为：从姿势数据集中获得经过L2归一化的人体姿势骨骼点坐标；从姿势数据集中获得脸部中心坐标和未经过L2归一化的人体姿势骨骼点中的四个方向边界点坐标即最左点、最右点、最上点和最下点的坐标，并将脸部中心点坐标和四个方向边界点坐标展平为一维向量的位置点坐标；由场景数据集中的图像、上述经过L2归一化的人体姿势骨骼点坐标和上述位置点坐标构成训练数据集。
[0019]进一步地，深度卷积神经网络模型进行迭代训练的方法为：在一轮迭代训练中，先根据输入的图像进行前向运算并同时计算损失函数；再根据损失函数反向计算网络的梯度值，将梯度值进行反向传播，更新深度卷积神经网络参数；通过多轮迭代训练直至达到预设的迭代次数或收敛条件为止。
[0020]一种根据拍照场景生成推荐拍照姿势的系统，包括存储器和处理器，在该存储器上存储有计算机程序，该处理器执行该程序时实现上述方法的步骤。
[0021]本专利技术达到的有益效果为：
[0022]本专利技术所用的网络模型采用双分支输出的结构，并在分支池化层后采用共享权值的全连接层，这样的模型结构既可以训练输出归一化后的姿势骨骼点，消除原图人物大小对姿势的影响，也可以训练输出原图的人物位置作为姿势的辅助参考。端到端的深度学习网络也能够学习和表征复杂的场景到姿势的映射关系，并且推荐结果将不局限于数据集中曾经出现过的姿势，使得推荐更为灵活本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种根据拍照场景生成推荐拍照姿势的方法，其特征在于，包括以下步骤：收集人体姿势经过筛选的且背景清晰的图片，得到初始数据集；获取初始数据集中的每张图片中人体姿势骨骼点，得到姿势数据集；扣除初始数据集中的每张图片中的人体并将扣除部分进行背景补全，得到只有背景场景的图片并构成场景数据集；根据姿势数据集和场景数据集制作训练数据集；将训练数据集中的图像输入到深度卷积神经网络模型中，该深度卷积神经网络模型通过迭代训练，学习场景图片到人体姿势骨骼点的映射关系；在用户进行拍照时，先拍摄场景图片并输入到训练好的所述深度卷积神经网络模型中，该模型输出推荐的拍照位置和拍照姿势给用户。2.如权利要求1所述的方法，其特征在于，使用OpenPose算法获取图片中人体姿势骨骼点。3.如权利要求1所述的方法，其特征在于，使用Deep Image Matting人像分割算法扣除图片中的人体。4.如权利要求1所述的方法，其特征在于，使用Generative Image Inpainting图像空白填补算法对图片中扣除部分进行背景补全。5.如权利要求1所述的方法，其特征在于，所述深度卷积神经网络模型基于ResNet50，中间结构由50层残差网络卷积层构成，在最后一层连接两个并行的池化层，在池化层后使用两层共享的多维全连接层，每个全连接层后使用ReLU激活函数；所述深度卷积神经网络模型含有两个输出分支，一个用于输出二维的人体姿势骨骼点坐标，另一个用于输出由拍照位置、脸部位置坐标...

【专利技术属性】
技术研发人员：孔彦，吴富章，武延军，
申请(专利权)人：中国科学院软件研究所，
类型：发明
国别省市：