一种基于手机摄像头的幻灯片自动拍摄及智能剪辑方法技术

本发明专利技术公开了一种幻灯片自动拍摄及智能剪辑方法，主要功能模块包括：幻灯片区域精准推荐及图像质量提升技术，以及基于幻灯片内容差异分析的智能剪辑技术。包括如下步骤：自动拍摄过程：(1)基于图像内容理解和图像处理的幻灯片区域多候选推荐；(2)融入用户反馈信息的幻灯片区域精准推荐；(3)幻灯片区域的图像质量提升，包括：几何校准、颜色校准、对比度校准。智能剪辑过程：(4)幻灯片冗余判定，包括：新幻灯片判定、同一张幻灯片中的动态局部区域判定；(5)智能整合，包括：多张幻灯片的连续拼接，同一张幻灯片中的动态局部区域的动画合成。上述技术为用户提供了一种无人工干预、非主动配合的高质量幻灯片会议记录自动化技术方案。合的高质量幻灯片会议记录自动化技术方案。合的高质量幻灯片会议记录自动化技术方案。

【技术实现步骤摘要】
一种基于手机摄像头的幻灯片自动拍摄及智能剪辑方法


[0001]本专利技术涉及计算机视觉
，主要为对幻灯片图像的处理，具体涉及一种基于手机摄像头的幻灯片自动拍摄及智能剪辑方法。

技术介绍

[0002]诸如智能手机的手持数字设备广泛普及，随之的软件配套也不断丰富和完善。基于手机摄像头的拍摄技术希望能够具有一定扫描意义上的功能，具有传统扫描设备难以匹敌的便利性，成为人们工作学习中的重要需求。这种基于移动数字终端的拍摄扫描技术也扩展了“拍摄和扫描”概念的内涵，比如，本专利技术中所关注的幻灯片自动拍摄及剪辑技术，也会从一个新的角度来定义该特定场景下的拍摄和扫描的概念。幻灯片自动拍摄及剪辑技术预设功能为：能够基于手机摄像头对在自由场景下呈现的幻灯片画面，能够非人工干预地进行幻灯片核心区域的拍摄及幻灯片播放动画的智能剪辑，最终形成一个精简地幻灯片记录文件。
[0003]实现这些预设功能的关键在于幻灯片这一显著区域的自动检测技术、幻灯片图像内容分析技术、图像画质增强技术，以及幻灯片差异化分析及编辑，利用这些技术可以从照片中自动择取幻灯片区域，并通过相似度对比辨别不同页幻灯片以及整合幻灯片内容。最终实现对幻灯片的自动拍摄及编辑。

技术实现思路

[0004]本专利技术所要解决的技术问题在于，提供一种融入用户反馈的从照片中提取出目标区域的方法，可以对幻灯片图像进行差异分析的手段以及将所拍摄到的幻灯片内容进行整合的方式。
[0005]为解决上述技术问题，本专利技术基于手机摄像头的幻灯片自动拍摄及智能剪辑方法，包括如下步骤：
[0006]1)自动拍摄过程：
[0007](1)基于图像内容理解和图像处理的幻灯片区域多候选推荐；
[0008](2)融入用户反馈信息的幻灯片区域精准推荐；
[0009](3)幻灯片区域的图像质量提升，包括：几何校准、颜色校准、对比度校准。
[0010]2)智能剪辑过程：
[0011](4)幻灯片冗余判定，包括：新幻灯片判定、同一张幻灯片中的动态局部区域判定；
[0012](5)智能整合，包括：多张幻灯片的连续拼接，同一张幻灯片中的动态局部区域的动画合成。
[0013]步骤(1)中描述的基于图像内容理解和图像处理的幻灯片区域多候选推荐，具体包括如下步骤：
[0014]图像内容理解：
[0015]①
构建基于深度神经网络的端到端学习的幻灯片检测模型，模型输出幻灯片区域
的位置框，用于后续处理。
[0016]图像处理：
[0017]②
分析像素的全局对比度，作为区分显著物体与混乱背景的依据，从而实现背景区域排除分析。
[0018]③
选取使前景和背景类间方差最大的值作为阈值分割图片的前景和背景。
[0019]④
筛选出图片中所有的闭合轮廓图。
[0020]⑤
排除掉轮廓图中非四边形以及图像大小不符合预设的闭合轮廓图。
[0021]⑥
进行最小外包矩形计算，保留包含幻灯片内容的最小矩形图片。
[0022]步骤(2)中描述的融入用户反馈信息的幻灯片区域精准推荐，具体包括如下步骤：
[0023]①
分析用户调整后的候选图片，记录该图片的角度、大小、方向、亮度等要素。
[0024]②
根据上步记录的要素，构造出符合用户喜好的候选框。
[0025]③
以改进后的候选框为标准，对候选图片进行精准筛选与推荐。
[0026]步骤(3)对图片进行角度校正，得到正方向姿态的候选图片，并推荐给用户。
[0027]步骤(4)中描述的幻灯片冗余判定，包括：新幻灯片判定、同一张幻灯片中的动态局部区域判定，具体包括如下步骤：
[0028]①
对图片中的特征点如拐点或者角点做提取对比，采用欧氏相似度判断是否为同一页幻灯片。
[0029]②
若判定为同一页幻灯片的不同动画放映效果，则计算结构相似性指数作为区分度标记出差异区域位置，并单独将此差异区域保存。
[0030]步骤(5)中描述的智能整合，包括：多张幻灯片的连续拼接，同一张幻灯片中的动态局部区域的动画合成。
[0031]基于步骤(4)的判断结果可分为以下情况：
[0032]①
若为不同页幻灯片，则直接对两张幻灯图片整页拼接。
[0033]②
若为同页幻灯片的不同动画放映，则利用LaTeX排版系统，将步骤(4)保存的差异区域拼接到同页幻灯片的起始页。
[0034]本专利技术的有益效果为：
[0035]1、本专利技术在候选框选取阶段实现了前景幻灯片与拍摄背景的自动分割，相对有效地防止了在前景和背景边缘处的相互干扰问题，为后续智能整合环节提供高质量的幻灯片检测，提高自动扫描的质量；
[0036]2、在整合步骤，将相同幻灯片的动画差异部分整合至一张幻灯片，使得幻灯片内容连贯有序的同时，大大节省了移动数字终端的存储资源。
附图说明
[0037]图1为本专利技术的方法流程示意图。
[0038]图2为本专利技术用于幻灯片显著区域分割的二值化图片。
[0039]图3为本专利技术基于几何校正得到的最终幻灯片区域图。
[0040]图4为本专利技术中用户反馈的目标区域框(虚线框所示)。
[0041]图5为本专利技术基于SSIM方法预测出的差异区域(均用方框标注在内容改变前/后的两图中)，其中，(a)为幻灯片内容改变之前图，(b)图为幻灯片内容改变之后的图。
[0042]图6为本专利技术基于高斯滤波去噪后的差异区域(均用方框标注在内容改变前/后的两图中)，其中，(a)为幻灯片内容改变之前图，(b)图为幻灯片内容改变之后的图。
[0043]图7为本专利技术中基于深度学习方法的差异区域预测模型架构示意图。
[0044]图8为本专利技术基于深度学习方法的差异区域预测结果图。
[0045]图9为本专利技术智能整合流程示意图。
[0046]图10为本专利技术智能整合中差异区域检测结果图，其中，X图和Y图为同一页幻灯片的不同动画放映效果，且Y图比X图多出方框部分的差异区域。
[0047]图11为本专利技术智能整合中截取的差异区域。
[0048]图12为本专利技术智能整合中差异部分拼接后的效果图。
具体实施方式
[0049]下面结合附图和具体实施方式，进一步阐明本专利技术，应理解下述具体实施方式仅用于说明本专利技术而不用于限制本专利技术的范围。
[0050]如图1所示，基于手机摄像头的幻灯片自动拍摄及智能剪辑方法，包括以下步骤：
[0051]1)自动拍摄过程：
[0052](1)基于图像内容理解和图像处理的幻灯片区域多候选推荐；
[0053](2)融入用户反馈信息的幻灯片区域精准推荐；
[0054](3)幻灯片区域的图像质量提升，包括：几何校准、颜色校准、对比度校准。
[0055]2)智能剪辑过程本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于手机摄像头的幻灯片自动拍摄及智能剪辑方法，其特征在于：包括如下步骤：1) 自动拍摄过程：(1)基于图像内容理解和图像处理的幻灯片区域多候选推荐；(2)融入用户反馈信息的幻灯片区域精准推荐；(3)幻灯片区域的图像质量提升，包括：几何校准、颜色校准、对比度校准；2) 智能剪辑过程：(4)幻灯片冗余判定，包括：新幻灯片判定、同一张幻灯片中的动态局部区域判定；(5)智能整合，包括：多张幻灯片的连续拼接，同一张幻灯片中的动态局部区域的动画合成。2.如权利要求1所述的一种基于手机摄像头的幻灯片自动拍摄及智能剪辑方法，其特征在于，所述步骤(1)基于图像内容理解和图像处理的幻灯片区域多候选推荐，具体包括如下步骤：(21) 构建基于深度神经网络的端到端学习的幻灯片检测模型，模型输出幻灯片区域的预测位置框；(22)在步骤(21)输出的预测位置框基础之上，放大1.2倍，在放大后的区域内，设定梯度较大的点作为边缘提取的主要参照获取边缘特征图；(23)筛选出图片中所有的闭合轮廓图；(24)排除掉轮廓图中非四边形以及图像大小不符合预设的闭合轮廓图；(25)进行最小外包矩形计算，保留包含幻灯片内容的最小矩形图片；(26)对图片进行几何校正，得到正方向的多个候选图片，并推荐给用户。3.如权利要求1所述的一种基于手机摄像头的幻灯片自动拍摄及智能剪辑方法，其特征在于，所述步骤 (2) 中融入用户反馈信息的幻灯片区域精准推荐，具体包括如下步骤：(31) 采用模板匹配的方法，把用户调整后的幻灯...

【专利技术属性】
技术研发人员：宋凤义，张士坤，葛天翼，钱征宇，
申请(专利权)人：南京师范大学，
类型：发明
国别省市：