基于卷积神经网络的镜头边界检测方法技术

本发明专利技术公开一种基于卷积神经网络的镜头边界检测方法，所述方法将视频分段，计算各段局部阈值，排除段内亮度距离低于阈值的段，对高于阈值的段进行两次二分处理，根据候选段和二分处理得到的小段的段内亮度距离的关系排除不含镜头边界的段，并对衡量结果进行分类得到突变边界候选段和渐变边界候选段；用卷积神经网络提取段内每帧的特征并利用特征间的余弦距离衡量帧间相似度；对突变边界候选段，根据连续两帧的帧间相似度和候选段首末帧的帧间相似度的关系确定该段是否存在突变边界及位置；对渐变边界候选段，计算绝对距离差并绘制曲线，进而确定该段是否为渐变边界并将相邻的渐变边界融合。本发明专利技术能准确的检测突变镜头边界和渐变镜头边界。

【技术实现步骤摘要】

本专利技术涉及的是一种可用于视频分析与检索中的镜头边界检测技术，具体是一种基于卷积神经网络的镜头边界检测方法。
技术介绍
视频镜头边界检测是指检测视频镜头边界的位置。镜头被定义为用单一摄像机在未被干扰的情况下拍摄的一段视频帧序列。镜头边界分为两种类型：一种是突变镜头边界，突变镜头边界存在于连续两帧间，由上个镜头的最后一帧和下个镜头的第一帧所组成；另一种是渐变镜头边界，渐变镜头边界一般不止有两帧，它通常由一些帧间相关的帧组成，从上个镜头到下个镜头会存在较温和的过渡段。视频镜头边界检测可以帮助分析视频的内容与结构，可以作为其他视频处理任务的预处理步骤，如视频标注和视频检索等，同时可以提高这些处理任务的精度与速度。因此，视频镜头边界检测具有重要意义。现有的大部分镜头边界检测注重于突变镜头边界检测。突变镜头边界检测主要利用相邻镜头之间帧序列会发生剧烈变化这一特征。因此，这些检测方法会根据帧序列之间的图像信号层的特征的变化：像素的亮度值差，边界纹理特征变化，灰度直方图差等。与突变镜头边界检测相比，渐变镜头边界检测难度更大。Y.Li,Z.Lu,andX.Niu等人2009年在IETImageProcess发表的“Fastvideoshotboundarydetectionframeworkemployingpre-processingtechniques”一文中提出了一种基于像素亮度距离的镜头边界候选段检测的预处理和对帧间亮度距离的三角形模式匹配的渐变边界检测方法，在当时大幅度缩短了视频边界检测的时间，但它有两个缺点：一是准确率不高，二是还不能满足实时处理的要求。Z.LuandY.Shi等人2013年在IEEETrans.ImageProcessing发表的“FastvideoshotboundarydetectionbasedonSVDandpatternmatching”一文中使用了类似的预处理方法，同时它利用了综合颜色分布、纹理特征等表达能力较强的的新特征并通过SVD(奇异值分解)对特征进行降维处理，最后提出了一种基于倒三角模式匹配的渐变边界检测方法，实现了实时处理和较高的精度，但当处理背景相似的渐变边界时，它的精度较低。Tong等人2015年在IEEEInternationalSymposiumonBroadbandMultimediaSystemsandBroadcasting发表的“CNN-basedshotboundarydetectionandvideoannotation”一文中考虑帧的内容信息，通过内容信息帮助检测镜头边界，但当处理背景相似的渐变边界时，由于训练数据库的有限性，提取得到的内容信息几乎一致，这时检测效果会比较差。这些方法考虑了帧的最低级特征，即信号特征，也考虑了最高级特征，即帧的语义信息。近年来，卷积神经网络被证明能够很好地理解图片的内容信息。作为一种深度学习模型，卷积神经网络具有多层，底层能够学习到图片信号层的信息，例如边界和角等，中层则能学习到底层边界的组合和抽象信息，最高层则学习到图片中物体的类别。因此，中层特征信息表达能力较底层更强，信息内容也更丰富。通过卷积神经网络学习视频帧的中层特征信息，高效的中层特征可以帮助提升视频镜头边界检测的精度。
技术实现思路
本专利技术针对现有技术存在的上述不足，提供一种基于卷积神经网络的视频镜头边界检测方法，它能够准确的检测突变镜头边界和渐变镜头边界。为实现上述目的，本专利技术首先将视频分段，对每段计算其帧内亮度距离的局部阈值，根据该阈值选出镜头边界候选段，剔除不含镜头边界的视频段。然后，本专利技术将镜头边界候选段两次进行二分处理，根据候选段和二分处理得到的小段的段内亮度距离的关系进一步选出镜头边界候选段，并对衡量的结果进行分类得到突变边界候选段和渐变边界候选段。本专利技术使用卷积神经网络提取段内每帧的中层特征并利用特征间的余弦距离衡量帧间相似度。然后，对突变边界候选段，根据连续两帧的帧间相似度和候选段首末帧的帧间相似度的关系来确定该段是否存在突变边界及突变边界的位置；对渐变边界候选段，计算段内每帧和段前、后帧的帧间相似度之差的绝对值并绘制曲线，通过模式匹配的方法分析曲线的特性进而确定该段是否为渐变边界并将相邻的渐变边界融合。具体的，一种基于深度学习的视频镜头边界检测方法，包括如下步骤：第一步，将视频分成两段以上，段与段之间不重合，根据各段的段内亮度距离和局部阈值的关系确定该段是否为视频镜头边界候选段，即可能包含镜头边界的段；第二步，将镜头边界候选段均分成两小段，并根据候选段和两小段的段内亮度距离的关系去确定这两小段内是否可能存在镜头边界；第三步，把第二步结果中的镜头边界候选段继续均分成两小段，并根据候选段和两小段的段内亮度距离的关系确定这两小段内是否可能存在突变边界，进而候选段被分为突变边界候选段和渐变边界候选段；第四步，训练卷积神经网络，使用卷积神经网络提取段内每帧的特征并利用特征间的余弦距离衡量帧间相似度；第五步，对于第三步得到的突变边界候选段进行突变边界检测：将段内每帧输入第四步中的卷积神经网络得到对应特征向量，根据连续两帧的帧间相似度和和候选段首末帧的帧间相似度的关系来确定段内是否有突变边界或者该段可能是渐变边界的一部分；第六步，对于第五步中被检测为可能是渐变边界的一部分的段，在段前后各加一定数量帧使其成为渐变边界候选段；第七步，对第三步和第六步得到的渐变边界候选段进行渐变边界检测：将段内每帧和段前后各一帧输入第四步中的卷积神经网络得到对应特征向量，计算绝对距离差(段内每帧分别和段前、段后一帧的帧间相似度之差的绝对值)并绘制曲线，通过模式匹配的方法分析曲线的特性，进而确定该段是否为渐变边界或者该段可能包含突变边界；第八步，对第七步中得到的可能包含突变边界的段进行突变边界检测，对得到的渐变镜头边界相邻的部分进行边界融合。优选地，所述第四步：用图片训练一个8层的卷积神经网络：其中5层为卷积层，3层为全连接层，其中第一个卷积层与第二个卷积层后面连接一个最大池化层，这两个最大池化层后面会连接一个局部响应正则化层，第五个卷积层后面连接一个最大池化层，此最大池化层后面不再连接局部响应正则化层；将视频的一帧输入卷积神经网络，抽取倒数第三层(fc-6层)的输出向量作为对应帧的特征；同时通过计算特征向量间的余弦距离来衡量帧间相似度：ψ(fi,fj)=cos(βi,βj)=(βi,βj)||βi||·||βj||]]>其中ψ(fi,fj)表示帧fi和fj的帧间相似度；βi和βj表示帧fi和fj的特征向量。优选地，所述第五步中：对第三步得到的突变边界候选段进行突变镜头检测，突变边界检测流程如下：对一个N帧的突变边界候选段，通过卷积神经网络抽取段内每帧特征向量为：{βi本文档来自技高网...

【技术保护点】
一种基于卷积神经网络的镜头边界检测方法，其特征在于所述方法包括如下步骤：第一步，将视频分成两段以上，段与段之间不重合，根据各段的段内亮度距离和局部阈值的关系确定该段是否为视频镜头边界候选段，即可能包含镜头边界的段；第二步，将镜头边界候选段均分成两小段，并根据候选段和两小段的段内亮度距离的关系确定这两小段内是否可能存在镜头边界；第三步，把第二步结果中的镜头边界候选段继续均分成两小段，并根据候选段和两小段的段内亮度距离的关系确定这两小段内是否可能存在突变边界，进而候选段被分为突变边界候选段和渐变边界候选段；第四步，训练卷积神经网络，使用卷积神经网络提取段内每帧的特征并利用特征间的余弦距离衡量帧间相似度；第五步，对于第三步得到的突变边界候选段进行突变边界检测：将段内每帧输入第四步中的卷积神经网络得到对应特征向量，根据连续两帧的帧间相似度和和候选段首末帧的帧间相似度的关系来确定段内是否有突变边界或者该段可能是渐变边界的一部分；第六步，对于第五步中被检测为可能是渐变边界的一部分的段，在段前后各加一定数量帧使其成为渐变边界候选段；第七步，对第三步和第六步得到的渐变边界候选段进行渐变边界检测：将段内每帧和段前后各一帧输入第四步中的卷积神经网络得到对应特征向量，计算绝对距离差并绘制曲线，通过模式匹配的方法分析曲线的特性，进而确定该段是否为渐变边界或者该段可能包含突变边界；第八步，对第七步中得到的可能包含突变边界的段进行突变边界检测，对得到的渐变镜头边界相邻的部分进行边界融合。...

【技术特征摘要】
1.一种基于卷积神经网络的镜头边界检测方法，其特征在于所述方法包括如下步骤：第一步，将视频分成两段以上，段与段之间不重合，根据各段的段内亮度距离和局部阈值的关系确定该段是否为视频镜头边界候选段，即可能包含镜头边界的段；第二步，将镜头边界候选段均分成两小段，并根据候选段和两小段的段内亮度距离的关系确定这两小段内是否可能存在镜头边界；第三步，把第二步结果中的镜头边界候选段继续均分成两小段，并根据候选段和两小段的段内亮度距离的关系确定这两小段内是否可能存在突变边界，进而候选段被分为突变边界候选段和渐变边界候选段；第四步，训练卷积神经网络，使用卷积神经网络提取段内每帧的特征并利用特征间的余弦距离衡量帧间相似度；第五步，对于第三步得到的突变边界候选段进行突变边界检测：将段内每帧输入第四步中的卷积神经网络得到对应特征向量，根据连续两帧的帧间相似度和和候选段首末帧的帧间相似度的关系来确定段内是否有突变边界或者该段可能是渐变边界的一部分；第六步，对于第五步中被检测为可能是渐变边界的一部分的段，在段前后各加一定数量帧使其成为渐变边界候选段；第七步，对第三步和第六步得到的渐变边界候选段进行渐变边界检测：将段内每帧和段前后各一帧输入第四步中的卷积神经网络得到对应特征向量，计算绝对距离差并绘制曲线，通过模式匹配的方法分...

【专利技术属性】
技术研发人员：宋利，许经纬，解蓉，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海;31