数字内容添加的目标区域提取制造技术

本公开提出了用于数字内容添加的目标区域提取的方法、装置和计算机程序产品。可以获得图像。可以在所述图像中检测至少一个初始四边形区域。可以在所述图像中检测线段集合。可以利用所述线段集合对所述初始四边形区域进行校准，以获得用于添加数字内容的目标区域。以获得用于添加数字内容的目标区域。以获得用于添加数字内容的目标区域。

【技术实现步骤摘要】
数字内容添加的目标区域提取

技术介绍

[0001]随着数字设备、通信技术、视频编码技术等的发展，人们可以使用诸如智能电话、台式计算机、平板电脑等的终端设备来便捷地访问互联网上的视频。在本文中，视频可以广泛地指能够在终端设备上呈现的各种视觉内容，例如电影、视频新闻、综艺节目、视频演讲、游戏界面、在线教育视频等。人们可以通过视频服务平台流畅地在线观看视频，或者从其下载视频以便之后观看。因访问视频而产生的流量已经占据了互联网总流量中的很大比例，并且该比例还在增长。在视频中插入特定的数字内容，并使该数字内容随着视频的播放而被公众看见是期望的。在本文中，数字内容可以广泛地指意图与视频一起呈现的用于各种目的的内容，例如商业信息、公益公告等。数字内容的格式可以包括图片、视频、动画等。

技术实现思路

[0002]提供本
技术实现思路
以便介绍一组构思，这组构思将在以下的具体实施方式中做进一步描述。本
技术实现思路
并非旨在标识所保护主题的关键特征或必要特征，也不旨在用于限制所保护主题的范围。
[0003]本公开的实施例提出了用于数字内容添加的目标区域提取的方法、装置和计算机程序产品。可以获得图像。可以在所述图像中检测至少一个初始四边形区域。可以在所述图像中检测线段集合。可以利用所述线段集合对所述初始四边形区域进行校准，以获得用于添加数字内容的目标区域。
[0004]应当注意，以上一个或多个方面包括以下详细描述以及权利要求中具体指出的特征。下面的说明书及附图详细提出了所述一个或多个方面的某些说明性特征。这些特征仅仅指示可以实施各个方面的原理的多种方式，并且本公开旨在包括所有这些方面和其等同变换。
附图说明
[0005]以下将结合附图描述所公开的多个方面，这些附图被提供用以说明而非限制所公开的多个方面。
[0006]图1示出了根据本公开实施例的用于数字内容添加的目标区域提取的示例性过程。
[0007]图2是示出了根据本公开实施例的目标区域与其外接矩形的示意图。
[0008]图3示出了根据本公开实施例的用于在图像中检测初始四边形区域的示例性过程。
[0009]图4示出了根据本公开实施例的用于直接利用线段集合对初始四边形区域进行校准的示例性过程。
[0010]图5是示出了根据本公开实施例的计算两个线段之间的距离的示意图。
[0011]图6是示出了根据本公开实施例的直接利用线段集合对初始四边形区域进行校准的示例的示意图。
[0012]图7示出了根据本公开实施例的用于利用由线段集合构建的参考四边形区域来对初始四边形区域进行校准的示例性过程。
[0013]图8示出了根据本公开实施例的一组示例性邻接类型。
[0014]图9示出了根据本公开实施例的示例性无效参考四边形区域。
[0015]图10是示出了根据本公开实施例的利用由线段集合构建的参考四边形区域来对初始四边形区域进行校准的示例的示意图。
[0016]图11是根据本公开实施例的用于数字内容添加的目标区域提取的示例性方法的流程图。
[0017]图12示出了根据本公开实施例的用于数字内容添加的目标区域提取的示例性装置。
[0018]图13示出了根据本公开实施例的用于数字内容添加的目标区域提取的示例性装置。
具体实施方式
[0019]现在将参考若干示例性实施方式来讨论本公开。应当理解，这些实施方式的讨论仅仅用于使得本领域技术人员能够更好地理解并从而实施本公开的实施例，而并非教导对本公开的范围的任何限制。
[0020]存在一些现有的在视频中插入数字内容的方式。一种方式可以独立于视频来提供数字内容。例如，可以在视频播放之前、视频播放期间或者视频播放之后插入数字内容，这些方式相应地可以被称为前贴(pre
‑
roll)方式、中贴(mid
‑
roll)方式或后贴(post
‑
roll)方式。另一种方式可以在视频的画面之上以悬浮式方式来提供数字内容，例如通过使得数字内容悬浮在视频中的部分画面之上来播放数字内容。再一种方式可以在视频的一帧或多帧图像中提取用于数字内容添加的目标区域，并将数字内容添加到所提取的目标区域处。
[0021]本公开的实施例提出了用于数字内容添加的目标区域提取的改进方法，其可以针对图像来执行。例如，可以在图像中检测至少一个初始四边形区域和线段集合，并利用线段集合对初始四边形区域进行校准，以获得用于添加数字内容的目标区域。
[0022]在一个方面，本公开的实施例提出了通过经训练的机器学习模型来在图像中检测初始四边形区域。在本文中，可以将用于在图像中检测初始四边形区域的机器学习模型称为四边形检测模型。四边形检测模型可以对图像中的中心点和角点的位置进行预测，并对属于同一四边形区域的中心点和角点进行组合，从而确定出至少一个初始四边形区域。四边形检测模型的训练数据可以包括多个训练图像，并且每个训练图像上可以标注有适于添加数字内容的一个或多个四边形区域。适于添加数字内容的四边形区域可以例如是相框、海报、布告栏等。利用这样的训练数据训练出的四边形检测模型在被实际部署时可以在输入图像中检测出适于添加数字内容的四边形区域。
[0023]在另一个方面，本公开的实施例提出了利用在图像中检测到的线段集合来对初始四边形区域进行校准。例如，可以利用线段集合对初始四边形区域的至少一个边进行校准。另外地或替代地，可以利用由线段集合构建的参考四边形区域来对初始四边形区域进行校准。利用线段集合对检测到的初始四边形区域进行校准所获得的经校准的四边形区域可以与图像中的四边形区域更加贴合。在利用这样的方式校准的四边形区域中添加的数字内容
可以与图像中的其他部分更加融洽。
[0024]在又一个方面，本公开的实施例提出了在对初始四边形区域进行校准以获得用于添加数字内容的目标区域之后，可以基于目标区域的内容来进一步验证该目标区域是否适于添加数字内容。例如，可以通过经训练的分类模型来将目标区域分类为适于添加数字内容的目标区域和不适于添加数字内容的目标区域。如果目标区域被分类为适于添加数字内容的目标区域，则该目标区域可以被保留。如果目标区域被分类为不适于添加数字内容的目标区域，则该目标区域可以被移除。
[0025]在再一个方面，本公开的实施例提出了在图像是来自视频中的一组图像时，可以获得与该组图像相对应的一组目标区域。可以对该组目标区域中的每个目标区域进行评分，并且从该组目标区域中选择一个或多个评分最高的目标区域以用于添加数字内容。特别地，在对目标区域进行评分时，可以基于诸如该目标区域的置信度、宽高比、面积、矩形程度、清晰度等的质量度量来对该目标区域进行评分。这些质量度量可以全面地反映目标区域的质量，从而可以准确地评估出目标区域的质量，以利于目标区域的选择。
[0026]图1示出了根据本公开实施例的用于数字内容添加的目标区域提取的示例性过程100a和100b。通过过程100a，可以从图像中提取出用于数字内容添加的目标区域。在具有一组图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于数字内容添加的目标区域提取的方法，包括：获得图像；在所述图像中检测至少一个初始四边形区域；在所述图像中检测线段集合；以及利用所述线段集合对所述初始四边形区域进行校准，以获得用于添加数字内容的目标区域。2.根据权利要求1所述的方法，其中，所述检测至少一个初始四边形区域包括：获得与所述图像中的中心点和角点相对应的热力图集合；基于所述图像中的每个中心点与相应角点之间的偏移来获得与所述中心点相对应的偏移集合；以及基于所述热力图集合和与所述图像中的多个中心点相对应的多个偏移集合来检测所述初始四边形区域。3.根据权利要求1所述的方法，其中，所述初始四边形区域是通过四边形检测模型来检测的，所述四边形检测模型的训练数据包括多个训练图像，并且每个训练图像上标注有适于添加数字内容的一个或多个四边形区域。4.根据权利要求1所述的方法，其中，所述对所述初始四边形区域进行校准包括：利用所述线段集合对所述初始四边形区域的至少一个边进行校准，以获得经校准的四边形区域。5.根据权利要求4所述的方法，其中，所述对所述初始四边形区域的至少一个边进行校准包括：确定所述线段集合中是否存在与所述边之间的角度和/或距离符合预定要求的线段子集；以及响应于确定所述线段集合中存在所述线段子集，从所述线段子集中选择与所述边最接近的线段以替换所述边。6.根据权利要求1所述的方法，其中，所述对所述初始四边形区域进行校准包括：利用所述线段集合来构建参考四边形区域集合；从所述参考四边形区域集合中选择与所述初始四边形区域最接近且与所述初始四边形区域的距离低于阈值的参考四边形区域；以及将所述初始四边形区域替换为所选择的参考四边形区域。7.根据权利要求6所述的方法，其中，所述构建参考四边形区域集合包括：将所述线段集合中的每个线段作为起始线段，迭代地从所述线段集合中搜索与当前线段邻接的下一线段，以便形成与所述线段相对应的至少一个参考四边形区域；以及将与所述线段集合相对应的多个参考四边形区域组合成所述参考四边形区域集合。8.根据权利要求7所述的方法，还包括：建立一组邻接矩阵，所述一组邻接矩阵指示所述线段集合中的每两个线段之间的邻接关系，并且其中，所述搜索与当前线段邻接的下一线段包括：基于所述一组邻接矩阵，从所述线段集合中搜索与所述当前线段邻接的下一线段。9.根据权利要求8所述的方法，其中，所述建立一组邻接矩阵包括：
基于两个线段的邻近端点的端点类型的组合来定义一组邻接类型；以及对于所述一组邻接类型中的每个邻接类型，建立针对所述邻接类型的邻接矩阵，以获得所述一组邻接矩阵。10.根据权利要求9所述的方法，其中，所述建立针对所述邻接类型的邻接矩阵包括：对于所述线段集合中的每两个线段，基于所述两个线段之间的角度和/或所述两个线段的与所述邻接类型相对应的两个端点之间的距离来确定所述两个线段之间的邻接值，以获得一组邻接值；以及将所述一组邻接值组合成所述邻接矩阵。11.根据权利要求6所述...

【专利技术属性】
技术研发人员：王烁，张高远，孙国胜，许晨曦，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：