【技术实现步骤摘要】
【国外来华专利技术】
本公开涉及图像处理，包括缩略图图像生成。
技术介绍
1、“缩略图”或缩略图图像是视频的图像或图片的缩小尺寸版本。缩略图可用作全尺寸图像的内容的预览或用作视频文件的内容的预览。例如，缩略图图像可用于网站、照片组织和组织应用、视频组织和回放应用、视觉搜索引擎、用户界面图标等。由于其减小的尺寸，许多缩略图图像可以同时显示在计算设备的显示器上。因此，许多不同图像和/或视频的内容可以由用户快速地查看。
技术实现思路
1、一般来讲，本公开描述了生成缩略图图像的技术。本公开的技术可应用于任何类型的数字图像或图片，包括视频文件的静态图像、帧和/或图片、3d图像或点云的2d投影、数字绘图或任何其他视觉数字文件。本公开的技术包括将非线性变换应用于源图像以创建缩略图图像，使得源图像的显著特征部在缩略图图像中更突出。因此，相对于其他缩略图生成技术，使用本公开的技术创建的缩略图图像可更有用地作为其中所含有的内容的预览。
2、在本公开的一些示例中，可通过首先将源图像线性地缩减到中间尺寸而从源图像生成缩略图图像。然后，由生成缩略图图像的神经网络处理中间尺寸图像，使得源图像的显著特征部被缩减得比图像的其他特征部小。即，缩略图图像中的显著特征部相对于源图像中的显著特征部被非线性地缩放。为了实现该非线性变换，可以使用显著性图来训练神经网络。神经网络的训练可以包括最小化由相对于显著性图地面真值的第一损失和相对于缩略图图像地面真值的第二损失定义的损失函数。
3、在一个示例中，本公开描述了一种被配置
4、又如，本公开描述了一种用于生成缩略图图像的方法，该方法包括：接收源图像；缩减该源图像以生成缩减的图像；利用神经网络处理该缩减的图像以生成非线性缩略图图像，其中该神经网络根据使用显著性图训练的参数进行操作，并且其中该非线性缩略图图像包括相对于该源图像中的一个或多个原始显著特征部的一个或多个非线性地缩放的显著特征部；以及输出该非线性缩略图图像。
5、又如，本公开描述了一种存储指令的非暂态计算机可读存储介质，该指令在被执行时使被配置为生成缩略图图像的一个或多个处理器：接收源图像；缩减该源图像以生成缩减的图像；利用神经网络处理该缩减的图像以生成非线性缩略图图像，其中该神经网络根据使用显著性图训练的参数进行操作，并且其中该非线性缩略图图像包括相对于该源图像中的一个或多个原始显著特征部的一个或多个非线性地缩放的显著特征部；以及输出该非线性缩略图图像。
6、又如，本公开描述了一种被配置为生成缩略图图像的装置，该装置包括：用于接收源图像的构件；用于缩减该源图像以生成缩减的图像的构件；用于利用神经网络处理该缩减的图像以生成非线性缩略图图像的构件，其中该神经网络根据使用显著性图训练的参数进行操作，并且其中该非线性缩略图图像包括相对于该源图像中的一个或多个原始显著特征部的一个或多个非线性地缩放的显著特征部；和用于输出该非线性缩略图图像的构件。
7、本公开还描述了一种训练神经网络的方法，该方法包括：利用神经网络处理源图像以生成非线性缩略图图像，该神经网络根据参数进行操作；从该非线性缩略图图像生成缩略图显著性图；将该缩略图显著性图与显著性图地面真值进行比较以生成第一损失值；将该非线性缩略图图像与缩略图图像地面真值进行比较以生成第二损失值；以及基于该第一损失值和该第二损失值来更新参数。
8、本
技术实现思路
旨在提供本公开中描述的主题的概述。并非旨在提供对在本文的附图和描述内详细描述的系统、设备和方法的排他性或穷尽性解释。在附图和以下描述中阐述了所公开的技术的一个或多个示例的进一步细节。根据描述、附图以及权利要求书，所公开的技术其他特征、目的和优点将是显而易见的。
【技术保护点】
1.一种被配置为生成缩略图图像的装置，所述装置包括：
2.根据权利要求1所述的装置，其中所述神经网络根据基于损失函数训练的参数进行操作，并且其中所述损失函数由相对于显著性图地面真值的第一损失和相对于缩略图图像地面真值的第二损失定义。
3.根据权利要求2所述的装置，其中所述损失函数(Loss)由Loss＝α*Loss1+(1-α)*Loss2定义，并且其中α是权重，Loss1是所述第一损失，并且Loss2是所述第二损失。
4.根据权利要求1所述的装置，其中为了缩减所述源图像以生成所述缩减的图像，所述一个或多个处理器被配置为将所述源图像线性地缩减到为所述非线性缩略图图像的最终分辨率的两倍的分辨率。
5.根据权利要求1所述的装置，其中所述神经网络执行非线性变换以生成所述非线性缩略图图像。
6.根据权利要求1所述的装置，其中所述神经网络是卷积神经网络。
7.根据权利要求1所述的装置，其中所述原始显著特征部包括面部。
8.根据权利要求1所述的装置，其中所述原始显著特征部包括人。
9.根据权利要求
10.根据权利要求1所述的装置，其中所述一个或多个处理器被配置为：
11.一种用于生成缩略图图像的方法，所述方法包括：
12.根据权利要求11所述的方法，其中所述神经网络根据基于损失函数训练的参数进行操作，并且其中所述损失函数由相对于显著性图地面真值的第一损失和相对于缩略图图像地面真值的第二损失定义。
13.根据权利要求12所述的方法，其中所述损失函数(Loss)由Loss＝α*Loss1+(1-α)*Loss2定义，并且其中α是权重，Loss1是所述第一损失，并且Loss2是所述第二损失。
14.根据权利要求11所述的方法，其中缩减所述源图像以生成所述缩减的图像包括将所述源图像线性地缩减到为所述非线性缩略图图像的最终分辨率的两倍的分辨率。
15.根据权利要求11所述的方法，其中所述神经网络执行非线性变换以生成所述非线性缩略图图像。
16.根据权利要求11所述的方法，其中所述神经网络是卷积神经网络。
17.根据权利要求11所述的方法，其中所述原始显著特征部包括面部。
18.根据权利要求11所述的方法，其中所述原始显著特征部包括人。
19.根据权利要求11所述的方法，其中所述原始显著特征部包括一个或多个预定义的对象。
20.根据权利要求11所述的方法，所述方法还包括：
21.一种存储指令的非暂态计算机可读存储介质，所述指令在被执行时使被配置为生成缩略图图像的一个或多个处理器：
22.一种被配置为生成缩略图图像的装置，所述装置包括：
23.根据权利要求22所述的装置，其中所述神经网络根据基于损失函数训练的参数进行操作，并且其中所述损失函数由相对于显著性图地面真值的第一损失和相对于缩略图图像地面真值的第二损失定义。
24.根据权利要求23所述的装置，其中所述损失函数(Loss)由Loss＝α*Loss1+(1-α)*Loss2定义，并且其中α是权重，Loss1是所述第一损失，并且Loss2是所述第二损失。
25.根据权利要求22所述的装置，其中用于缩减所述源图像以生成所述缩减的图像的所述构件包括用于将所述源图像线性地缩减到为所述非线性缩略图图像的最终分辨率的两倍的分辨率的构件。
26.根据权利要求22所述的装置，其中所述神经网络执行非线性变换以生成所述非线性缩略图图像。
27.根据权利要求22所述的装置，其中所述神经网络是卷积神经网络。
28.根据权利要求22所述的装置，其中所述原始显著特征部包括面部。
29.根据权利要求22所述的装置，其中所述原始显著特征部包括人。
30.根据权利要求22所述的装置，其中所述原始显著特征部包括一个或多个预定义的对象。
31.根据权利要求22所述的装置，所述装置还包括：
32.一种训练神经网络的方法，所述方法包括：
33.根据权利要求32所述的方法，其中基于所述第一损失值和所述第二损失值来更新所述参数包括基于所述第一损失值和所述第二损失值的损失函数来更新所述参数，其中所述损失函数(Loss)由Loss＝α*Loss1+(1-α)*Loss2定义，并且其中α是权重，Loss1是所述第一损失值，并且Loss2是所述第二损失值。
...【技术特征摘要】
【国外来华专利技术】
1.一种被配置为生成缩略图图像的装置，所述装置包括：
2.根据权利要求1所述的装置，其中所述神经网络根据基于损失函数训练的参数进行操作，并且其中所述损失函数由相对于显著性图地面真值的第一损失和相对于缩略图图像地面真值的第二损失定义。
3.根据权利要求2所述的装置，其中所述损失函数(loss)由loss＝α*loss1+(1-α)*loss2定义，并且其中α是权重，loss1是所述第一损失，并且loss2是所述第二损失。
4.根据权利要求1所述的装置，其中为了缩减所述源图像以生成所述缩减的图像，所述一个或多个处理器被配置为将所述源图像线性地缩减到为所述非线性缩略图图像的最终分辨率的两倍的分辨率。
5.根据权利要求1所述的装置，其中所述神经网络执行非线性变换以生成所述非线性缩略图图像。
6.根据权利要求1所述的装置，其中所述神经网络是卷积神经网络。
7.根据权利要求1所述的装置，其中所述原始显著特征部包括面部。
8.根据权利要求1所述的装置，其中所述原始显著特征部包括人。
9.根据权利要求1所述的装置，其中所述原始显著特征部包括一个或多个预定义的对象。
10.根据权利要求1所述的装置，其中所述一个或多个处理器被配置为：
11.一种用于生成缩略图图像的方法，所述方法包括：
12.根据权利要求11所述的方法，其中所述神经网络根据基于损失函数训练的参数进行操作，并且其中所述损失函数由相对于显著性图地面真值的第一损失和相对于缩略图图像地面真值的第二损失定义。
13.根据权利要求12所述的方法，其中所述损失函数(loss)由loss＝α*loss1+(1-α)*loss2定义，并且其中α是权重，loss1是所述第一损失，并且loss2是所述第二损失。
14.根据权利要求11所述的方法，其中缩减所述源图像以生成所述缩减的图像包括将所述源图像线性地缩减到为所述非线性缩略图图像的最终分辨率的两倍的分辨率。
15.根据权利要求11所述的方法，其中所述神经网络执行非线性变换以生成所述非线性缩略图图像。
16.根据权利要求11所述的方法，其中所述神经网络是卷积神经网络。
17...
【专利技术属性】
技术研发人员：吴思淼，石中博，万卫星，刘祺炜，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。