本发明专利技术公开了一种基于智能云的图像增强系统和生成增强图像的方法，以提高经由电子设备捕获的图像的质量和美观性。基于智能云的图像增强系统包括云数据库，其包含在世界各地不同地点和不同环境设置下拍摄的高质量照片的集合。来自存储在云数据库中的照片(使用具有更好摄影能力的相机拍摄的照片)的信息用于改善新照片无法捕获的细节。该系统不仅依赖于机器学习模型，还利用与从电子设备的硬件(例如相机设置、GPS和电话传感器)收集的与新图像相关联的数据，从而获得更可靠的信息。从而获得更可靠的信息。从而获得更可靠的信息。
【技术实现步骤摘要】
基于智能云的图像增强系统、生成增强图像的方法
[0001]本专利技术涉及用于提供高质量图像的系统和方法。更具体地，本专利技术涉及通过使用由高质量图像组成的云数据库来改善图像的美观性。
技术介绍
[0002]传统上，在对图像进行处理以提高其质量或美观性方面做了大量工作。一种常用的增强是超分辨率，这是一种放大和改善图像细节的过程。在这个领域有许多现有的建议方法，包括传统方法或深度学习方法。无论这些方法是基于单帧输入还是多帧输入，可以增强的信息量都受到输入帧内可用细节量的限制。
[0003]有一些使用GANs的深度学习模型声称引入了额外的细节，但它们面临着不切实际和非自然的人工制品的风险。提出的另一种深度学习方法是基于样本的超分辨率，与我们提出的系统更密切相关，包括将相关纹理从高分辨率参考图像转移到查询图像。
[0004]目前，图像处理应用程序中的增强功能包括通过修复去除对象，这是指填补照片中缺失的部分。执行修复的一些常见技术包括传统方法和深度学习方法。对于传统方法，使用来自未丢失的其他图像部分的像素信息，因此，其性能可能不稳定，特别是当间隙内的细节在结构上不重复时，而对于深度学习，类似于超分辨率，主要缺点是引入不现实细节的风险。
[0005]除了改进和添加照片中的细节外，提高照片美学价值的另一种方法是改进照片构图。一种常用的操作是裁剪以去除多余的内容，并修改纵横比，从而改善构图。
[0006]为了确定要裁剪的区域，使用了不同的方法：注意力驱动方法、审美驱动方法和数据驱动方法。仅仅依靠裁剪，不足以改变照片中元素的相对比例和位置。因此，也有论文提出自动重新定位图像并将这些元素移向其相应的最佳位置。使用这些后处理方法的一个主要缺点是，要处理的信息量仅限于照片中可用的内容。
[0007]最后，另一个有用的应用是全景摄影，这是一种捕获比相机所能捕获的视野更大的图像的技术。由于视野更广，因此生成的照片更像人眼所习惯看到的，因此具有更好的美学价值。产生这种图像的最常见方法是从静止位置以不同角度拍摄一系列照片，并将它们拼接在一起。
[0008]然而，这些结果仍取决于这一系列照片的质量。换句话说，这些技术只能用于任何给定的输入。如果一些输入图像的质量很差，例如图像之间的亮度不一致或重叠区域不足，则结果将不令人满意。此外，最终视野被限制在拍摄这些照片时所覆盖的角度，因此，如果用户更喜欢更宽的视野，除了重新拍摄照片外，没有其他方法。
[0009]许多现有技术专注于通过更好的照片构图来提高图像质量。Ligang Liu的一篇题为“优化照片构图”的研究论文揭示了优化图像美学的方法。基于对图像的空间结构和图像中的突出区域和突出线的分布的分析，将美学得分分配给图像。此外，使用裁剪技术来改变图像中显著区域的相对位置，并修改图像的构图美学。与所公开的方法相关联的缺点是仅使用图像内的像素信息，因此，不会将额外的细节引入到增强图像中。
[0010]转让给三星电子有限公司的美国专利申请20150363922涉及一种用于增加图像分辨率的装置和方法。本专利技术包括捕获图像的多个帧，控制单元用于从多个帧中确定参考帧，迭代地确定多个帧的每一个到参考帧的偏移，直到达到统一缩放(unity scaling)，并且确定用于插入在参考帧的像素之间的像素值。尽管现有技术提供了高分辨率图像，但它仅依赖于传统的图像变换方法，而没有结合使用云数据库来将点击的图像与多个高质量图像进行比较，并利用与点击的图像相关联的硬件数据，例如时间、温度和位置信息。这限制了最终图像中的增强量。
[0011]转让给微软技术许可有限公司的另一美国专利7889948和转让给Monument Peak Ventures Llc的美国申请20070237421涉及用另一图像替换第一数字图像中的面部的方法。本专利技术提供了对渲染图像进行评估以识别各种图像要沿其融合的最佳接缝。结果是通过用经校正的源区域替换目标区域来扭曲输入图像并将经校正的源区域融合(blending)到数字图像中而构建的马赛克图像。
[0012]另一个转让给推特股份有限公司的美国申请20180075581涉及使用多个数据集处理视觉数据的机器学习技术。现有技术中公开的一种方法，用于训练算法以处理接收到的低分辨率视觉数据的至少一部分，以使用训练数据集和参考数据集估计低分辨率视觉数据的高分辨率版本。虽然，本专利技术通过引入参考数据集克服了上述现有技术的缺点，但它仅关注于提高图像的分辨率，从而在许多其他方面有所欠缺。此外，参考数据集仅是包括有限数量的图像的小集合，并且可能不能根据用户需求提供增强的质量。
[0013]因此，需要一种基于智能云的图像增强系统，该系统通过利用存储在云数据库中的大量图像来提高新图像的质量和美观性。基于智能云的图像增强系统不仅依赖于传统的机器学习技术，而且还利用与用于捕获图像的电子设备相关联的硬件数据。
[0014]现在很明显，现有技术中开发了许多方法和系统，这些方法和系统适用于各种目的。此外，即使这些专利技术可能适合于它们所针对的特定目的，相应地，它们也不适合于如上所述的本专利技术的目的。因此，持续需要一种基于智能云的图像增强系统，该系统使用软件和硬件工具来提高图像的质量和美观性。
技术实现思路
[0015]随着移动行业硬件技术和人工智能的进步，对照片的质量和美观性的要求水平不断提高。硬件和软件工具两者各有利弊。因此，本专利技术公开了一种集成了硬件和软件工具优点的基于智能云的图像增强系统。所提出的框架通过使用包含高质量图像的数据库来提供自动照片增强，以克服受硬件状态限制而获得的图像的低质量。
[0016]本专利技术的主要目的是提供一个云数据库，该数据库包含使用不同类型的相机模型在世界各地的不同位置和不同环境设置下拍摄的高质量照片的集合。图像增强系统的其他组件包括特征提取模块、推荐器模型和图像增强模型。系统的所有上述组件一起工作以增强经由电子设备捕获的查询图像的质量。
[0017]当打开电子设备的相机应用程序时，将触发整个工作流程，用户将相机放置在拍照位置，以拍摄照片。点击图像时的位置、温度和时间等信息通过安装在相机中的硬件收集，并与捕获的图像一起发送到云数据库。与照片一起，图像信息数据将被发送到云数据库以搜索类似内容的图像。
[0018]在搜索过程中，多个进程同时运行。特征提取模型，如地点分类、位置投影和环境条件分类，将用于从图像及其相应信息中提取特征，以与数据库中的特征进行比较，以进行相似性度量。拍摄照片后，将激活增强过程。根据增强的目的，然后将拍摄的照片传递给相应的模型，以参考从数据库检索到的类似外观的照片来提高其质量。然后将生成的增强照片发送回用户。
[0019]在所提出的系统中，存储在云数据库中的照片是使用具有更好摄影能力的相机拍摄的，以便于提取新点击的照片无法捕获的细节。另一方面，用户有时希望从照片中删除不想要的对象。但是在对象移除之后，需要额外的信息来填充缺失的部分。本专利技术可以利用来自云数据库的数据来获取此类信息。
[0020]通过该本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于智能云的图像增强系统，用于图像增强，其特征在于，所述图像增强系统包括：云数据库，用于从电子设备接收图像；特征提取模块，包括：提取器，用于从所述图像中提取一个或多个特征；以及比较器，用于基于所述一个或多个特征，将所述图像与存储在所述云数据库中的多个图像进行比较；推荐器模块，用于基于与所述图像的相似性得分，从所述多个图像中推荐一个或多个图像；以及图像增强模块，用于从所述推荐器模块接收所述一个或多个图像，以及将所述一个或多个图像的至少一部分与所述图像合并，以获得增强图像。2.根据权利要求1所述的图像增强系统，其特征在于，所述电子设备是智能手机、笔记本电脑、数码相机或平板电脑中的任一个。3.根据权利要求1所述的图像增强系统，其特征在于，所述图像的所述一个或多个特征是从所述电子设备的一个或多个传感器获得的。4.根据权利要求3所述的图像增强系统，其特征在于，所述一个或多个传感器包括全球定位系统GPS传感器、环境传感器、光传感器、指南针传感器和气压计传感器中的至少一个。5.根据权利要求1所述的图像增强系统，其特征在于，所述特征提取模块基于所述图像的GPS位置将所述多个图像分组为一组或多组图像。6.根据权利要求5所述的图像增强系统，其特征在于，所述特征提取模块创建所述一组或多组图像的三维虚拟空间。7.根据权利要求1所述的图像增强系统，其特征在于，所述相似性得分基于分配给所述一个或多个特征的权重。8.根据权利要求1所述的图像增强系统，其特征在于，所述图像增强模块进一步对所述图像进行去模糊和去噪处理，以生成所述增强图像。9.根据权利要求1所述的图像增强系统，其特征在于，所述图像增强模块包括图像对齐单元，用于将所述一个或多个图像的多个属性与所述图像对齐之后合并，以生成对齐图像。10.根据权利要求9所述的图像增强系统，其特征在于，所述多个属性基于高频和光强度。11.根据权利要求9所述的图像增强系统，其特征在于，所述图像增强模块还包括修复单元，用于用所述多个图像修复所述对齐图像，以生成修复图像。12.根据权利要求11所述的图像增强系统，其特征在于，所述图像增强模块还包括透视变换单元，用于将所述修复图像变换一定角度，以生成变换图像。13.根据权利要求12所述的图像增强系统，其特征在于，所述图像增强模块还包括全景生成单元，用于生成所述变换图像的宽视野，以生成增强图像。14.一种基于智能云的图像增强系统，用于增强...
【专利技术属性】
技术研发人员：徐奕宁，段宇波，
申请(专利权)人：黑芝麻智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。