基于图像信号处理的神经网络的方法和设备技术

提供一种基于图像信号处理的神经网络的方法和设备。提供一种图像信号处理(ISP)系统。所述系统包括：神经网络，通过输入原始数据图像的集以及相关的期望质量输出图像的集来训练；神经网络包括用于接收输入图像数据的输入，并且提供经处理的输出；其中，经处理的输出包括已经针对至少一个图像质量属性调整的输入图像数据。一种方法和一种成像装置被公开。

【技术实现步骤摘要】
基于图像信号处理的神经网络的方法和设备
在此公开的本专利技术涉及神经网络，具体地说，涉及用于使用神经网络执行图像信号处理的技术。
技术介绍
成像传感器的广泛可用性已经允许制造商在很多装置中包括成像能力。例如，难以找到不包括数字相机的蜂窝电话。尽管用于成像传感器的制造成本已经大大减小并且用于成像的技术已经大大提高，但是图像信号处理仍是个挑战。一般地，图像信号处理已经要求为特定的成像传感器而构造的专用组件。专用图像信号处理器的发展可能是非常昂贵的。例如，必须写入大量的计算机代码以处理图像。写入这样的代码涉及用于执行处理的调整和设计的许多专门知识。此外，这样的代码必须为各个传感器量身定制，并且可能需要针对特定的用户而定制。使事情更复杂的是，这样的代码不考虑在制造过程中可能产生的一组成像传感器的制造变异性。除了增加的制造成本和复杂度以外，专用于图像信号处理的特定的芯片集可能相对固定并且不能很好地适合所有环境。因此，包括在成像装置中的图像信号处理能力越高，装置内所需的相关联的成本和空间越高。需要改进的技术来更加高效地提供图像信号处理。该技术应该利用常见的资源，诸如，多用处理器和存储器。优选地，该技术应该是高度灵活的，使得该技术可被容易地改进。
技术实现思路
在一个实施例中，提供一种图像信号处理(ISP)系统。所述系统包括通过输入原始数据图像的集以及相关的期望质量的输出图像的集训练的神经网络；神经网络包括用于接收输入图像数据的输入，并且提供处理的输出；其中，处理的输出包括已经针对至少一个图像质量属性调整的输入图像数据。神经网络可包括卷积神经网络。神经网络可通过反向传播技术被训练。神经网络可被配置为被下载到移动成像装置。所述至少一个图像质量属性可包括：图像大小、纵横比、亮度、强度、位深度、白度值、动态范围、灰阶、轮廓、平滑、斑点、颜色空间值、交错、校正、伽马校正、边缘增强、对比度增强、锐度和去马赛克。在另一实施例中，提供一种用于提供图像信号处理(ISP)系统的方法。所述方法包括：配置用于图像处理的神经网络；使用原始数据图像的集和期望质量输出图像的集来训练神经网络，其中，原始数据图像的集中的图像与期望质量的输出图像的集中的图像相关；配置训练的神经网络来接收输入图像数据并且提供处理的输出数据，其中，处理的输出包括已经针对至少一个图像质量属性调整的输入图像数据。所述方法还可包括通过反向传播来训练神经网络。所述方法还可包括使用成像装置来采集原始图像数据的集。所述方法还可包括：处理原始图像数据的集，以提供将被用作期望质量输出图像的集的传统处理的图像数据的集。所述传统处理指通过使用不采用神经网络的典型图像处理方法来处理图像数据。所述方法还可包括使用参考成像装置来采集期望质量的输出图像的集。所述方法还可包括具有期望质量输出图像中的至少一些的属性参考数据。训练的步骤可在远程系统上执行，并且配置训练的神经网络的步骤包括将神经网络下载到成像装置。所述至少一个图像质量属性可包括：图像大小、纵横比、亮度、强度、位深度、白度值、动态范围、灰阶、轮廓、平滑、斑点、颜色空间值、交错、校正、伽马校正、边缘增强、对比度增强、锐度和去马赛克。在另一实施例中，提供一种成像装置。所述装置包括：成像传感器、处理器和存储器；以及图像信号处理(ISP)系统，包括：存储在非暂时性机器可读介质上的机器可执行的指令，所述指令包括通过输入原始数据图像的集和相关的期望质量的输出图像的集来训练的神经网络；神经网络包括用于从成像传感器接收输入图像数据的输入并且提供处理的输出；其中，处理的输出包括已经针对至少一个图像质量属性调整的输入图像数据。所述成像装置可包括智能电话、平板计算机、照相机和医学成像装置中的一个。图像信号处理(ISP)系统可被提供作为补充传统的图像信号处理系统和代替传统的图像信号处理系统之一。所述成像装置还可被配置用于与远程系统进行通信，以在所述成像装置与远程系统之间分配计算任务。所述成像装置还可被配置用于周期的重新训练。所述成像装置还可被配置用于通用成像、医学成像、安全成像和产品成像中的一个。可通过反向传播来执行训练。所述成像装置可被重新配置以更新图像信号处理系统。重新配置的操作可(例如)根据装置的地理位置，通过与远程系统通信自动地完成。重新配置的操作可根据用户的偏好通过与远程系统通信来完成。附图说明从下面结合附图的描述，本公开的特征和优点是显而易见的，其中：图1是适合于实现在此公开的神经网络的实施例的计算资源的框图；图2是描述神经网络的广义方面的示图；图3是描述用于图像信号处理的神经网络的实施方式的方面的示图；图4是描述用于图像信号处理的神经网络的实施方式的方面的另一示图；图5是描述用于训练神经网络以执行图像信号处理的神经网络的示例性处理的方面的示图；图6是用于图像信号处理的神经网络的示例的说明；图7A、图7B、图7C和图7D(在此共同地称为图7)是图形图像的集合的代表，其中，图7A描述输入图像；图7B描述参考图像；图7C描述现有技术中的图像信号处理器的状态的输出；图7D描述被配置用于图像信号处理的神经网络的输出；图8A、图8B、图8C和图8D(在此共同地称为图8)是图形图像的另一集合的代表，其中，图8A描述输入图像；图8B描述参考图像；图8C描述现有技术中的图像信号处理器的状态的输出；图8D描述被配置用于图像信号处理的神经网络的输出；图9A和图9B(在此共同地称为图9)是图形图像的另一集合(图8)的一部分的放大的示图的代表，其中，图9A描述现有技术中的图像信号处理器的状态的输出；图9B描述被配置用于图像信号处理的神经网络的输出。具体实施方式在此公开了使用神经网络执行图像信号处理(ISP)的技术。该技术可提供高质量图像信号处理(ISP)，其中，高质量图像信号处理(ISP)利用多用组件(诸如，中央处理器(CPU)、存储器、通信能力)以及通常在很多电子装置内发现的其他组件。例如，技术可利用在蜂窝电话或以低端、消费者为导向的数字相机内发现的多用组件。作为概述，技术的实施例一般利用神经网络来执行图像信号处理(ISP)。为神经网络的有效学习和输出图像的优化提供实施例。根据这里的教导训练的神经网络可用于与图像信号处理相关联的各种计算复杂的任务。例如，神经网络可用于处理用于对象识别的图像。可为面部识别、笔迹分析、医学图像分析以及需要分析图像以识别图像中的对象和特征的其他任务提供对象识别。处理的图像可用于各种任务(诸如，环境监视)，以控制产品和制造、帮助医疗诊断和各种其他相似的处理。为了给这里的教导提供一些背景，现在介绍一些方面。如在此讨论的，术语“神经网络”一般表示实现具有自适应特性并且在机器学习中是有用的统计学习算法的软件。神经网络可包括连接在一起以形成模拟生物神经网络的网络的多个人工节点(被称为“神经元”、“处理元件”、“单元”或其他相似的术语)。通常，神经网络包括自适应权重(即，通过学习算法调整的数字参数)的集，并且能够逼近它们的输入的非线性函数。自适应权重是神经元之间的概念性地连接的强度，在训练和预测期间被激活。一般，以非线性、分布式、并行以及局部处理和适应的规则来操作神经网络。一般，第一层被称为“输入层”，该层内的神经元被称为输入神经元。“输出层”包括输本文档来自技高网...

【技术保护点】
一种图像信号处理系统，包括：神经网络，通过输入原始数据图像的集以及相关的期望质量的输出图像的集来训练，其中，神经网络包括用于接收输入图像数据的输入以及提供经处理的输出的输出；其中，经处理的输出包括已经被针对至少一个图像质量属性调整的输入图像数据。

【技术特征摘要】
2015.12.29 US 62/272,653;2016.03.18 US 15/075,0761.一种图像信号处理系统，包括：神经网络，通过输入原始数据图像的集以及相关的期望质量的输出图像的集来训练，其中，神经网络包括用于接收输入图像数据的输入以及提供经处理的输出的输出；其中，经处理的输出包括已经被针对至少一个图像质量属性调整的输入图像数据。2.如权利要求1所述的图像信号处理系统，其中，神经网络包括卷积神经网络。3.如权利要求1所述的图像信号处理系统，其中，神经网络已经通过反向传播技术被训练。4.如权利要求1所述的图像信号处理系统，其中，神经网络被配置为被下载到移动成像装置。5.如权利要求1所述的图像信号处理系统，其中，所述至少一个图像质量属性包括：图像大小、纵横比、亮度、强度、位深度、白度值、动态范围、灰阶、轮廓、平滑、斑点、颜色空间值、交织、校正、伽马校正、边缘增强、对比度增强、锐度和去马赛克。6.一种用于提供图像信号处理系统的方法，所述方法包括：配置用于图像处理的神经网络；使用原始数据图像的集和期望质量的输出图像的集来训练神经网络，其中，原始数据图像的集中的图像与期望质量的输出图像的集中的图像相互关联；配置训练的神经网络来接收输入图像数据并且提供经处理的输出数据，其中，经处理的输出数据包括已经被针对至少一个图像质量属性调整的输入图像数据。7.如权利要求6所述的方法，还包括：通过反向传播来训练神经网络。8.如权利要求6所述的方法，还包括：使用成像装置来采集原始图像数据的集。9.如权利要求8所述的方法，还包括：处理原始图像数据的集，以提供将被用作期望质量的输出图像的集的经传统处理的图像数据...

【专利技术属性】
技术研发人员：张强，冀正平，王一兵，伊利亚·奥维先尼科夫，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：韩国,KR