神经网络支持的相机图像或视频处理流水线制造技术

包括静物相机或视频相机的图像处理流水线包括第一神经网络，该第一神经网络被布置为处理和提供用于图像捕获设置、传感器处理、全局后处理、局部后处理和组合后处理中的至少一个的基于神经网络的结果。第二神经网络被布置为接收神经网络结果并进一步提供图像捕获设置、传感器处理、全局后处理、局部后处理和组合后处理中的至少一个，其中第一和第二神经网络中的至少一个在由静物相机或视频相机支持的本地处理器上生成数据。本地处理器上生成数据。本地处理器上生成数据。

【技术实现步骤摘要】
【国外来华专利技术】神经网络支持的相机图像或视频处理流水线
[0001]相关申请
[0002]本申请要求2020年4月24日提交的标题为“Neural Network Supported Camera Image Or Video Processing Pipelines”的序列号为63/015,235的美国临时申请的优先权利益，该美国临时申请的公开内容通过引用以其整体并入本文。


[0003]本公开涉及用于使用多个神经网络来改进图像或视频处理流水线(pipeline)从而改善图像的系统。特别地，描述了在选择的图像处理步骤处使用局部神经网络图像处理的方法和系统。
[0004]背景
[0005]数码相机通常需要将由图像传感器接收的信号转换成可用图像的数字图像处理流水线。处理可以包括信号放大、对拜耳掩模或其他滤波器的校正、去马赛克、颜色空间转换以及黑白电平调整。更高级的处理步骤可以包括HDR填充、超分辨率、饱和度、鲜艳度(vibrancy)或其他颜色调整，以及着色(tint)或IR去除。使用各种专门的算法，可以在相机上进行校正，或可以稍后在RAW图像的后处理中进行校正。然而，这些算法中的许多是专有的，难以修改，或者需要大量熟练的用户工作来获得最佳结果。需要能够改进图像处理、减少用户工作并允许更新和改进的方法和系统。
[0006]附图简述
[0007]参考以下附图描述了本公开的非限制性的并且非穷举的实施例，其中，除非另有说明，否则在所有各个附图中相似的附图标记指代相似的部分。
[0008]图1A示出了神经网络支持的图像或视频处理流水线；
[0009]图1B示出了神经网络支持的图像或视频处理系统；
[0010]图1C是示出神经网络支持的软件系统的另一个实施例；
[0011]图1D
‑
图1G示出了神经网络支持的图像处理的示例；
[0012]图2示出了具有控制子系统、成像子系统和显示子系统的系统；
[0013]图3示出了RGB图像的神经网络处理的一个示例；
[0014]图4示出了全卷积神经网络的实施例；以及
[0015]图5示出了神经网络训练过程的一个实施例。
[0016]详细描述
[0017]在以下的实施例中，描述了包括静物相机(still camera)或视频相机(video camera)的图像处理流水线，该图像处理流水线包括第一神经网络，该第一神经网络被布置为处理并提供用于图像捕获设置、传感器处理、全局后处理、局部后处理和组合(portfolio)后处理中的至少一个的基于神经网络的结果。第二神经网络被布置为接收第一神经网络的结果并进一步提供图像捕获设置、传感器处理、全局后处理、局部后处理和组合后处理中的至少一个，其中第一神经网络和第二神经网络中的至少一个在由静物相机或视频相机支持的本地处理器上生成数据。在其他实施例中，描述了一种图像捕获设备，其包
括用于控制图像捕获设备操作的处理器和由图像捕获设备支持的神经处理器。神经处理器可以连接到处理器以接收神经网络数据，其中神经处理器使用神经网络数据来提供从包括传感器处理、全局后处理和局部后处理的组中选择的至少两个单独的神经网络处理过程。
[0018]图1A示出了神经网络支持的图像或视频处理流水线系统和方法100A的一个实施例。该流水线100A可以在图像处理流水线中的多个点处使用神经网络。例如，在图像捕获之前发生的基于神经网络的图像预处理(步骤110A)可以包括使用神经网络来选择ISO、焦点、曝光、分辨率、图像捕获时刻(例如，当眼睛睁开时)或其他图像或视频设置中的一个或更多个。除了使用神经网络来简单地选择合理的图像或视频设置之外，这种模拟和原像(pre
‑
image)捕获因子可以被自动调整或被调整以有利于会改进稍后的神经网络处理的效率的因子。例如，可以增加闪光或其他场景照明的强度、持续时间，或对闪光或其他场景照明进行重定向。可以从光路中移除滤光片，可以将光圈开得更大，或者可以降低快门速度。图像传感器的效率或放大率可以通过ISO选择来进行调整，所有这些都是为了(例如)改进神经网络颜色调整或HDR处理。
[0019]在图像捕获之后，基于神经网络的传感器处理(步骤112A)可以用于提供定制的去马赛克、色调映射(tone map)、去雾(dehazing)、像素故障补偿或除尘。其他基于神经网络的处理可以包括拜耳滤色器(Bayer color filter)阵列校正、色彩空间转换、黑白电平调整或其他传感器相关的处理。
[0020]基于神经网络的全局后处理(步骤114A)可以包括分辨率或颜色调整，以及焦点堆叠或HDR处理。其他全局后处理功能可以包括HDR填充、散景调整、超分辨率、鲜艳度、饱和度或颜色增强，以及着色或IR去除。
[0021]基于神经网络的局部后处理(步骤116A)可以包括红眼去除、瑕疵去除、黑眼圈(dark circle)去除、蓝天增强、绿叶增强或对图像的局部部分、区部(section)、对象或区域的其他处理。特定局部区域的识别可以涉及使用其他神经网络辅助功能(包括例如面部或眼睛检测器)。
[0022]基于神经网络的组合后处理(步骤118A)可以包括与识别、分类或发布相关的图像或视频处理步骤。例如，神经网络可以用于识别人，并提供该信息用于元数据标记。其他示例可以包括使用神经网络来分类为诸如宠物图片、风景或肖像的类别。
[0023]图1B示出了神经网络支持的图像或视频处理系统120B，其能够在包括具有处理器、神经处理器和存储器的模块132B中的至少一个或更多个的系统上实现。在一个实施例中，硬件级神经控制模块122B(包括设置和传感器)可以用于支持处理、存储器访问、数据传输和其他低级计算活动。系统级神经控制模块124B与硬件模块122B交互，并提供初步的或所需要的低级自动图片呈现工具(包括确定有用的或所需要的分辨率、照明或颜色调整)。可以使用系统级神经控制模块126B来处理图像或视频，该系统级神经控制模块126B可以包括用户偏好设置、历史用户设置或基于第三方信息或偏好的其他神经网络处理设置。系统级神经控制模块128B也可以包括第三方信息和偏好，以及包括用于确定是否需要本地的、远程的或分布式神经网络处理的设置。在一些实施例中，分布式神经控制模块130B可以用于协同数据交换(cooperative data exchange)。例如，随着社交网络社区改变所偏好的肖像图像的风格(例如，从硬聚焦风格到软聚焦)，肖像模式神经网络处理也可以被调整。可以使用网络潜在向量、提供的训练集或模式相关的设置建议来将该信息传输到各种公开的模
块中的任何一个。
[0024]图1C是示出神经网络支持的软件和硬件系统120C的另一个实施例。如所示的，例如通过对外部照明系统的控制或在相机闪光灯系统上的控制，检测和潜在地改变关于环境的信息(包括光、场景和捕获介质)。包括光学和电子子系统的成像系统可以与神经处理系统和软件应用层交互。在一些实施例中，远程本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种包括静物相机或视频相机的图像处理流水线系统，包括：第一神经网络，所述第一神经网络被布置为处理和提供用于图像捕获设置、传感器处理、全局后处理、局部后处理和组合后处理中的至少一个的基于神经网络的结果；以及第二神经网络，所述第二神经网络被布置为接收所述第一神经网络的结果并进一步提供图像捕获设置、传感器处理、全局后处理、局部后处理和组合后处理中的至少一个，其中，所述第一神经网络和所述第二神经网络中的至少一个在由所述静物相机或所述视频相机支持的本地处理器上生成数据。2.根据权利要求1所述的系统，其中，所述数据是静物图像。3.根据权利要求1所述的系统，其中，所述数据是HDR图像。4.根据权利要求1所述的系统，其中，所述数据是视频图像。5.一种包括静物相机或视频相机的图像处理流水线系统，包括：使用第一神经网络，所述第一神经网络被布置为处理和提供用于图像捕获设置、传感器处理、全局后处理、局部后处理和组合后处理中的至少一个的基于神经网络的结果；以及将第二神经网络布置为接收所述第一神经网络的结果并进一步提供图像捕获设置、传感器处理、全局后处理、局部后处理和组合后处理中的至少一个，其中，所述第一神经网络和所述第二神经网络中的至少一个在由所述静物相机或视频相机支持的本地处理器上生成数据。6.根据权利要求5所述的方法，其中，所述数据是静物图像。7.根据权利要求5所述的方法，其中，所述数据是HDR图像。8.根据权利要求5所述的方法，其中，所述数据是视频图像。9.一种图像处理流水线方法，包括：使用第一神经网络处理数据，以提供用于静物相机或视频相机的图像捕获设置，使用第二神经网络，以对使用由所述第一神经网络提供的图像捕获设置捕获的图像提供传感器处理，使...

【专利技术属性】
技术研发人员：凯文，
申请(专利权)人：光谱OPTIX有限公司，
类型：发明
国别省市：