基于所生成的运动数据处理图像制造技术

用于图像处理的示例装置包括运动自适应图像增强器，用于接收运动数据和具有减少的噪声的图像。运动自适应图像增强器可以基于运动数据来处理图像的被遮挡区域。运动自适应图像增强器可以生成增强图像。

Image Processing Based on Generated Motion Data

An example device for image processing includes a motion adaptive image intensifier for receiving motion data and images with reduced noise. Motion adaptive image intensifier can process the occluded area of an image based on motion data. Motion adaptive image intensifier can generate enhanced images.

【技术实现步骤摘要】
【国外来华专利技术】基于所生成的运动数据处理图像相关申请的交叉引用本申请要求于2016年4月20日递交的、名称为“ProcessingImagesBasedonGeneratedMotionData(基于所生成的运动数据处理图像)”、申请人为JunNishimura的美国专利申请序列号15/133,455的申请日的权益，该专利申请的整体通过引用结合于此。
技术介绍
成像设备可以包括成像信号处理器(ISP)以处理由光传感器捕获的数据。ISP可以包括各种处理阶段的ISP流水线。例如，流水线可以包括噪声减少阶段和图像增强阶段。附图说明图1是示出包括运动自适应图像增强的示例图像处理流水线的框图；图2是示出示例流水线的示例时间噪声减少和运动自适应图像增强阶段的详细框图；图3是要处理的连续捕获的帧的示例集合的框图；图4是示出具有和不具有时间平滑的图像的详细部分的一对比较；图5是示出可以基于运动数据来处理图像的示例成像设备的框图；图6是示出用于基于运动数据来处理图像的方法的流程图；以及图7是示出存储用于使用运动数据来处理图像的代码的计算机可读介质的框图。在整个公开内容和附图中使用相同的标号来引用类似的组件和特征。100系列中的标号指最初在图1中找到的特征；200系列中的标号指最初在图2中找到的特征；以此类推。具体实施方式如上所述，ISP可以包括多个处理阶段。这些阶段可以被布置在流水线中，这可以允许这些阶段的同时处理。在传统的ISP中，图像增强阶段可以在时间噪声(temporalnoise)减少(TNR)阶段之前被应用于所捕获的传感器数据。例如，图像增强阶段可以在数据在TNR阶段被处理以移除噪声之前对数据应用锐化。然而，在极低光条件下，例如低于0.1光通量(勒克斯)的光条件下，所捕获的帧的被遮挡区域中的噪声可能导致噪声移除的问题。如本文所使用的，被遮挡区域指可能已被移动对象遮挡或遮蔽的图像区域。例如，图像中的对象可能正在移动而导致被遮挡区域，因此在输入帧和先前的参考帧之间可能存在不匹配。例如，由于时间噪声减少可能不会减少被遮挡区域(其中，在输入和参考之间不存在良好的时间匹配)处的噪声，因此被遮挡区域中的较强噪声可能保留，而具有匹配的图像的其他部分可能具有较低噪声水平。这些噪声水平之间的差距对于观看者可能看起来非常不自然。一些其他传统的ISP可以在移除噪声之后应用图像增强，例如在ISP流水线的最末端。然而，这仍可能导致被遮挡区域中的噪声被放大。例如，在移除噪声之后应用图像增强可能无法避免放大被遮挡区域中的噪声而不降低图像的整体图像增强水平。被遮挡区域中的经放大的噪声可能在感知上困扰用户。本公开总体涉及用于时间噪声减少和运动自适应图像增强的技术。具体地，本文描述的技术包括用于基于检测到的运动数据来增强图像的装置、方法和系统。在一些示例中，可以生成运动数据并将其用于时间噪声减少阶段的时间平滑。此外，在一些示例中，运动数据可以用在运动自适应图像增强阶段。本文描述的技术使得所捕获图像的被遮挡区域中的低噪声输出成为可能。如本文所使用的，图像(在本文中也称为帧)指在特定时间捕获的一组图像传感器数据。因此，本文描述的技术可以产生更多感知上可接受的视频质量。此外，这些技术可以实现更高的灵活性和视频质量。例如，使用本文描述的技术，可以保持图像增强的水平，同时避免放大被遮挡区域中的噪声。图1是示出包括运动自适应图像增强的示例图像信号处理流水线的框图。示例流水线总地由标号100表示，并且可以使用下面的图5的成像设备500来实现。例如，示例流水线100可以在下面的成像设备500的ISP504中实现。示例流水线100包括原始输入102、输入校正阶段104、去马赛克阶段106、颜色校正阶段108、伽马阶段110、颜色空间转换阶段112、时间噪声减少阶段114、运动自适应图像增强阶段116和输出阶段118。在一些示例中，阶段104-116的操作可以在不同的图像或帧上同时操作。如图1所示，在输入校正阶段104处接收输入102。例如，输入可以是原始输入，例如，来自多个成像传感器的传感器数据。在一些示例中，输入校正阶段104可以包括镜头阴影校正。例如，图像在中心可以是明亮的，并且朝向视场的边缘亮度降低。输入校正阶段104可以使得图像中的亮度水平均匀。在一些示例中，输入校正阶段104还可以包括缺陷像素校正、黑色水平校正以及其他适当的校正。来自输入校正阶段104的输出校正数据可以被发送到去马赛克阶段106。在一些示例中，去马赛克阶段106可以根据从覆盖有滤色器阵列(CFA)的图像传感器输出的不完整颜色样本来重建全色图像。来自去马赛克阶段106的全色图像可以被发送到颜色校正阶段108。在一些示例中，颜色校正阶段108可以校正所接收的帧中的颜色问题。来自颜色校正阶段108的颜色校正帧可以被发送到伽马阶段110。在一些示例中，伽马阶段110可以校正所接收的帧的伽马水平。来自伽马阶段110的输出帧可以被发送到颜色空间转换阶段112。在一些示例中，颜色空间转换阶段112可以将接收到的帧从一个颜色空间转换到另一颜色空间中。例如，可以在RGB颜色空间中接收所接收的帧并将其转换到YUV颜色空间中，其中，亮度(Y)分量确定颜色的亮度，并且两个色度(U和V)分量确定颜色。颜色空间转换阶段112的输出帧可以被发送到时间噪声减少阶段114。在一些示例中，时间噪声减少阶段114可以减少所接收的帧中的时间噪声。例如，时间噪声减少阶段114可以执行时间平滑。在一些示例中，时间噪声减少阶段114可以产生用于执行时间平滑的运动数据。例如，时间噪声减少阶段114可以通过对运动数据应用时间低通滤波器来执行时间平滑。下面参考图2更详细地讨论时间噪声减少阶段114的操作。来自流水线100的时间噪声减少阶段114的具有减少的噪声的帧以及运动数据可以被发送到运动自适应图像增强阶段116以进行进一步的图像处理。在一些示例中，运动自适应图像增强阶段116可以对所接收的帧执行运动自适应图像增强。例如，运动自适应图像增强阶段116可以基于运动数据来锐化一个或多个被遮挡区域。此外，运动自适应增强阶段116可以增强颜色。例如，运动自适应增强阶段116可以使颜色更加鲜艳而不放大色度噪声。来自运动自适应图像增强阶段116的增强帧可以作为经处理的帧而被输出118。在一些示例中，经处理的帧可以被结合并被显示为视频。在一些示例中，经处理的帧可以是可以在输出之后被保存到存储器的静止帧。图1的图示不旨在指示示例流水线100将包括图1中所示的所有组件。相反，可以使用更少组件或图1中未示出的附加组件(例如，附加的阶段、输入、输出等)来实现示例流水线100。图2是示出示例流水线的示例时间噪声减少和运动自适应图像增强阶段的详细框图。示例流水线总地由标号200表示，并且可以使用下面的图5的成像设备500来实现。例如，示例流水线200可以在下面的成像设备500的ISP504中实现。示例流水线200包括输入102、时间噪声减少阶段114、运动自适应图像增强阶段116、输出118、运动数据缓冲器202和输出帧缓冲器204。在一些示例中，输入102可以由流水线化ISP的早期阶段来预处理，例如镜头阴影校正阶段、去马赛克阶段以及其他适当的阶段。在图2中，时间本文档来自技高网...

【技术保护点】
1.一种用于图像处理的装置，包括：运动自适应图像增强器，所述运动自适应图像增强器用于：接收运动数据和具有减少的噪声的图像；并且基于所述运动数据来处理所述图像的被遮挡区域；并且生成增强图像。

【技术特征摘要】
【国外来华专利技术】2016.04.20 US 15/133,4551.一种用于图像处理的装置，包括：运动自适应图像增强器，所述运动自适应图像增强器用于：接收运动数据和具有减少的噪声的图像；并且基于所述运动数据来处理所述图像的被遮挡区域；并且生成增强图像。2.根据权利要求1所述的装置，还包括时间噪声减少器，用于基于多个连续捕获的帧生成所述运动数据。3.根据权利要求1所述的装置，还包括时间噪声减少器，用于基于所述运动数据减少所述被遮挡区域中的噪声。4.根据权利要求1所述的装置，还包括运动数据生成器，用于接收包括具有减少的噪声的所述图像的多个图像并生成所述运动数据。5.根据权利要求1所述的装置，其中，所述运动数据包括输入帧和参考帧之间的绝对差之和。6.根据权利要求1-5的任意组合所述的装置，其中，所述运动数据包括经时间平滑的运动数据。7.根据权利要求1-5的任意组合所述的装置，其中，所述图像包括低光图像。8.根据权利要求1-5的任意组合所述的装置，其中，所述运动数据包括低于所述图像的分辨率的分辨率。9.根据权利要求1-5的任意组合所述的装置，其中，所述运动自适应图像增强器基于所述运动数据来锐化所述图像。10.根据权利要求1-5的任意组合所述的装置，其中，所述被遮挡区域对应于移动对象。11.一种用于处理图像的方法，包括：经由图像信号处理器基于多个连续图像生成运动数据；经由所述图像信号处理器在时间上平滑所述运动数据；以及经由所述图像信号处理器基于经时间平滑的运动数据来处理图像。12.根据权利要求11所述的方法，其中，生成所述运动数据包括对输入图像和参考图像之间的绝对差进行求和。13.根据权利要求11所述的方法，其中，在时间上平滑所述运动数据包括对所述运动数据应用时间低...

【专利技术属性】
技术研发人员：西村俊，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：美国,US