相机噪声模型产生及使用方法以及使用该方法的装置制造方法及图纸

相机噪声模型产生及使用方法以及使用该方法的装置。本发明专利技术的实施例提出一种由处理单元执行的相机噪声模型产生及使用方法。通过相机模块控制器控制相机模块取得第一帧，以及依据第一帧的内容在线产生相机噪声模型，其中，相机噪声模型为像素值与标准差之间的关系。通过相机模块控制器控制相机模块取得第二帧，以及使用相机噪声模型调整第二帧的内容并且存储调整后第二帧至帧缓存器。

【技术实现步骤摘要】

本专利技术涉及一种图像处理技术，特别是一种相机噪声模型产生及使用方法以及使 用该方法的装置。
技术介绍
图像噪声指图像中亮度及色度信息的随机变异，通常是一种电子噪声，可能产生 自传感器以及扫描器（scanner)或数字相机的电路。图像噪声可能源于底片颗粒（film grain)以及光检测器（photon detector)中无法避免的散粒噪声（shot noise)。图像噪 声是捕捉图像时不想要的副产品，增加了伪多余信息。因此，需要一种相机噪声模型产生及 使用方法以及使用该方法的装置，用以减少图像噪声。
技术实现思路
本专利技术的实施例提出一种由处理单元执行的相机噪声模型产生及使用方法。通 过相机模块控制器控制相机模块取得第一帧，以及依据第一帧的内容在线产生相机噪声模 型，其中，相机噪声模型为像素值与标准差之间的关系。通过相机模块控制器控制相机模 块取得第二帧，以及使用相机噪声模型调整第二帧的内容并且存储调整后第二帧至帧缓存 器。 本专利技术的实施例提出一种相机噪声模型产生及使用装置，至少包含帧缓存器及处 理单元。处理单元耦接于帧缓存器，通过相机模块控制器控制相机模块取得第一帧；依据第 一帧的内容在线产生相机噪声模型，其中，上述相机噪声模型为像素值与标准差之间的关 系；通过相机模块控制器控制相机模块取得第二帧；以及使用相机噪声模型调整第二帧的 内容并且存储调整后第二帧至帧缓存器。 本专利技术的前述相机噪声模型产生及使用方法配合相机模块实时处理，与离线方式 产生的预先校准过相机噪声模型相比，本专利技术充分考虑了相机模块的工作环境的影响。此 外，本专利技术用第一帧的数据在线产生实时的相机噪声模型用于第二帧数据的去噪处理，实 现流水线形式的作业。【附图说明】 图1是依据本专利技术实施例的运算装置的系统架构图。 图2是依据本专利技术实施例由处理单元执行的相机噪声模型产生方法的方法流程 图。 图3是依据本专利技术实施例的R-、Gr-、Gb-及B-块的取得示意图。 图4A是依据本专利技术实施例的第一模式示意图。 图4B是依据本专利技术实施例的第二模式示意图。 图4C是依据本专利技术实施例的第三模式示意图。 图5是依据本专利技术实施例的相机噪声模型示意图。 图6是依据本专利技术实施例的相机去噪装置的系统方块图。 图7是依据本专利技术实施例的由处理单元载入及执行时域去噪模块的相关指令的 时域去噪方法流程图。 图8是依据本专利技术实施例的由处理单元载入及执行空域去噪模块的相关指令的 时域去噪方法流程图。 【符号说明】 110处理单元； 130帧缓存器； 140非易失性存储器； 150易失性存储器； 170相机模块控制器； 190相机模块； S211~S293方法步骤； 310贝尔格式图像； 330 R-块； 350 Gr-块； 370 Gb-块； 390 B-块； 610噪声估计模块； 630时域去噪模块； 650空域去噪模块； S711~S753方法步骤； S811~S853方法步骤。【具体实施方式】 以下说明为完成专利技术的优选实现方式，其目的在于描述本专利技术的基本精神，但并 不用以限定本专利技术。实际的
技术实现思路
必须参考之后的权利要求范围。 必须了解的是，使用于本说明书中的"包含"、"包括"等词，用以表示存在特定的技 术特征、数值、方法步骤、作业处理、元件和/或组件，但并不排除可加上更多的技术特征、 数值、方法步骤、作业处理、元件、组件，或以上的任意组合。 在权利要求中使用如"第一"、"第二"、"第三"等词用来修饰权利要求中的元件，并 非用来表示之间具有优先权顺序，先行关系，或者是一个元件先于另一个元件，或者是执行 方法步骤时的时间先后顺序，仅用来区别具有相同名字的元件。 图1是依据本专利技术实施例的运算装置的系统架构图。此系统架构可实施于桌上 型计算机、笔记型计算机、平板计算机、手机、数字相机、数字摄像机等，至少包含处理单元 110。处理单元110可使用多种方式实施，例如以专用硬件电路或通用硬件（例如，单一 处理器、具并行处理能力的多处理器、图形处理器或其他具运算能力的处理器），并且在执 行固件或软件时，提供之后所描述的功能。处理单元110可整合于图像信号处理器（ISP， Image Signal Processor)中，并且可通过相机模块控制器170控制相机模块190用以捕捉 多个帧。相机模块190可包含图像传感器，例如，互补式金属氧化物半导体（complementary metal-oxide-semiconductor，CMOS)、电荷親合元件（charge-coupled device，CCD)等传感 器，用以感测由红、绿、蓝光强度所形成的图像，以及包含读取电子电路，用以从图像传感器 搜集感测到的数据。相机噪声模型不只受到图像传感器工艺的影响，也会受到一些环境因 素影响，例如温度、湿度甚至所拍摄对象本身等。离线方式产生的预先校准过相机噪声模型 并无法消除由环境因素产生的噪声。所以，处理单元110可依据捕捉到的一个帧产生相机 噪声模型，并且使用相机噪声模型修正之后捕捉到的帧，并将修正后结果存储在帧缓存器 (frame buffer) 130。易失性存储器150,例如动态随机存取存储器（DRAM，Dynamic Random Access Memory)，用以存储执行过程中需要的数据，例如，变量、数据表（data tables)等。 本专利技术的相机噪声模型产生及使用方法由处理单元110执行：首先通过相机模块控制器 170控制相机模块190取得一个帧（frame)。依据该帧的内容在线产生一相机噪声模型，其 中，相机噪声模型为像素值与标准差之间的关系，这里的"像素值"是指一个像素在各色彩 通道（如R-、Gr-、Gb-及B-通道）下亮度值或强度值。再通过相机模块控制器170控制相 机模块190取得下一帧，并使用上一帧实时计算得来的相机噪声模型调整下一帧的内容并 且将其存储至帧缓存器130。即是说，本专利技术是用上一帧的数据在线产生实时的相机噪声 模型用于下一帧数据的去噪处理，实现流水线形式的作业。与离线方式产生的预先校准过 相机噪声模型相比，本专利技术充分考虑了图像传感器所处的实时环境因素。在一实施例中，相 机模块190取得的帧均包含多个块（block)，处理单元110在目前帧中全局地搜寻平坦块 (flat block)，每一平坦块对应于一个像素值区间，且平坦块为对应该像素值区间的所有 块中，像素值的标准差和海森值（Hessian value)趋向于最小的块，至于如何搜集平坦块， 后面会详述。之后，再以搜寻出的多个平坦块拟合出该相机噪声模型。在此须注意的是，下 述实施例中是基于贝尔格式（Bayer block based)的块进行处理，在各个色彩通道（如R-、 Gr-、Gb-及B-通道）分别建立前述相机噪声模型。但本专利技术并不限于此，本领域技术人员 还可以基于其他格式和单位的数据进行处理。 图2是依据本专利技术实施例由处理单元执行的相机噪声模型产生及使用方法流程 图。此流程开始于提供R-、Gr-、Gb-及B-通道对照表（步骤S211)。每一个通道对照表包 含多笔记录，每一笔记录存储相应于一段像素值区间的代表值、标准差及海森值。以12位 表示的R-通道来说，每个像素的R-值可本文档来自技高网...

【技术保护点】
一种相机噪声模型产生及使用方法，由处理单元执行，包含：通过相机模块控制器控制相机模块取得第一帧；依据上述第一帧的内容在线产生相机噪声模型，其中，上述相机噪声模型为像素值与标准差之间的关系；通过上述相机模块控制器控制上述相机模块取得第二帧；以及使用上述相机噪声模型调整上述第二帧的内容并且存储调整后第二帧至帧缓存器。

【技术特征摘要】

【专利技术属性】
技术研发人员：孔玮曼，王旭，梁爱民，
申请(专利权)人：上海兆芯集成电路有限公司，
类型：发明
国别省市：上海;31