一种图像和视频快速着色的方法技术

图像和视频快速着色的方法涉及灰度图像和视频的着色为彩色图像和视屏，以及彩色图像和视频的重新着色的方法，利用用户在灰度图像上勾画的少许颜色信息，结合边缘分析和纹理模式分析对像素的局部连接能量进行定义，采用二维动态规划算法求得像素到各已知颜色点的最短距离，并将距离作为权重对颜色进行混合。本发明专利技术的着色方法速度快，能让用户实时的看到着色效果图，实现交互编辑；利用颜色在时间轴的颜色梯度变化，将着色扩展到视频上；利用颜色和亮度的综合约束对彩色图像进行重新着色。

【技术实现步骤摘要】

本专利技术涉及图像与视频快速着色方法，尤其涉及灰度图像和视频的着色为彩色 图像和视屏，以及彩色图像和视频的重新着色的方法。属于图像信息处理领域。
技术介绍
对于黑白照片、经典黑白电影、科学数据图等添加颜色信息会大大提高视觉吸 引力，另外对于已有彩色图像和视频的重新着色也是影视工作者的迫切需求。着色 (Colorization)是Wilson Markle于1970年提出的，最初用于将电影工业，现泛指将颜色信息添加到静态图像和动态的视频上，是一个将三维的颜色信息添加到只 有一维的亮度信息的图像或视频(即连续的一系列图像)的过程。因为不同的颜色 可能表现出同样的亮度，因此通过灰度图像推算出彩色值的过程是一个病态问题(ill-posed problem),没有一个绝对的正确方案。着色方法主要分为两大类半自动(Semi-automatic)着色和用户引导(User-guided)着色。半自动着色通过分析学习已有的图像库的颜色信息与亮度、 纹理之间的关系，将这种关系映射到新的灰度图像上，实现灰度图的着色。这类着 色方法的好处就是不需要人的参与，能批量的对图像、视频进行着色，但是半自动 着色方法对于图像库的要求相当高，并且需要对各种情况进行分析学习，往往实现 的结果不能令人满意。用户引导着色需要人为的添加一部分颜色信息，再由计算机 对其他部分进行颜色填充。由于视觉效果本身就带有主观性，由于人的参与，使着 色的约束增强，能更加接近预期的效果。用户引导的着色已成为主流研究方向。目前着色的最大难题就是计算量大的问题。通常对于一副320*240的静态图像 的计算时间都在IO秒以上，用户很难交互的对图像的着色结果进行修改。对于视频 的着色速度更是缓慢。而且现有的着色算法的边界颜色混淆(color confusion)现 象很严重。
技术实现思路
技术问题:本专利技术的目的在于针对现有着色技术的不足速度慢、边界颜色混淆、交互性差等问题，提供一种实时交互、亮度与纹理模式综合分析、添加边界与 梯度约束的。技术方案本专利技术首先将灰度图像映射到三维颜色空间，着色问题也就是通过 图像中已知的亮度值，推算出未知的颜色信息， 首先提出以下三个假设 相同区域的像素的颜色相关性大，不同区域的颜色相关性小， 同一区域相似亮度的像素的颜色也相似， 颜色变化平滑； 对于静态图像着色步骤如下步骤A在灰度图像上用画笔工具交互添加少许颜色信息；步骤B综合分析灰度图像的亮度分布、纹理分布以及图像的边缘分布，计算出 图像中的灰度像素的受已知颜色的影响程度；步骤C通过对颜色进行混合渲染，生成彩色效果步骤D用户如对局部效果不满意，可通过画笔工具重新添加或修改颜色信息， 回到步骤A，直至得到满意结果。对于视频(即连续的一系列图像)进行着色，针对同一场景的连续片段，考虑 到亮度和颜色分量在时间轴的变化相似，通过对其中一帧进行交互着色后，根据颜 色在时间轴的变化，将颜色信息到添加到其他连续帧。对已经有颜色的图像进行着色，只用将步骤B中的亮度分布替换已知的颜色分布即可。对于视频(即连续的一系列图像)进行着色，传统的方法是利用光流进行计算， 效率低下，无法达到实时。本专利技术针对同一场景的连续片段，考虑到亮度和颜色分 量在时间轴的变化相似性，通过对其中一帧进行交互着色后，根据亮度变化程度将 颜色信息添加到到其他连续帧，大大提高了视频着色的效率。当用户对彩色图像或者视频中的颜色不满意，对其颜色进行局部或整体替换的过程，称为彩色图像的重新着色。只用将上述步骤B中的亮度分析替换为已知的颜 色分析，就可以将着色算方法应用到彩色图像的重新着色上。有益效果:与现有技术相比，本专利技术提出了 一种实时交互的图像和视频着色和重新着色方法。解决了传统方法颜色混淆、着色过程复杂、计算量大的问题。对于电影工业，特别是卡通动画的编辑着色有很重要的意义，附图说明图1是本专利技术的图像与视频的着色方法的整体框具体实施例方式如图l所示，本专利技术的着色算法的输入可以是灰度图像、彩色图像或者视频数据，对于视频数据需要先进行场景分割，然后再对同一场景的连续片段的首帧图像进行的着色处理，用户可以交互性的添加颜色笔画于图像上，着色模块结合边缘约束和纹理模式分析，通过能量定义计算出个像素点到颜色点的最短路径，然后进行颜色混合计算出各个像素点的颜色值，并且实时显示，如对局部结果不满意，可以重新勾画或修改颜色，直到绘制结果为止。对于视频着色还要利用亮度在时间轴的梯度推算出颜色梯度，对剩余帧进行着色。为便于深刻理解本专利技术的
技术实现思路
，下面结合附图对本专利技术进行详细说明。1. 对输入的视频数据，进行连续帧对比，当差异值超过阈值时认为场景变化。对于同一场景的连续片段分别进行着色。首先提取首帧图像进行着色。2. 用户通过画笔在灰度图上勾画出少许彩色线条(见图2的中间数据图)。着色的目标就是通过分析灰度图的亮度分布和纹理模式，利用用户提供的少许颜色信息推算出整个图像的颜色。也就是找出影响灰度像素最大的一个或几个彩色像素，再进行颜色混合。我们将其抽象为一个最短路径最小能量问题。最短路径的核心问题是局部链接能量定义问题。我们定义J(/^)= mv力Om),其中J为相邻像素点p， g的能量，々为纹理模式分量，^为边缘分量权重，vv。为梯度分量权重，vv为纹理模式分量权重。3. 边缘提取与分析。为了解决传统着色方法颜色混淆的问题，特别是对卡通图像，在局部能量定义中，我们添加了边缘分量，并且通过权重值调整边缘分量的比重J '(p， g) - w￡l/E(p, 9) + J'(p， g) = w￡</￡ (p， g) + wcl/c(《)+ a人(p，《)，其中A为边缘分量，_/。为梯度分量。通过边缘提取算子提取边缘像素，并且对边缘强度进行分析，对颜色的 穿越起到衰减作用。能有效的防止颜色混淆的现象的产生。4. 纹理模式分析。图像中经常存在着大量重复纹理，如果单纯当作边缘进行提 取，就会使颜色填充出现断裂和不准确。通过纹理模式分析，找出纹理连续区域， 降低此区域的纹理模式分量々，在纹理变化的部分，加大纹理模式分量^。同时对 于卡通图像等重复纹理较多的图像可加大纹理模式分量权重^ 。5. 根据以上能量定义，计算出的连接能量的像素点作为节点构成一个图，求出 每个像素点到用户勾画的像素点的最短距离。6. 颜色混合，用户勾画的颜色不止一种，那么每种颜色都会对其他像素产生影 响，我们根据计算出的每种颜色值的到像素的最短距离，然后进行混合c=-其中C表示待求的像素的颜色值，4为颜色c的用户勾画像素点到待求像素点 的最短距离。w(.)混合权重，我们定义W(r)=e《''2。为了加快颜色混合速度，我们只 用计算距离最短的前三位进行混合。7. 视屏着色时间轴分析。当场景相同，且运动连续时，我们假设在时间轴上颜 色也具有连续性，将已着色的首帧图像的颜色信息添加到其他帧-sy dt/-- -=-3/a3/ ，其中t为时间，Y、 U、 V为YUV颜色空间的三个分量，Y表示亮度，U表示第一 维色度，V表示第二维色度，Y和V之间的差值成为色差。8. 彩色图像重新着色。用户在希望改变颜色的其余勾画少许彩色线条。彩色图 像不仅提供亮度信息，还提供颜色信息。对着色算法添加颜色约本文档来自技高网...

【技术保护点】
一种图像和视频快速着色的方法，其特征在于，首先将灰度图像映射到三维颜色空间，着色问题就变成通过已知的亮度值，推算出颜色分量，首先提出以下三个假设：　◆相同区域的像素的颜色相关性大，不同区域的颜色相关性小，　◆同一区域相似亮度的像 素的颜色也相似，　◆颜色变化平滑；　对于静态图像着色步骤如下：　步骤Ａ在灰度图像上用画笔工具交互添加少许颜色信息；　步骤Ｂ综合分析灰度图像的亮度分布、纹理分布以及图像的边缘分布，计算出图像中的灰度像素的受已知颜色的影 响程度；　步骤Ｃ通过对颜色进行混合渲染，生成彩色效果图；　步骤Ｄ用户如对局部效果不满意，可通过画笔工具重新添加或修改颜色信息，回到步骤Ａ，直至得到满意结果。　对于视频进行着色，针对同一场景的连续片段，考虑到亮度和颜色分量在 时间轴的变化相似，通过对其中一帧进行交互着色后，根据颜色在时间轴的变化，将颜色信息到添加到其他连续帧。　当用户对彩色图像或者视频中的颜色不满意，对其颜色进行局部或整体替换的过程，称为彩色图像的重新着色。只用将上述步骤Ｂ中的亮度分析替换 为已知的颜色分析，就可以将着色算方法应用到彩色图像的重新着色上。...

【技术特征摘要】

【专利技术属性】
技术研发人员：吉逸，姚莉，
申请(专利权)人：东南大学，
类型：发明
国别省市：84[中国|南京]