一种基于云端处理的实时高清抠像方法技术

本发明专利技术涉及一种基于云端处理的实时高清抠像方法，所述实时高清抠像方法包括：对基于(Y，U，V)颜色空间的视频图像/图片进行预处理；将预处理后具有统一格式的视频图像/图片作为实时输入源输入云导播台；扫描输入源的每帧视频图像/图片的所有像素点的信息；选取色键对来自实时输入源的前景图像进行抠像计算；基于抠像计算结果对前景图像和背景图像进行融合计算并进行实时融合。本发明专利技术公开了一种快速高清抠像算法，利用算法实时性的优势，融合到云导播台中，实现了云端人物和虚拟背景的有效合成。

A real-time high-definition image matting method based on cloud processing

The present invention relates to a real-time HD cloud based processing methods like pull, including the real-time HD matting method based on: (Y, U, V) color space of video image / picture pretreatment; video / image preprocessed with unified format as a real-time input source input cloud director Taiwan; scan input source for each frame of video images / pictures of all the pixel information; selecting color button to pull the foreground image from the real-time input sources like calculation; matting on the calculation results of the foreground image and background image fusion and fusion based on real-time calculation. The invention discloses a fast algorithm using HD matting algorithm, real-time advantages, integration to achieve effective cloud director in Taichung, the characters and the background of the virtual cloud synthesis.

【技术实现步骤摘要】
一种基于云端处理的实时高清抠像方法
本专利技术涉及云流媒体实时抠像
，具体涉及一种基于云端处理的实时高清抠像方法。
技术介绍
抠像技术的产生源自于早期的电视制作，虚拟演播室的搭建也是基于该需求。演播室的抠像主要涉及蓝/绿幕的抠像。其前期源采集过程要求严格，且成本高昂(包括均匀的光照和性能优良的录制设备)，并且在抠像环节上，主流仍然选择的是价格较高的硬件导播台，因其避免了编解码的耗时转换，从来能基本满足抠像的性能需求。蓝/绿幕的抠像在现有的一些算法性能上也参差不齐，包括边缘的轮廓的优化，溢色的处理和前景与背景的融合等。目前市面上存在的抠像软件，如photoshop，虽然经过人工的处理能调试出较优的抠像效果，但是其对于操作人员的抠像技术的专业要求非常高，并且整个过程耗时耗力，无法满足使用者实时直播中快速高清的性能要求。有鉴于此，我们开发了高清的抠像算法并且融合到我们自行开发研制的云端导播台中，在确保效果优良的前提下，极大地满足抠像的实时性要求。并且，将硬件的抠像转移到云端进行处理，极大提升了抠像性能并已达到缩减成本的目的。
技术实现思路
本专利技术的目的在于提供一种基于云端处理的实时高清抠像方法，用以解决现有抠像技术耗时耗力无法满足使用者实时直播中快速高清的性能要求的问题。为实现上述目的，本专利技术公开了一种基于云端处理的实时高清抠像方法，所述实时高清抠像方法包括：对基于(Y，U，V)颜色空间的视频图像/图片进行预处理；将预处理后具有统一格式的视频图像/图片作为实时输入源输入云导播台；扫描输入源的每帧视频图像/图片的所有像素点的信息；选取色键对来自实时输入源的前景图像进行抠像计算；基于抠像计算结果对前景图像和背景图像进行融合计算；所述融合计算公式为：respixel＝fgpixel-back_contrib+bgalpha×bgpixel其中，respixel为合成结果图像的像素值，fgpixel前景图像的像素值，bgpixel为背景图像的像素值，back_contrib为背景图像贡献值，bgalpha为背景图像像素透明度；和基于融合计算结果对前景图像和背景图像进行实时融合。本专利技术公开的上述一种基于云端处理的实时高清抠像方法，所述前景图像的抠像计算过程包括：将前景像素点由(U，V)颜色空间坐标系旋转至(X，Z)颜色空间坐标系中进行操作；在(X，Z)颜色空间坐标系中对像素点区域进行分区处理；得到第一区域和第二区域，其中，第一区域内像素点的像素值与色键像素值差异大，第二区域内像素点的像素值与色键像素值相同或相近；对于第二区域中的像素点保持前景不变性，直接反转至(U，V)颜色空间坐标系中输出；对于第一区域中的像素点进行前景源像素抑制处理；得到第一区域中像素点经前景源像素抑制处理后的(X，Z)颜色空间坐标系坐标值(x′0，z′0)和前景图像像素透明度fgalpha的值；将第一区域中像素点经前景源像素抑制处理后的(X，Z)颜色空间坐标系坐标(x′0，z′0)反转至(U，V)颜色空间坐标系中；根据前景图像像素透明度fgalpha计算得到背景图像像素透明度bgalpha的值和第一区域中像素点经前景源像素抑制处理后的(Y，U，V)颜色空间坐标系坐标值(Y′，U′，V′)。本专利技术公开的上述一种基于云端处理的实时高清抠像方法，所述前景像素点以色键向量在(U，V)颜色空间坐标系中的向量角beta由(U，V)颜色空间坐标系顺时针旋转至(X，Z)颜色空间坐标系中。本专利技术公开的上述一种基于云端处理的实时高清抠像方法，旋转颜色空间坐标系后，所述前景像素点在(X，Z)颜色空间坐标系中的坐标值为：X＝(pixel×key_color_u+pixel×key_color_v)/128Z＝(pixel×key_color_u-pixel×key_color_v)/128其中，pixel为前景原始图像的像素值，key_color_u为色键向量在(U，V)颜色空间坐标系中的U分量值，key_color_v为色键向量在(U，V)颜色空间坐标系中的V分量值。本专利技术公开的上述一种基于云端处理的实时高清抠像方法，利用区域角area_angle的赋值信息在(X，Z)颜色空间坐标系中对所述像素点区域进行分区处理，所述区域角在0-90°范围区间内进行赋值。本专利技术公开的上述一种基于云端处理的实时高清抠像方法，所述第二区域中的像素点保持前景不变性处理后，前景图像和背景图像进行融合计算的结果为：respixel＝fgpixel。本专利技术公开的上述一种基于云端处理的实时高清抠像方法，所述对于第一区域中的像素点进行前景源像素抑制处理过程包括：将(X，Z)颜色空间坐标系第一区域中的像素点(x0，z0)沿X轴负方向投影到第一区域和第二区域的分界线上；投影之后，像素点(x0，z0)转换为投影点的坐标为(x′0，z′0)：z′0＝z0x′0＝z0/tg(area_angle)；根据像素点在(X，Z)颜色空间坐标系中的投影前后的X分量的差值估算该点前景合成时的透明度信息，前景图像像素透明度fgalpha的估算公式为：fgalpha＝x0-|z0|/tg(area_angle)。本专利技术公开的上述一种基于云端处理的实时高清抠像方法，所述第一区域中像素点经前景源像素抑制处理后的(Y，U，V)颜色空间坐标系坐标值(Y′，U′，V′)的计算公式为：Y′＝Y-a×fgalphaU′＝(x′0×key_color_u+x′0×key_color_v)×128V′＝(z′0×key_color_u-z′0×key_color_v)×128其中，a＝key_color_y/fgalpha，key_color_y为色键在(Y，U，V)颜色空间坐标系中的Y分量像素值，Y是原始像素点在(Y，U，V)颜色空间坐标系中的Y分量像素值。本专利技术公开的上述一种基于云端处理的实时高清抠像方法，所述背景图像像素透明度bgalpha的值的计算公式为：bgalpha＝255-fgalpha其中，255为(Y，U，V)颜色空间坐标系中透明通道像素分量的最大值。本专利技术还公开了一种基于云端处理的实时高清抠像系统，所述前景图像的抠像计算过程还包括溢色处理，所述溢色处理过程包括：将色键周围以噪声水平noise_level为半径的范围内的颜色作为实际色键区间；通过修正来得到最终的作为背景融合权值的背景图像像素透明度，所述背景融合权值的修正公式为：如果，pixel_dist<noise_level×noise_level，那么，bgalpha＝255，其中，pixel_dist＝(x0-key_color_x)2+(z0-key_color_z)2，pixel_dist为(X，Z)颜色空间坐标系中像素点与色键的距离，(x0,z0)为(X，Z)颜色空间坐标系中任一像素点的坐标，(key_color_x，key_color_z)为色键在(X，Z)颜色空间坐标系中的坐标。本专利技术具有如下优点：本专利技术公开了一种快速高清抠像算法，利用算法实时性的优势，融合到云导播台中，实现了云端人物和虚拟背景的有效合成。另外，用户也可自行定义合成背景(包括图片和视频)，形成一种实时高清、成本低廉且操作简便云端抠像方法，即可应用在音视频领域，尤其是在云流媒本文档来自技高网...

【技术保护点】
一种基于云端处理的实时高清抠像方法，其特征在于，所述实时高清抠像方法包括：对基于(Y，U，V)颜色空间的视频图像/图片进行预处理；将预处理后具有统一格式的视频图像/图片作为实时输入源输入云导播台；扫描输入源的每帧视频图像/图片的所有像素点的信息；选取色键对来自实时输入源的前景图像进行抠像计算；基于抠像计算结果对前景图像和背景图像进行融合计算；所述融合计算公式为：respixel＝fgpixel‑back_contrib+bgalpha×bgpixel其中，respixel为合成结果图像的像素值，fgpixel前景图像的像素值，bgpixel为背景图像的像素值，back_contrib为背景图像贡献值，bgalpha为背景图像像素透明度；和基于融合计算结果对前景图像和背景图像进行实时融合。

【技术特征摘要】
1.一种基于云端处理的实时高清抠像方法，其特征在于，所述实时高清抠像方法包括：对基于(Y，U，V)颜色空间的视频图像/图片进行预处理；将预处理后具有统一格式的视频图像/图片作为实时输入源输入云导播台；扫描输入源的每帧视频图像/图片的所有像素点的信息；选取色键对来自实时输入源的前景图像进行抠像计算；基于抠像计算结果对前景图像和背景图像进行融合计算；所述融合计算公式为：respixel＝fgpixel-back_contrib+bgalpha×bgpixel其中，respixel为合成结果图像的像素值，fgpixel前景图像的像素值，bgpixel为背景图像的像素值，back_contrib为背景图像贡献值，bgalpha为背景图像像素透明度；和基于融合计算结果对前景图像和背景图像进行实时融合。2.如权利要求1所述的基于云端处理的实时高清抠像方法，其特征在于，所述前景图像的抠像计算过程包括：将前景像素点由(U，V)颜色空间坐标系旋转至(X，Z)颜色空间坐标系中进行操作；在(X，Z)颜色空间坐标系中对像素点区域进行分区处理；得到第一区域和第二区域，其中，第一区域内像素点的像素值与色键像素值差异大，第二区域内像素点的像素值与色键像素值相同或相近；对于第二区域中的像素点保持前景不变性，直接反转至(U，V)颜色空间坐标系中输出；对于第一区域中的像素点进行前景源像素抑制处理；得到第一区域中像素点经前景源像素抑制处理后的(X，Z)颜色空间坐标系坐标值(x′0，z′0)和前景图像像素透明度fgalpha的值；将第一区域中像素点经前景源像素抑制处理后的(X，Z)颜色空间坐标系坐标(x′0，z′0)反转至(U，V)颜色空间坐标系中；根据前景图像像素透明度fgalpha计算得到背景图像像素透明度bgalpha的值和第一区域中像素点经前景源像素抑制处理后的(Y，U，V)颜色空间坐标系坐标值(Y′，U′，V′)。3.如权利要求2所述的基于云端处理的实时高清抠像方法，其特征在于，所述前景像素点以色键向量在(U，V)颜色空间坐标系中的向量角beta由(U，V)颜色空间坐标系顺时针旋转至(X，Z)颜色空间坐标系中。4.如权利要求2所述的基于云端处理的实时高清抠像方法，其特征在于，旋转颜色空间坐标系后，所述前景像素点在(X，Z)颜色空间坐标系中的坐标值为：X＝(pixel×key_color_u+pixel×key_color_v)/128Z＝(pixel×key_color_u-pixel×key_color_v)/128其中，pixel为前景原始图像的像素值，key_color_u为色键向量在(U，V)颜色空间坐标系中的U分量值，key_color_v为色键向量在(U，V)颜色空间坐标系中的V分量值。5.如权利要求2所述的基于云端处理的实时高清抠像方法，其特征在于，利用区域...

【专利技术属性】
技术研发人员：孙清，陈平，
申请(专利权)人：杭州奥点科技股份有限公司，
类型：发明
国别省市：浙江,33