本发明专利技术公开了用于处理图像的图像处理系统和方法。本发明专利技术通过分割图像的人体肖像区域对图像进行处理。本发明专利技术使用分层混合损失模块来对肖像区域进行掩模来生成经掩模的肖像区域。本发明专利技术还使用数据学习掩模肖像区域。本发明专利技术还使用数据学习掩模肖像区域。本发明专利技术还使用数据学习掩模肖像区域。
【技术实现步骤摘要】
用于处理图像的图像处理系统及方法
[0001]本专利技术一般涉及用于处理图像的肖像区域的系统和方法。更具体地，本专利技术旨在分割图像的人体肖像区域。
技术介绍
[0002]人体肖像分割技术应用于电影行业、在线教育、娱乐等领域。传统上，该任务是通过绿屏技术实现的，需要昂贵的设备和特定的环境。大多数分割方法依靠前景和背景之间的色差来实现背景消除。当色差不明显时，这些方法的结果就不太稳定。
[0003]转让给HTC公司的已授权美国专利9,807,316公开了一种技术，涉及根据自适应模型掩模从由第一相机拍摄的图像中提取对象。此外，该专利还公开了根据姿态数据POS和基于相机和前景对象之间的相对运动的自适应模型掩模。尽管该过程提供了三层掩模用于分割，但仍然做不到对整个肖像区域进行精确分割以及对图像中肖像区域进行中心对齐。
[0004]另一项转让给香港中文大学的专利申请WO2009109127公开了一种技术，涉及人体特征识别系统，该系统包括面部检测模块、人体分割模块和边界抠图模块，其中面部检测模块在混合级联结构上使用了主动提升程序和惰性提升程序。尽管该专利技术是对先前专利的改进，因为它包括一种语义对象提取技术，可用于数字视频处理、模式识别和计算机视觉，然而，该专利技术未能实现成本有效且精确地从图像中分割肖像。
[0005]另一项转让给清华大学的专利申请CN110689542提供了一种基于多级卷积神经网络的人体图像分割处理技术。尽管该专利技术是对先前专利技术的改进，以准确有效地实时划分肖像，然而，该专利仍缺乏通过简单工具进行肖像分割的能力，而是使用高科技和昂贵的工具进行分割。
[0006]因此，为了克服现有技术的缺点，例如在处理具有挑战性的人体成分(例如头发和手)时，需要提供分层混合损失而不是传统的分割损失。最后，为定制人体肖像分割应用，降低学习空间维数，创新了独特的数据增强策略，使训练数据分布均匀，性能更稳定，收敛速度更快。鉴于前述专利技术，本领域需要一种系统来克服或减轻前述现有技术的缺点。
[0007]很明显，目前在现有技术中开发了许多适合各种目的的方法和系统。此外，即使这些专利技术可能因此适合于它们所针对的特定目的，它们也不适合于如前所述的本专利技术的目的。因此，需要一种先进的图像处理系统来识别图像中的人体肖像并进行分割，然后将图像中的对齐肖像输出。
技术实现思路
[0008]本专利技术利用低成本神经网络来预测对象分割。本专利技术包括一种跳跃(skip)融合连接网络结构，它使用较少的隐藏层参数并大大降低了计算成本。
[0009]新兴且快速发展的智能移动设备的使用，使人们能够在一次点击距离内体验到更便捷、更智能的生活方式。不同于传统笨重的PC甚至笔记本电脑，智能手机以其超强的便携性和超强的计算能力成为了我们日常的得力助手。人们使用智能手机进行商务会议、订餐、
购买电影票。
[0010]除了基本的和被动的交互之外，人们现在期望与设备进行更深入的沟通，这迫使它具有更加智能的装备。得益于强大的深度学习技术，智能设备能够更好地理解世界。由于此类设备将经常与人类用户交互，因此对人体属性或行为的理解非常重要。
[0011]语义分割作为必不可少的基本功能，可以通过机器的语义级智能，以像素级的精度提供感兴趣对象在图像中的位置。它为摄影美化、AR、VR等商业应用方面的进一步处理和改进铺平了道路。然而，如何在边缘计算芯片上提供高质量和鲁棒的语义分割掩模，同时降低计算复杂度是非常具有挑战性的。
[0012]在深度神经网络盛行之前，希望实现人体肖像分割的研究人员需要手动提取肤色、体型、面部特征等特征，然后将这些发送到设计好的分类器(如Adaboost)中。这些方法通常存在泛化不足的问题。它们对外部噪声很脆弱，例如光照变化、身体形状变形、甚至运动模糊。
[0013]深度学习网络的出现能够缓解此类问题，因为它们通过强大的回归能力从大量示例中学习。鲁棒性问题得到了很大改善，但仍不足以应用于工业应用，尤其是在嵌入式或移动设备上。
[0014]为了保证这个像素级分类问题的准确性，大多数研究人员使用了FCN等非常重的网络，这给设备带来了很大的计算成本。很少有创新设计高效但硬件友好的网络来平衡性能和复杂性之间的矛盾。
[0015]对细节进行分割需要额外的努力，这通常会导致更复杂的网络，如头部抠图。通过在训练期间应用损失惩罚是解决该问题的方法。
[0016]最后，对于训练集，为了提高样本的多样性，数据增强被广泛采用。然而，随着数据量的增加，人的位置分布将不太均匀。很少有工作解决这个问题，因为很少有高质量的人体分割数据集可用，并且为了适应低质量的标注，他们倾向于使用高复杂度的网络。如果希望减少网络的神经层，则要学习的目标问题的维度也应相应减少。
[0017]本专利技术的主要目的是提供一种新颖的人体肖像分割系统，其具有可部署的复杂性和卓越的性能。该系统是一种用于处理图像的图像处理系统，其中图像处理系统包括分类模块，该分类模块由编码器
‑
解码器单元和跳跃融合连接逻辑组成。
[0018]编码器
‑
解码器单元包括编码器和解码器。编码器从肖像区域中提取和分类多个区别特征和多个相似特征。所述多个相似特征是基于一个或多个预定义级别的语义类别进行分类的。解码器对一个或多个相似的特征进行细化，以生成多个细化的特征。跳跃融合连接逻辑将该多个细化特征级联以生成图像的细化肖像区域。
[0019]分层混合损失模块包括二元交叉熵(BCE)损失单元、梯度损失单元和局部二元交叉熵(BCE)损失单元。BCE损失单元用于调节应用于细化肖像区域的第一部分上的第一掩模。梯度损失单元用于将第二掩模应用于细化肖像区域，并且局部二元交叉熵损失单元用于调节应用于细化肖像区域的第二部分上的第三掩模以形成掩模肖像区域。
[0020]以人体为中心(human centric)的数据增强模块用于对掩模肖像区域与中心区域进行预对齐，并生成输出图像。
[0021]本专利技术的另一个目的是提供一种具有轻跳跃连接融合的编码器
‑
解码器架构，以生成图像的细化肖像区域。
[0022]本专利技术的另一个目的是提供用于丰富细节分割并形成掩模肖像区域的分层混合损失。
[0023]本专利技术的又一个目的是提供一种以人体为中心的数据增强方案，以使训练数据分布均匀，而且对掩模肖像区域与中心区域进行预对齐，并生成输出图像。
[0024]本专利技术的其他目的和方面将结合附图从以下详细描述中变得明显，这些附图通过示例的方式示出了根据本专利技术的实施例的特征。
[0025]为了实现上述和相关的目的，本专利技术可以以附图中所示的形式实施，但是要注意以下事实：附图仅是说明性的，并且可以在所附权利要求的范围内说明和描述的具体结构中做出改变。
[0026]尽管上面根据各种示例性实施例和实施方式描述了本专利技术，但是应当理解，在一个或多个单独的实施例中描述的各种特征、方面和功能不限于它们对特定实施例的适用性，相反，本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种用于处理图像的图像处理系统，其特征在于，包括：分类模块，用于对所述图像的肖像区域进行分类，其中，所述分类模块包括：编码器
‑
解码器单元，其中，所述编码器
‑
解码器单元包括：编码器，用于从所述肖像区域中提取和分类多个区别特征和多个相似特征，其中，所述多个相似特征基于一个或多个预定义级别的语义类别进行分类；和解码器，用于对所述一个或多个相似特征进行细化以生成多个细化特征；跳跃融合连接逻辑，用于将所述多个细化特征级联以生成所述图像的细化肖像区域；分层混合损失模块，其中，所述分层混合损失模块包括：二元交叉熵BCE损失单元，用于调节应用于所述细化肖像区域的第一部分上的第一掩模；梯度损失单元，用于将第二掩模应用于所述细化肖像区域；和局部二元交叉熵BCE损失单元，用于调节应用于所述细化肖像区域的第二部分上的第三掩模以形成掩模肖像区域；以人体为中心的数据增强模块，用于对所述掩模肖像区域与中心区域进行预对齐，并生成输出图像。2.根据权利要求1所述的图像处理系统，其特征在于，所述编码器和所述解码器形成多个层。3.根据权利要求1所述的图像处理系统，其特征在于，所述跳跃融合连接逻辑以所述一个或多个预定义级别中的每一个重新使用所述多个细化特征以生成所述细化肖像区域。4.根据权利要求3所述的图像处理系统，其特征在于，所述级联是由所述跳跃融合连接逻辑基于融合神经元执行的。5.如权利要求4所述的图像处理系统，其特征在于，所述融合神经元被训练以学习所述多个细化特征之间的融合比率。6.根据权利要求1所述的图像处理系统，其特征在于，所述跳跃融合连接逻辑基于通道的尺寸和数量的相似性来级联所述多个细化特征。7.根据权利要求1所述的图像处理系统，其特征在于，所述第一部分是人体肖像。8.如权利要求1所述的图像处理系统，其特征在于，所述第二部分是所述人体肖像的手或脚。9.根据权利要求1所述的图像处理系统，其特征在于，所述梯度损失单元通过分析所述肖像区域的一个或多个隆起来应用所述第二掩模。10.根据权利要求9所述的图像处理系统，其特征...
【专利技术属性】
技术研发人员：屠方闻，李博，徐劲，单记章，
申请(专利权)人：黑芝麻智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。