一种智慧宣传系统技术方案

本发明专利技术公开一种智慧宣传系统，包括人体捕捉单元、图像处理单元、多样化交互单元和分享单元；人像抠图模块包括语义估计模块、细节预测模块和细节融合模块；语义估计模块用于粗糙的对前景掩码进行输出；细节预测模块用于对前景的边界进行细粒度描绘；细节融合模块用于将语义估计模块和细节预测模块生成的特征进行混合。本发明专利技术通过采用可视化、智能化、现代化的互动方式体验学习，使在宣传时，通过虚拟的方式向群众宣传，提高群众的注意力，使群众快乐的学习，提高群众学习的效果。提高群众学习的效果。提高群众学习的效果。

【技术实现步骤摘要】
一种智慧宣传系统


[0001]本专利技术涉及宣传系统
，具体为一种智慧宣传系统。

技术介绍

[0002]以往宣传工作大多是采用书文的方式，随着科技的发展，这种形式已无法满足宣传工作的管理和宣传，同时采用传统的书文形式无法做到与时俱进，其管理效率低下，宣传效果死板不易于年青一代所接受。

技术实现思路

[0003]本专利技术的目的在于提供一种智慧宣传系统，以解决上述
技术介绍
中提出的问题。
[0004]为实现上述目的，本专利技术提出了一种智慧宣传系统，包括人体捕捉单元、图像处理单元、多样化交互单元和分享单元；
[0005]所述人体捕捉单元用于对人体的动作、身体形态进行捕捉，并形成和人体动作相对应的虚拟物体；
[0006]所述图像处理单元用于对人体捕捉单元捕捉到的人像从原场景中扣离出来，所述图像处理单元包括图像调节模块和人像抠图模块，其中：
[0007]所述图像调节模块用于降低人体背景和环境光的影响效果，以便于人像抠图模块在常规环境下对流媒体中的人体进行扣离；
[0008]所述人像抠图模块用于将人体捕捉单元中捕捉到的人体进行扣离，所述人像抠图模块包括语义估计模块、细节预测模块和细节融合模块，其中：
[0009]所述语义估计模块用于粗糙的对前景掩码进行输出；
[0010]所述细节预测模块用于对前景的边界进行细粒度描绘；
[0011]所述细节融合模块用于将语义估计模块和细节预测模块生成的特征进行混合；
[0012]所述多样化交互单元用于通过人体捕捉单元捕捉的人体动作对系统中的命令进行控制；
[0013]所述分享单元用于将人体在多样化交互单元中交互的过程进行保存。
[0014]作为本技术方案的进一步改进，所述人体捕捉单元包括摄像单元、体感感应模块、采集模块和现实增强数据模块；
[0015]所述摄像单元用于拍摄并记录人体的动作；
[0016]所述体感感应模块用于对人体的体型边缘和人体的动作进行感应；
[0017]所述采集模块用于对体感感应模块感应的人体动作和体型边缘进行采集捕捉；
[0018]所述现实增强数据模块用于对采集模块捕捉到的人体动作和体型的读取，并根据人体的动作和体型上叠加虚拟物体。
[0019]作为本技术方案的进一步改进，所述体感感应模块采用光学感应中的红外传感对人体的动作进行描述。
[0020]作为本技术方案的进一步改进，所述语义估计模块采用低分辨率分支用于估计人
类语义；
[0021]所述细节预测模块采用高分辨率分支用于辨别人像边界；
[0022]所述细节预测模块通过识别语义估计模块传输来的低分辨率的图像以及可见光图像的信息，输出一副高分辨率的红外图像，其步骤如下：
[0023]首先对低分辨率红外图像进行插值放大操作，使红外图像与可见光图像大小相同；, 便于后续操作；
[0024]对插值放大的红外图像采用自适应边缘提取算法提取边缘,获得红外图像边缘；
[0025]计算红外图像与可见光图像的相关性,将红外图像的边缘区域分为相关边缘区域和非相关边缘区域；
[0026]在相关区域建立红外图像与可见光图像的二次关系模型,并根据此模型对相关边缘区域进行高频估计；
[0027]将获取的高频信息与插值放大的图像进行叠加，获得初始高分辨率红外图像；
[0028]采用迭代反投影法优化得到最终的高分辨率红外图像。
[0029]所述细节融合模块融合分支用来预测最终的前景蒙版。
[0030]作为本技术方案的进一步改进，所述自适应边缘提取算法的公式为：
[0031]T(x,y)＝ωL(x,y)G(x,y)
‑
ηL(x,y)
[0032]其中，T、L、G分别表示为图像的边缘强度图、背景亮度图和梯度图，T(x,y)表示图像中位置为(x,y)的边缘强度，L(x,y)表示图像中位置为(x,y)的背景亮度，G(x,y)表示位置为(x,v)的梯度最大值，ω和η为权重系数，ηL(x,y)项的目的是为了消除光照不均对边缘检测的影响。
[0033]作为本技术方案的进一步改进，所述多样化交互单元包括场景建立模块、人机交互模块、隔空操作模块和场景定制模块；
[0034]所述场景建立模块用于根据选择的场景进行设定场景并将图像处理单元扣出的人像放入到场景中；
[0035]所述人机交互模块用于人体控制人体捕捉单元形成的虚拟物体；
[0036]所述隔空操作模块用于人体控制虚拟物体对系统中出现的物体进行操作；
[0037]所述场景定制模块用于对2D/3D场景资源进行定制化输入。
[0038]作为本技术方案的进一步改进，所述隔空操作模块采用Otsu分割算法对人体的动作进行捕捉，其算法过程为：
[0039]设图像I(x,y)的灰度级为L级，那么图像的邻域平均灰度也分为L级；
[0040]设f(x,y)为像素点(x,y)的灰度值，g(x,y)为像素点(x,y)为中心的K*K的像素点集合的灰度平均值。令f(x,y)＝i,g(x,y)＝j，形成了一个二元组(i,j)；
[0041]设二元组(i,j)出现的次数为f
ij
,求出二元组对应的概率密度 i、j＝1、2、......、L,其中N为图像像素点总数；
[0042]任意选取一个阈值向量(s,t)选取的阈值向量将图像的二维直方图划分成4个区域，B、 C区域代表图像的前景和背景,A、D区域代表噪声点；
[0043]设C、B两个区域对应的概率分别为ω1，ω2,对应的均值矢量为μ1，μ2，整个图片所对应的均值矢量为U
T
；
[0044]忽略远离主对角线的点，则有:ω1+ω2≈1，并且U
T
＝ω1*μ1+ω2*μ2，定义一个类间离散矩阵：
[0045]S
B
(s,t)＝ω1(μ1‑
μ
T
)
T
(μ1‑
μ
T
)+ω2(μ2‑
μ
T
)
T
(μ2‑
μ
T
)
[0046]为了衡量这个离散矩阵的大小，采用矩阵的迹来代表矩阵的值,其公式为：
[0047]Tr(S
B
(s,t))＝ω1[(μ
1i
‑
μ
Ti
)2+(μ
1i
‑
μ
Tj
)2]+ω2[(μ
2i
‑
μ
Ti
)2+(μ
2i
‑
μ
Tj
)2]。
[0048]作为本技术方案的进一步改进，所述分享单元包括自动截屏模块、实时分享模块和图片保存模块；
[0049]所述自动截屏模块用于对人体在多样化交互单元中的动作进行截屏；
...

【技术保护点】

【技术特征摘要】
1.一种智慧宣传系统，包括人体捕捉单元(1)、图像处理单元(2)、多样化交互单元(3)和分享单元(4)；所述人体捕捉单元(1)用于对人体的动作、身体形态进行捕捉，并形成和人体动作相对应的虚拟物体；所述图像处理单元(2)用于对人体捕捉单元(1)捕捉到的人像从原场景中扣离出来，所述图像处理单元(2)包括图像调节模块(21)和人像抠图模块(22)，其中：所述图像调节模块(21)用于降低人体背景和环境光的影响效果，以便于人像抠图模块(22)在常规环境下对流媒体中的人体进行扣离；所述人像抠图模块(22)用于将人体捕捉单元(1)中捕捉到的人体进行扣离，所述人像抠图模块(22)包括语义估计模块(221)、细节预测模块(222)和细节融合模块(223)，其中：所述语义估计模块(221)用于粗糙的对前景掩码进行输出；所述细节预测模块(222)用于对前景的边界进行细粒度描绘；所述细节融合模块(223)用于将语义估计模块(221)和细节预测模块(222)生成的特征进行混合；所述多样化交互单元(3)用于通过人体捕捉单元(1)捕捉的人体动作对系统中的命令进行控制；所述分享单元(4)用于将人体在多样化交互单元(3)中交互的过程进行保存。2.根据权利要求1所述的智慧宣传系统，其特征在于：所述人体捕捉单元(1)包括摄像单元(11)、体感感应模块(12)、采集模块(13)和现实增强数据模块(14)；所述摄像单元(11)用于拍摄并记录人体的动作；所述体感感应模块(12)用于对人体的体型边缘和人体的动作进行感应；所述采集模块(13)用于对体感感应模块(12)感应的人体动作和体型边缘进行采集捕捉；所述现实增强数据模块(14)用于对采集模块(13)捕捉到的人体动作和体型的读取，并根据人体的动作和体型上叠加虚拟物体。3.根据权利要求2所述的智慧宣传系统，其特征在于：所述体感感应模块(12)采用光学感应中的红外传感对人体的动作进行描述。4.根据权利要求1所述的智慧宣传系统，其特征在于：所述语义估计模块(221)采用低分辨率分支用于估计人类语义，所述细节预测模块(222)采用高分辨率分支用于辨别人像边界，所述细节预测模块(222)通过识别语义估计模块(221)传输来的低分辨率的图像以及可见光图像的信息，输出一副高分辨率的红外图像，其步骤如下：首先对低分辨率红外图像进行插值放大操作，使红外图像与可见光图像大小相同；,便于后续操作；对插值放大的红外图像采用自适应边缘提取算法提取边缘,获得红外图像边缘；计算红外图像与可见光图像的相关性,将红外图像的边缘区域分为相关边缘区域和非相关边缘区域；在相关区域建立红外图像与可见光图像的二次关系模型,并根据此模型对相关边缘区域进行高频估计；将获取的高频信息与插值放大的图像进行叠加，获得初始高分辨率红外图像；
采用迭代反投影法优化得到最终的高分辨率红外图像；所述细节融合模块(223)融合分支用来预测最终的前景蒙版。5.根据权利要求4所述的智慧宣传系统，其特征在于：所述自适应边缘提取算法的公式为：T(x,y)＝ωL(x,y)G(x,y)
‑
ηL(x,y)其中，T、L、G分别表示为图像的边缘强度图、背景亮度图和梯度图，T(x,y)表示图像中位置为(x...

【专利技术属性】
技术研发人员：朱文臻，
申请(专利权)人：深圳市博乐信息技术有限公司，
类型：发明
国别省市：