System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种实时虚拟背景生成系统技术方案_技高网

一种实时虚拟背景生成系统技术方案

技术编号:41207099 阅读:4 留言:0更新日期:2024-05-07 22:33
本发明专利技术涉及通讯技术领域,尤其涉及一种实时虚拟背景生成系统;技术问题:在采集图像后在对图像进行处理,使得图像的亮度更加合适,一方面可能会导致图像处理后失真,影响用户的体验,另一方面大大增加了系统的工作量,增加系统的响应时间;技术方案:一种实时虚拟背景生成系统,包括有图像采集模块、图像识别模块和图像处理模块;本发明专利技术通过对采集到的面部图像进行亮度统计,再根据统计到的亮度情况进行补光或者降低光照,可以实现在一定范围内使得图像的亮度符合采集的需要,使得图像更加清晰和完整,一方面可以增加用户的体验,另一方面可以方便图像识别模块对采集到的图像进行识别,增加识别的准确率和效率。

【技术实现步骤摘要】

本专利技术涉及通讯,尤其涉及一种实时虚拟背景生成系统


技术介绍

1、视频通话实时背景生成系统是一种可以在视频通话过程中即时生成虚拟背景的技术系统;该系统利用高级算法和人工智能技术,通过摄像头捕捉到的图像,在视频通话中实时用虚拟背景替换实际背景;这种技术可以有效地遮挡掉通话者身后的实际环境,提供一个更加美观、隐私安全的背景环境;这种背景生成系统可以应用于各种场景,例如远程工作、在线会议、在线教育等;在远程工作过程中,工作人员可以利用这一技术,将其家庭或办公室的实际背景隐藏起来,而使用虚拟的背景;这样可以避免他人看到私人信息或杂乱的工作环境,提升职场形象和专业性;对于在线会议和在线教育而言,视频通话实时背景生成系统可以提供一种更加专业和统一的背景,增强与参与者的视觉沟通效果,使会议或教育内容更易理解;同时,这一系统也能够增加使用者的个性化选择,根据个人的喜好或会议/教育主题,使用独特而有趣的虚拟背景;视频通话实时背景生成系统的发展给我们带来了更多的便利和灵活性;它不仅提供了隐私保护和美观背景的功能,还促进了在线交流的质量和效果;这一系统的进一步应用发展,将在不同领域带来更多创新和改进;在对图像进行采集处理的过程中,在采集图像后在对图像进行处理,使得图像的亮度更加合适,一方面可能会导致图像处理后失真,影响用户的体验,另一方面大大增加了系统的工作量,增加系统的响应时间。


技术实现思路

1、为了克服在对图像进行采集处理的过程中,在采集图像后在对图像进行处理,使得图像的亮度更加合适,一方面可能会导致图像处理后失真,影响用户的体验,另一方面大大增加了系统的工作量,增加系统的响应时间的问题。

2、本专利技术的技术方案为:一种实时虚拟背景生成系统,包括有:

3、数据录入模块,用于在经过用户授权之后的情况下,对用户通讯工具内储存的通讯录和当前的彩铃和相关设置情况进行采集并储存在云端;

4、数据查询模块,用于在用户进行拨打时,自动对用户所输入的信息进行采集并在云端进行查询匹配;

5、图像采集模块,用于在用户进行视频通话时,对用户的较为清晰的图像进行实时采集;

6、图像识别模块,用于对图像采集模块所采集到的图像进行识别,将人像轮廓与无关背景进行分离;

7、图像处理模块,用于根据用户所输入的指令对图像进行处理,如将背景虚化和将背景替换为其他图片或视频;

8、图像输出模块,用于将经过图像处理模块处理之后的图像进行处理,并通过网络进行传输,并输出给用户;

9、数据库,用于对用户的信息、预先录入的虚拟背景素材库和用户录入的背景素材进行储存,其中,预先录入的虚拟背景素材库包括有虚拟背景图片、虚拟背景动画和与虚拟被动画对应的表情分类库及动作分类库。

10、优选的,通过数据录入模块和数据查询模块可以在用户拨打电话时,自动对用户呼叫的用户账号信息进行筛选和选取,并经过用户同意后自动跳转到软件内进行通话,通过设置图像采集模块可以对根据情况对用户的图像进行较为清晰的识别,从而方便图像识别模块对采集到的图像进行识别,增加识别的准确率和效率,通过设置图像识别模块可以对用户的人像与背景进行识别,并对用户的面部表情及动作进行识别,通过设置图像处理模块可以根据识别的结果与用户所输入的指令对图像进行处理,通过设置图像输出模块可以将图像处理模块的结果发送给用户。

11、作为优选,图像采集模块在对用户的图像进行采集时,包括以下步骤:

12、s11:在视频通话开始后,控制通讯设备的摄像头打开,对用户的图像进行实时采集;

13、s12:对用户的面部图像进行快速识别,将识别出来的用户的面部图像与背景图像进行分割,且当光照过弱过强及光照复杂出现时,将图像整体划分为面部分割图像;

14、s13:对分割出来的面部图像进行灰度化处理,其中,灰度化处理的数学表达式为:y=0.299×r+0.587×g+0.144×b;其中y为转化后的灰度图像的亮度,即灰度值,其中y的取值范围为0-255;r、g和b分别为转化前彩色图像红、绿和蓝三原色的值;

15、s14:计算灰度化处理之后的面部分割图像的灰度均值,当灰度化面部分割图像的灰度均值大于灰度阈值a时,通过降低通讯设备的屏幕亮度,或者降低图像的整体亮度,当面部图像的灰度均值小于灰度阈值b时,启动通讯设备的补光灯或者增加通讯设备的屏幕亮度对面部进行补光,控制面部图像的灰度均值在a-b之内。

16、优选的,通过对采集到的面部图像进行亮度统计,再根据统计到的亮度情况进行补光或者降低光照,可以实现在一定范围内使得图像的亮度符合采集的需要,使得图像更加清晰和完整,一方面可以增加用户的体验,另一方面可以方便图像识别模块对采集到的图像进行识别,增加识别的准确率和效率。

17、作为优选,灰度阈值a和灰度阈值b的选择根据时间和根据通讯设备的定位信息获取的场景信息进行选择,同时用户可手动选择场景模式;其中,可选择的场景模式包括有白天室内场景、夜晚灯光室内场景、夜晚灯光弱室内场景、白天室外阳光场景、白天室外阴影场景、夜晚室外灯光场景和夜晚室外无灯光场景。

18、优选的,根据不同的场景情况,可以对图像亮度做不同的调节,从而增加图像采集的质量,增加识别的准确性和有效性,且增加用户的体验。

19、作为优选,在对面部图像与其他图像进行分割时,包括以下步骤:

20、s21:将图像进行不同尺度的变换,适应图像中不同尺寸的面部图像;

21、s22:构建p-net,搭建浅层且结构简单的cnn结构,通过人脸分类器生成大量的候选目标区域框并结合面部关键点的定位器对人脸区域进行初步判断;

22、s23:构建r-net,搭建完整的卷积结构,增加一个全连接层,对p-net所产生的输入数据进行严格筛选,舍去大部分的错误输入;

23、s24:构建o-net,对剩余的目标区域进行判别和边框回归,标定最终的人脸区域。

24、优选的,利用人脸分类器和卷积神经网络对采集到的图像进行一步步划分,最终得到人像大概轮廓区域,一方面不会受到姿态、光照和遮挡等情况的影响,且检测方法简单,对性能的消耗小,识别快速高效,更加适合通讯时的实时检测。

25、作为优选,在图像识别模块对所采集到的图像进行识别时,包括以下步骤:

26、s31:对采集到的图像中人脸的图像进行精准分割,将用户的面部图像从采集到的图像中提取出来;

27、s32:对分割出来的用户面部图像进行特征识别;

28、s33:对采集到的图像中的人像轮廓进行识别,将人像轮廓进行分离;

29、s34:根据识别的人像轮廓构建人体骨架,对人体的动作进行识别。

30、优选的,通过先对面部图像进行分割,再对面部特征进行判断,可以防止外界背景对面部特征的影响,且可以增加人像轮廓识别的准确性,通过先对人像轮廓进行分割,在对人体动作进行识本文档来自技高网...

【技术保护点】

1.一种实时虚拟背景生成系统;其特征在于:包括有:

2.根据权利要求1所述的一种实时虚拟背景生成系统,其特征在于:图像采集模块在对用户的图像进行采集时,包括以下步骤:

3.根据权利要求2所述的一种实时虚拟背景生成系统,其特征在于:灰度阈值a和灰度阈值b的选择根据时间和根据通讯设备的定位信息获取的场景信息进行选择,同时用户可手动选择场景模式;其中,可选择的场景模式包括有白天室内场景、夜晚灯光室内场景、夜晚灯光弱室内场景、白天室外阳光场景、白天室外阴影场景、夜晚室外灯光场景和夜晚室外无灯光场景。

4.根据权利要求3所述的一种实时虚拟背景生成系统,其特征在于:在对面部图像与其他图像进行分割时,包括以下步骤:

5.根据权利要求4所述的一种实时虚拟背景生成系统,其特征在于:在图像识别模块对所采集到的图像进行识别时,包括以下步骤:

6.根据权利要求5所述的一种实时虚拟背景生成系统,其特征在于:在对人脸的图像进行精准分割时,包括以下步骤:

7.根据权利要求6所述的一种实时虚拟背景生成系统,其特征在于:在对分割出来的用户面部图像进行特征识别时,包括以下步骤:

8.根据权利要求7所述的一种实时虚拟背景生成系统,其特征在于:在对人像轮廓进行识别时,包括以下步骤:

9.根据权利要求8所述的一种实时虚拟背景生成系统,其特征在于:在根据识别的人像轮廓构建人体骨架,对人体的动作进行识别时,包括以下步骤:

10.根据权利要求9所述的一种实时虚拟背景生成系统,其特征在于:在图像处理模块根据用户所输入的指令对图像进行处理进行处理时,包括以下步骤:

...

【技术特征摘要】

1.一种实时虚拟背景生成系统;其特征在于:包括有:

2.根据权利要求1所述的一种实时虚拟背景生成系统,其特征在于:图像采集模块在对用户的图像进行采集时,包括以下步骤:

3.根据权利要求2所述的一种实时虚拟背景生成系统,其特征在于:灰度阈值a和灰度阈值b的选择根据时间和根据通讯设备的定位信息获取的场景信息进行选择,同时用户可手动选择场景模式;其中,可选择的场景模式包括有白天室内场景、夜晚灯光室内场景、夜晚灯光弱室内场景、白天室外阳光场景、白天室外阴影场景、夜晚室外灯光场景和夜晚室外无灯光场景。

4.根据权利要求3所述的一种实时虚拟背景生成系统,其特征在于:在对面部图像与其他图像进行分割时,包括以下步骤:

5.根据权利要求4所述的一种实时虚拟背景生成系统,其特征在于:在...

【专利技术属性】
技术研发人员:王晓杰邓正豪周静纯戴光权车天龙
申请(专利权)人:联通沃音乐文化有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1