人物图像处理方法、装置、相应终端及存储介质制造方法及图纸

本申请公开了人物图像处理方法、装置、相应终端及存储介质。该方法包括从摄像头捕获的当前实景图像帧中截取主讲人的当前人物图像帧；根据当前人物图像帧结合预确定的基准人物图像及基准卡通图像，确定用于卡通化显示主讲人的当前状态形变信息；将当前状态形变信息反馈给听讲终端，以使听讲终端根据当前状态形变信息确定主讲人对应的当前卡通图像帧并显示。利用该方法，主讲终端侧为主讲人在听讲终端侧的卡通化显示提供了状态形变信息，而在听讲终端侧卡通化显示主讲人降低了主讲人身份信息的泄漏风险，同时也增强了视频内容活跃性的效果，且相比于现有高维图像传输，本方案仅传输状态形变信息，有效保证了网络带宽较低时云视频的图像传输质量。

【技术实现步骤摘要】
人物图像处理方法、装置、相应终端及存储介质
本申请涉及图像处理
，尤其涉及人物图像处理方法、装置、相应终端及存储介质。
技术介绍
随着科技的发展，手机、电脑等设备已成为人们日常生活中实时通讯必不可少的工具。其中，随着高速的5G网络投入应用，云会议以及云课堂等云视频业务也得到广泛应用，使得大家足不出户就可享受到更多的云网络资源。目前的云视频业务中，其业务模式中的视频终端可以是作为主讲人一方的主讲终端，以及作为听讲人一方的听讲终端，且听讲终端可以为多个，现有的云视频业务中，大多直接将主讲方的真实人像直接展示给听讲方，相当于主讲人与听讲人通过云视频业务的“坦诚相见”。然而，在一些云课堂或者云会议等云视频业务中，作为讲课老师或者一个会议主讲人的主讲方担心个人身份信息泄露并不想将自己的真实人像呈现给听讲方；同时，老师授课或者长时间的会议可能导致听讲方感到乏味无聊，使得云课堂或者云会议的效率大打折扣；此外，目前的云视频业务中多为高清视频图像帧的传输，其对网络带宽的要求非常高，在网络带宽有限时将会影响云视频的图像传输质量。
技术实现思路
有鉴于此，本申请实施例提供了人物图像处理方法、装置、相应终端及存储介质，实现了云视频业务中主讲一方的人物图像在听讲一方的卡通化显示。第一方面，本申请实施例提供了一种人物图像处理方法，应用于主讲终端，包括：从摄像头捕获的当前实景图像帧中截取主讲人的当前人物图像帧；根据所述当前人物图像帧结合预确定的基准人物图像及基准卡通图像，确定用于卡通化显示所述主讲人的当前状态形变信息；将所述当前状态形变信息反馈给听讲终端，以使所述听讲终端根据所述当前状态形变信息确定所述主讲人对应的当前卡通图像帧并显示，其中，所述听讲终端与所述主讲终端保持云视频通信。进一步地，所述根据所述当前人物图像帧结合预确定的基准人物图像及基准卡通图像，确定用于卡通化显示所述主讲人的当前状态形变信息，包括：检测所述当前人物图像帧中的关键点，形成相应的当前关键点序列；根据所述当前关键点序列，结合预确定的所述基准人物图像的人物图像处理信息以及基准卡通图像的卡通图像处理信息，确定用于卡通化显示所述主讲人的当前状态形变信息。进一步地，所述检测所述当前人物图像帧中的关键点，形成相应的当前关键点序列，包括：对所述当前人物图像帧进行关键点检测，形成包含第一设定个数人脸关键点以及第二设定个数标识关键点的第一采集关键点序列；对所述第一采集关键点序列进行关键点平滑处理，获得所述当前人物图像帧的第一当前关键点序列。进一步地，所述人物图像处理信息包括对所述基准人物图像基于第三设定个数关键点三角剖分形成的第一人物剖分数组，所述卡通图像处理信息包括对所述基准卡通图像基于第三设定个数关键点三角剖分形成的第一卡通剖分数组，所述第三设定个数为所述第一设定个数与第二设定个数之和；相应的，所述根据所述当前关键点序列，结合预确定的所述基准人物图像的人物图像处理信息以及基准卡通图像的卡通图像处理信息，确定用于卡通化显示所述主讲人的当前状态形变信息，包括：采用设定的三角剖分规则对所述第一当前关键点序列进行三角剖分，获得所述当前人物图像帧的第一当前剖分数组；根据所述第一当前剖分数组，结合所述第一人物剖分数组以及第一卡通剖分数组，通过仿射变换确定卡通显示所述主讲人所需的第一目标剖分数组并作为所述主讲人的当前状态形变信息。进一步地，所述检测所述当前人物图像帧中的关键点，形成相应的当前关键点序列，包括：对所述当前人物图像帧进行关键点检测，形成包含第一设定个数人脸关键点的第二采集关键点序列；对所述第二采集关键点序列进行关键点平滑处理，获得所述当前人物图像帧的第二当前关键点序列。进一步地，所述人物图像处理信息包括对所述基准人物图像基于第一设定个数关键点三角剖分形成的第二人物剖分数组，所述卡通图像处理信息包括对所述基准卡通图像基于第一设定个数关键点三角剖分形成的第二卡通剖分数组相应的，所述根据所述当前关键点序列，结合预确定的所述基准人物图像的人物图像处理信息以及基准卡通图像的卡通图像处理信息，确定用于卡通化显示所述主讲人的当前状态形变信息，包括：根据所述第二当前关键点序列，确定所述主讲人的当前位姿估计信息；采用设定的三角剖分规则对所述第二当前关键点序列进行三角剖分，获得所述当前人物图像帧的第二当前剖分数组；根据所述第二当前剖分数组，结合所述第二人物剖分数组以及第二卡通剖分数组，通过仿射变换确定卡通显示所述主讲人所需的第二目标剖分数组；将所述当前位姿估计信息以及所述第二目标剖分数组作为所述主讲人的当前状态形变信息。进一步地，所述基准人物图像为预先通过所述摄像头为所述主讲人采集的正脸图像；或者，所述基准人物图像为相对所述当前人物图像帧的前一人物图像帧。第二方面，本申请实施例提供了一种人物图像处理方法，应用于听讲终端，包括：接收主讲终端反馈的当前状态形变信息，并获取预确定的基准卡通图像的图像属性信息，其中，当前状态形变信息通过本申请实施例上述第一方面所述的方法确定；根据所述当前状态形变信息以及所述图像属性信息，形成所述主讲终端所对应主讲人的当前卡通图像帧并实时显示。进一步地，当所述当前状态形变信息为所述主讲人卡通显示所需的第一目标剖分数组时，所述图像属性信息中包括卡通图像纹理信息以及对所述基准卡通图像基于第四设定个数关键点三角剖分形成的第一卡通剖分数组；相应的，所述根据所述当前状态形变信息以及所述图像属性信息，形成所述主讲终端所对应主讲人的当前卡通图像帧并实时显示，包括：根据所述第一目标剖分数组以及所述第一卡通剖分数组，确定构成所述基准卡通图像的各三角面片的第一目标仿射变换矩阵；基于各所述第一目标仿射变换矩阵结合所述卡通图像纹理信息，形成所述主讲人的当前卡通图像帧并实时显示。进一步地，当所述当前状态形变信息为所述主讲人的当前位姿估计信息以及卡通显示所需的第二目标剖分数组时，所述图像属性信息中包括卡通图像纹理信息以及对所述基准卡通图像基于第五设定个数关键点三角剖分形成的第二卡通剖分数组；相应的，所述根据所述当前状态形变信息以及所述图像属性信息，形成所述主讲终端所对应主讲人的当前卡通图像帧并实时显示，包括：根据所述第二目标剖分数组以及所述第二卡通剖分数组，确定构成所述基准卡通图像的各三角面片的第二目标仿射变换矩阵；基于各所述第二目标仿射变换矩阵结合所述卡通图像纹理信息，形成所述主讲人的卡通表情图像帧；根据所述当前位姿估计信息及所述卡通表情图像帧，形成所述主讲人的当前卡通图像帧并实时显示。进一步地，所述基准卡通图像预先由主讲终端的主讲人选定并发送，所述基准卡通图像的图像属性信息预存在设定的属性信息表中。第三方面，本申请实施例提供了一种人物图像处理装置，包括：人物图像获取模块，用于从摄像头捕获的当本文档来自技高网...

【技术保护点】
1.一种人物图像处理方法，其特征在于，应用于主讲终端，包括：/n从摄像头捕获的当前实景图像帧中截取主讲人的当前人物图像帧；/n根据所述当前人物图像帧结合预确定的基准人物图像及基准卡通图像，确定用于卡通化显示所述主讲人的当前状态形变信息；/n将所述当前状态形变信息反馈给听讲终端，以使所述听讲终端根据所述当前状态形变信息确定所述主讲人对应的当前卡通图像帧并显示，其中，所述听讲终端与所述主讲终端保持云视频通信。/n

【技术特征摘要】
1.一种人物图像处理方法，其特征在于，应用于主讲终端，包括：
从摄像头捕获的当前实景图像帧中截取主讲人的当前人物图像帧；
根据所述当前人物图像帧结合预确定的基准人物图像及基准卡通图像，确定用于卡通化显示所述主讲人的当前状态形变信息；
将所述当前状态形变信息反馈给听讲终端，以使所述听讲终端根据所述当前状态形变信息确定所述主讲人对应的当前卡通图像帧并显示，其中，所述听讲终端与所述主讲终端保持云视频通信。


2.根据权利要求1所述的方法，其特征在于，所述根据所述当前人物图像帧结合预确定的基准人物图像及基准卡通图像，确定用于卡通化显示所述主讲人的当前状态形变信息，包括：
检测所述当前人物图像帧中的关键点，形成相应的当前关键点序列；
根据所述当前关键点序列，结合预确定的所述基准人物图像的人物图像处理信息以及基准卡通图像的卡通图像处理信息，确定用于卡通化显示所述主讲人的当前状态形变信息。


3.根据权利要求2所述的方法，其特征在于，所述检测所述当前人物图像帧中的关键点，形成相应的当前关键点序列，包括：
对所述当前人物图像帧进行关键点检测，形成包含第一设定个数人脸关键点以及第二设定个数标识关键点的第一采集关键点序列；
对所述第一采集关键点序列进行关键点平滑处理，获得所述当前人物图像帧的第一当前关键点序列。


4.根据权利要求3所述的方法，其特征在于，所述人物图像处理信息包括对所述基准人物图像基于第三设定个数关键点三角剖分形成的第一人物剖分数组，所述卡通图像处理信息包括对所述基准卡通图像基于第三设定个数关键点三角剖分形成的第一卡通剖分数组，所述第三设定个数为所述第一设定个数与第二设定个数之和；
相应的，所述根据所述当前关键点序列，结合预确定的所述基准人物图像的人物图像处理信息以及基准卡通图像的卡通图像处理信息，确定用于卡通化显示所述主讲人的当前状态形变信息，包括：
采用设定的三角剖分规则对所述第一当前关键点序列进行三角剖分，获得所述当前人物图像帧的第一当前剖分数组；
根据所述第一当前剖分数组，结合所述第一人物剖分数组以及第一卡通剖分数组，通过仿射变换确定卡通显示所述主讲人所需的第一目标剖分数组并作为所述主讲人的当前状态形变信息。


5.根据权利要求2所述的方法，其特征在于，所述检测所述当前人物图像帧中的关键点，形成相应的当前关键点序列，包括：
对所述当前人物图像帧进行关键点检测，形成包含第一设定个数人脸关键点的第二采集关键点序列；
对所述第二采集关键点序列进行关键点平滑处理，获得所述当前人物图像帧的第二当前关键点序列。


6.根据权利要求5所述的方法，其特征在于，所述人物图像处理信息包括对所述基准人物图像基于第一设定个数关键点三角剖分形成的第二人物剖分数组，所述卡通图像处理信息包括对所述基准卡通图像基于第一设定个数关键点三角剖分形成的第二卡通剖分数组；
相应的，所述根据所述当前关键点序列，结合预确定的所述基准人物图像的人物图像处理信息以及基准卡通图像的卡通图像处理信息，确定用于卡通化显示所述主讲人的当前状态形变信息，包括：
根据所述第二当前关键点序列，确定所述主讲人的当前位姿估计信息；
采用设定的三角剖分规则对所述第二当前关键点序列进行三角剖分，获得所述当前人物图像帧的第二当前剖分数组；
根据所述第二当前剖分数组，结合所述第二人物剖分数组以及第二卡通剖分数组，通过仿射变换确定卡通显示所述主讲人所需的第二目标剖分数组；
将所述当前位姿估计信息以及所述第二目标剖分数组作为所述主讲人的当前状态形变信息。


7.根据权利要求1-6任一项所述的方法，其特征在于，所述基准人物图像为预先通过所述摄像头为所述主讲人采集的正脸图像；或者，所述基准人物图像为相对所述当前人物图像帧的前一人物图像帧。


8...

【专利技术属性】
技术研发人员：谢新林，邹超洋，张书瑞，何卓鹏，
申请(专利权)人：广州视源电子科技股份有限公司，
类型：发明
国别省市：广东;44