一种基于虚拟主播的直播方法与系统技术方案

本发明专利技术涉及一种基于虚拟主播的直播方法与系统，其中，该方法包括：获取动捕设备捕捉真人模特动作生成的动捕数据；对加速度计采集的数据、陀螺仪采集的数据和磁力计采集的数据进行滤波融合得到真人模特各个关节的姿态四元数；根据姿态四元数生成关节点坐标信息；利用关节点坐标信息和面铺数据与预设的数字人模型进行动作匹配得到虚拟主播；利用虚拟主播进行实时直播。本发明专利技术通过利用动捕设备来获取动捕数据，可实现精准、稳定的动作捕捉，并将动捕数据与数字人模型进行动作匹配得到虚拟主播，可以使虚拟主播能够低延迟的做出主播的真实表情与动作。表情与动作。表情与动作。

【技术实现步骤摘要】
一种基于虚拟主播的直播方法与系统


[0001]本专利技术涉及网络直播
，特别是涉及一种基于虚拟主播的直播方法与系统。

技术介绍

[0002]随着移动互联网的不断发展，网络直播技术也得到了飞速提升。在目前众多直播模式中，利用虚拟人物直播成为了一种较为流行的直播模式。但就目前的虚拟直播模式而言，由于需要真人对观众进行互动，使虚拟人物做出相应的动作，但在互动过程中，往往因虚拟人物或者动捕设备的限制使主播动作无法完美地融合到虚拟场景中，使得画面协调性不高，导致观众的观看代入感不好，整体的直播互动效果较差。

技术实现思路

[0003]为解决上述问题，本专利技术实施例的目的在于提供一种基于虚拟主播的直播方法与系统，旨在解决虚拟直播画面协调性不高的问题。
[0004]一种基于虚拟主播的直播方法，包括：
[0005]步骤1：获取动捕设备捕捉真人模特动作生成的动捕数据；所述动捕数据包括加速度计采集的数据、陀螺仪采集的数据、磁力计采集的数据和面铺数据；
[0006]步骤2：对所述加速度计采集的数据、所述陀螺仪采集的数据和所述磁力计采集的数据进行滤波融合得到真人模特各个关节的姿态四元数；
[0007]步骤3：根据所述姿态四元数生成关节点坐标信息；
[0008]步骤4：利用所述关节点坐标信息和面铺数据与预设的数字人模型进行动作匹配得到虚拟主播；
[0009]步骤5：利用所述虚拟主播进行实时直播。
[0010]优选的，所述步骤4：利用所述关节点坐标信息和面铺数据与预设的数字人模型进行动作匹配得到虚拟主播，包括：
[0011]步骤4.1：利用面铺数据与预设的数字人模型进行表情匹配得到表情匹配完成的数字人；
[0012]步骤4.2：利用所述关节点坐标信息与表情匹配完成的数字人身体关节进行匹配，得到虚拟主播。
[0013]优选的，所述步骤2：对所述加速度计采集的数据、所述陀螺仪采集的数据和所述磁力计采集的数据进行滤波融合得到真人模特各个关节的姿态四元数，包括：
[0014]步骤2.1：根据所述加速度计采集的数据、所述陀螺仪采集的数据和所述磁力计采集的数据得到旋转矩阵的传递公式；
[0015]步骤2.2：根据滤波器特性构建融合姿态矩阵；
[0016]步骤2.3：将所述旋转矩阵的传递公式带入到所述融合姿态矩阵得到滤波器融合模型；
[0017]步骤2.4：利用所述滤波器融合模型进行姿态解算得到校准后的角速度矢量；
[0018]步骤2.5：根据所述校准后的角速度矢量得到真人模特各个关节的姿态四元数。
[0019]优选的，所述步骤2.1：根据所述加速度计采集的数据、所述陀螺仪采集的数据和所述磁力计采集的数据得到旋转矩阵的传递公式，包括：
[0020]采用公式：
[0021][0022]得到旋转矩阵的传递公式；其中表示旋转矩阵，ω
x
表示x轴方向的角速度，ω
y
表示y轴方向的角速度，ω
z
表示z轴方向的角速度。
[0023]优选的，所述步骤2.2：根据滤波器特性构建融合姿态矩阵，包括：
[0024]采用公式：
[0025][0026]构建融合姿态矩阵；其中，表示融合后的姿态旋转矩阵，R
am
(s)表示加速度计和磁力计观测到的姿态旋转矩阵，R
ω
(s)表示陀螺仪得到的姿态旋转矩阵，R(s)表示实际的姿态旋转矩阵，μ
H
表示高频噪声，μ
L
表示低频累计误差，C(s)表示理想的PID控制器传递函数。
[0027]优选的，所述步骤2.4：利用所述滤波器融合模型进行姿态解算得到校准后的角速度矢量，包括：
[0028]步骤2.4.1：根据加速度计采集的数据和所述陀螺仪采集的数据得到加速度误差量；
[0029]步骤2.4.2：根据实际地理位置的磁矢量和磁力计输出的磁矢量得到磁矢量误差；
[0030]步骤2.4.3：获取加速度滤波阈值和磁矢量滤波阈值；
[0031]步骤2.4.4：利用所述加速度滤波阈值和所述磁矢量滤波阈值对所述加速度误差量和磁矢量误差进行去噪处理得到校准后的角速度矢量。
[0032]优选的，所述步骤2.4.1：根据加速度计采集的数据和所述陀螺仪采集的数据得到加速度误差量，包括：
[0033]采用公式：
[0034][0035]得到加速度误差量；其中，a
x
表示加速度计采集的x方向的加速度，a
y
表示加速度计采集的y方向的加速度，a
z
表示加速度计采集的z方向的加速度，v
x
表示加速度计采集的x方向的加速度，v
y
表示加速度计采集的y方向的加速度，v
z
表示加速度计采集的z方向的加速度。
[0036]优选的，所述步骤2.4.4：利用所述加速度滤波阈值和所述磁矢量滤波阈值对所述加速度误差量和磁矢量误差进行去噪处理得到校准后的角速度矢量，包括：
[0037]采用公式：
[0038][0039]对所述加速度误差量和磁矢量误差进行去噪处理得到校准后的角速度矢量；其中，k
p1
表示第一加速度滤波阈值，k
L1
表示第二加速度滤波阈值，k
p2
表示第一磁矢量滤波阈值，k
L2
表示第二磁矢量滤波阈值，e
ψ
表示磁矢量误差。
[0040]本专利技术还提供了一种基于虚拟主播的直播系统，包括：
[0041]动捕数据获取模块，用于获取动捕设备捕捉真人模特动作生成的动捕数据；所述动捕数据包括加速度计采集的数据、陀螺仪采集的数据、磁力计采集的数据和面铺数据；
[0042]滤波融合模块，用于对所述加速度计采集的数据、所述陀螺仪采集的数据和所述磁力计采集的数据进行滤波融合得到真人模特各个关节的姿态四元数；
[0043]关节点坐标计算模块，用于根据所述姿态四元数生成关节点坐标信息；
[0044]虚拟主播生成模块，用于利用所述关节点坐标信息和面铺数据与预设的数字人模型进行动作匹配得到虚拟主播；
[0045]实时直播模块，用于利用所述虚拟主播进行实时直播。
[0046]优选的，所述虚拟主播生成模块，包括：
[0047]表情匹配单元，用于利用面铺数据与预设的数字人模型进行表情匹配得到表情匹配完成的数字人；
[0048]虚拟主播生成单元，用于利用所述关节点坐标信息与表情匹配完成的数字人身体关节进行匹配，得到虚拟主播。
[0049]根据本专利技术提供的具体实施例，本专利技术公开了以下技术效果：
[0050]本专利技术涉及一种基于虚拟主播的直播方法与系统，其中，该方法包括：获取动捕设备捕捉真人模特动作生成的动捕数据；对加速度计采集的数据、陀螺仪采集的数据和磁力计采集的数据进行滤波融合本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于虚拟主播的直播方法，其特征在于，包括：步骤1：获取动捕设备捕捉真人模特动作生成的动捕数据；所述动捕数据包括加速度计采集的数据、陀螺仪采集的数据、磁力计采集的数据和面铺数据；步骤2：对所述加速度计采集的数据、所述陀螺仪采集的数据和所述磁力计采集的数据进行滤波融合得到真人模特各个关节的姿态四元数；步骤3：根据所述姿态四元数生成关节点坐标信息；步骤4：利用所述关节点坐标信息和面铺数据与预设的数字人模型进行动作匹配得到虚拟主播；步骤5：利用所述虚拟主播进行实时直播。2.根据权利要求1所述的一种基于虚拟主播的直播方法，其特征在于，所述步骤4：利用所述关节点坐标信息和面铺数据与预设的数字人模型进行动作匹配得到虚拟主播，包括：步骤4.1：利用面铺数据与预设的数字人模型进行表情匹配得到表情匹配完成的数字人；步骤4.2：利用所述关节点坐标信息与表情匹配完成的数字人身体关节进行匹配，得到虚拟主播。3.根据权利要求1所述的一种基于虚拟主播的直播方法，其特征在于，所述步骤2：对所述加速度计采集的数据、所述陀螺仪采集的数据和所述磁力计采集的数据进行滤波融合得到真人模特各个关节的姿态四元数，包括：步骤2.1：根据所述加速度计采集的数据、所述陀螺仪采集的数据和所述磁力计采集的数据得到旋转矩阵的传递公式；步骤2.2：根据滤波器特性构建融合姿态矩阵；步骤2.3：将所述旋转矩阵的传递公式带入到所述融合姿态矩阵得到滤波器融合模型；步骤2.4：利用所述滤波器融合模型进行姿态解算得到校准后的角速度矢量；步骤2.5：根据所述校准后的角速度矢量得到真人模特各个关节的姿态四元数。4.根据权利要求3所述的一种基于虚拟主播的直播方法，其特征在于，所述步骤2.1：根据所述加速度计采集的数据、所述陀螺仪采集的数据和所述磁力计采集的数据得到旋转矩阵的传递公式，包括：采用公式：得到旋转矩阵的传递公式；其中表示旋转矩阵，ω
x
表示x轴方向的角速度，ω
y
表示y轴方向的角速度，ω
z
表示z轴方向的角速度。5.根据权利要求3所述的一种基于虚拟主播的直播方法，其特征在于，所述步骤2.2：根据滤波器特性构建融合姿态矩阵，包括：采用公式：
构建融合姿态矩阵；其中，表示融合后的姿态旋转矩阵，R
am
(s)表示加速度计和磁力计观测到的姿态旋转矩阵，R
ω
(s)表示陀螺仪得到的姿态旋转矩阵，R(s)表示实际的姿态旋转矩阵，μ
H
表示高频噪声，μ
L
表示低频累计误差，C(s)表示理想的PID控制器传递函数。6.根据权利要求5所述的一种基于虚拟主播的直播方法，其特征在于，所述步骤2.4：利用所述...

【专利技术属性】
技术研发人员：段保莉，王鹏，徐业，李小超，
申请(专利权)人：拓胜北京科技发展有限公司，
类型：发明
国别省市：