【技术实现步骤摘要】
本申请实施例涉及计算机视觉领域，具体涉及一种动作重建方法、装置、电子设备及计算机可读存储介质。
技术介绍
1、计算机视觉在动作捕捉和重建方面应用广泛。目前，常用传统相机(如rgb相机)来采集场景画面，并通过深度网络模型提取或者估计姿态关键点实现动作捕捉和重建。
2、但是，由于传统相机的帧率有限，导致无法实现高帧率的动作捕捉，使得动作重建后存在动作连贯性差的问题。
技术实现思路
1、本申请实施例提供一种动作重建方法、装置、电子设备及计算机可读存储介质，可以提升重建动作的连贯性。
2、第一方面，本申请实施例提供了一种动作重建方法，该方法包括：
3、通过第一帧率获取包含目标对象的场景图像，以及通过第二帧率记录所述场景图像对应的亮度变化事件，其中，所述第一帧率小于所述第二帧率；
4、根据所述场景图像生成基础关键帧，以及根据所述亮度变化事件生成针对所述基础关键帧的动作插值帧；
5、根据所述动作插值帧对所述基础关键帧进行帧插值处理，得到综合动作帧；
6、基于所述综合动作帧对所述目标对象进行动作重建，得到动作重建模型。
7、第二方面，本申请实施例还提供了一种动作重建装置，该装置包括：
8、获取模块，用于通过第一帧率获取包含目标对象的场景图像，以及通过第二帧率记录所述场景图像对应的亮度变化事件，其中，所述第一帧率小于所述第二帧率；
9、生成模块，用于根据所述场景图像生成基础关键帧，以及根据所
10、插值模块，用于根据所述动作插值帧对所述基础关键帧进行帧插值处理，得到综合动作帧；
11、重建模块，用于基于所述综合动作帧对所述目标对象进行动作重建，得到动作重建模型。
12、可选的，在本申请的一些实施例中，亮度变化事件对应有亮度变化位置信息和事件时间信息，生成模块包括：
13、第一生成单元，用于根据所述基础关键帧生成基础动作轨迹信息；
14、第二生成单元，用于根据所述亮度变化位置信息和所述事件时间信息生成实际动作轨迹信息；
15、确定单元，用于根据所述实际动作轨迹信息和所述基础动作轨迹信息的比较，确定待补偿动作轨迹信息；
16、第三生成单元，用于根据所述待补偿动作轨迹信息生成动作插值帧。
17、其中，在本申请的一些实施例中，生成模块包括：
18、获取单元，用于获取所述目标对象的表面肌电信号；
19、第四生成单元，用于根据所述表面肌电信号和所述亮度变化事件生成针对所述基础关键帧的动作插值帧。
20、其中，在本申请的一些实施例中，第四生成单元包括：
21、分类子单元，用于对所述表面肌电信号进行动作分类，得到预测动作类型，并根据所述预测动作类型确定预测动作轨迹信息；
22、提取子单元，用于根据所述亮度变化事件的事件时间信息和亮度变化位置信息生成实际动作轨迹信息；
23、融合子单元，用于融合所述预测动作轨迹信息和所述亮度变化事件对应的实际动作轨迹信息，得到融合动作轨迹信息；
24、生成子单元，用于根据所述融合动作轨迹信息生成针对所述基础关键帧的动作插值帧。
25、其中，在本申请的一些实施例中，生成子单元具体用于：
26、根据所述基础关键帧的亮度信息以及所述融合动作轨迹信息，预测所述基础关键帧之间的帧亮度信息；
27、根据所述基础关键帧的色彩信息、亮度信息以及所述帧亮度信息，预测所述基础关键帧之间的帧色彩信息；
28、根据所述帧亮度信息和帧色彩信息生成所述基础关键帧之间的动作插值帧。
29、其中，在本申请的一些实施例中，生成子单元还具体用于：
30、根据所述预测动作类型对所述融合动作轨迹信息进行修正，得到修正后动作轨迹信息；
31、根据所述修正后动作轨迹信息生成针对所述基础关键帧的动作插值帧。
32、其中，在本申请的一些实施例中，重建模块包括：
33、对齐单元，用于对所述综合动作帧中的动作插值帧和所述基础关键帧进行像素对齐处理，得到对齐后动作帧；
34、识别单元，用于从所述对齐后动作帧中识别出所述目标对象的对象区域信息；
35、提取单元，用于从所述对象区域信息中提取出关键点特征信息；
36、重建单元，用于根据各对齐后动作帧中的关键点特征信息对所述目标对象进行动作重建，得到动作重建模型。
37、第三方面，本申请实施例还提供了一种电子设备，电子设备包括存储器、处理器及存储在存储器中并可在处理器上运行的计算机程序，计算机程序被处理器执行时实现上述的动作重建方法中的步骤。
38、第四方面，本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述的动作重建方法中的步骤。
39、第五方面，本申请实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行本申请实施例所述的各种可选实现方式中提供的方法。
40、综上，本申请实施例通过第一帧率获取包含目标对象的场景图像，以及通过第二帧率记录该场景图像对应的亮度变化事件，其中，该第一帧率小于该第二帧率，根据该场景图像生成基础关键帧，以及根据该亮度变化事件生成针对该基础关键帧的动作插值帧，根据该动作插值帧对该基础关键帧进行帧插值处理，得到综合动作帧，基于该综合动作帧对该目标对象进行动作重建，得到动作重建模型。
41、其中，通过记录场景图像对应的亮度变化事件，并基于该亮度变化事件对低帧率的基础关键帧的帧插值处理得到综合动作帧，实现对低帧率关键帧的动作轨迹信息的补充，有助于通过更细节、更丰富的动作轨迹信息解决低帧率关键帧在动作重建时的动作不连贯的问题，同时，降低对采集场景图像的设备帧率的要求。
本文档来自技高网...【技术保护点】
1.一种动作重建方法，其特征在于，所述方法包括：
2.根据权利要求1所述的动作重建方法，其特征在于，所述亮度变化事件对应有亮度变化位置信息和事件时间信息，所述根据所述亮度变化事件生成针对所述基础关键帧的动作插值帧，包括：
3.根据权利要求1所述的动作重建方法，其特征在于，所述根据所述亮度变化事件生成针对所述基础关键帧的动作插值帧，包括：
4.根据权利要求3所述的动作重建方法，其特征在于，所述根据所述表面肌电信号和所述亮度变化事件生成针对所述基础关键帧的动作插值帧，包括：
5.根据权利要求4所述的动作重建方法，其特征在于，所述根据所述融合动作轨迹信息生成针对所述基础关键帧的动作插值帧，包括：
6.根据权利要求4所述的动作重建方法，其特征在于，所述根据所述融合动作轨迹信息生成针对所述基础关键帧的动作插值帧，包括：
7.根据权利要求1所述的动作重建方法，其特征在于，所述基于所述综合动作帧对所述目标对象进行动作重建，得到动作重建模型，包括：
8.一种动作重建装置，其特征在于，所述装置包括：
9
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的动作重建方法中的步骤。
...【技术特征摘要】
1.一种动作重建方法，其特征在于，所述方法包括：
2.根据权利要求1所述的动作重建方法，其特征在于，所述亮度变化事件对应有亮度变化位置信息和事件时间信息，所述根据所述亮度变化事件生成针对所述基础关键帧的动作插值帧，包括：
3.根据权利要求1所述的动作重建方法，其特征在于，所述根据所述亮度变化事件生成针对所述基础关键帧的动作插值帧，包括：
4.根据权利要求3所述的动作重建方法，其特征在于，所述根据所述表面肌电信号和所述亮度变化事件生成针对所述基础关键帧的动作插值帧，包括：
5.根据权利要求4所述的动作重建方法，其特征在于，所述根据所述融合动作轨迹信息生成针对所述基础关键帧的动作插值帧，包括：
6.根据权利要求4所述...
【专利技术属性】
技术研发人员：赖宇舟，钟晓鸣，
申请(专利权)人：TCL移动通信科技宁波有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。