图像处理方法及相关装置、设备和存储介质制造方法及图纸

本申请公开了一种图像处理方法及相关装置、设备和存储介质，方法包括获取目标物相对于当前图像帧的初始位姿和目标物相对于第一历史图像帧的历史位姿；基于历史位姿调整初始位姿，得到调整位姿，其中，调整位姿与历史位姿间的位姿变化量小于初始位姿与历史位姿间的位姿变化量；基于调整位姿，获得目标物相对于当前图像帧的目标位姿；基于目标物相对于当前图像帧的目标位姿，确定目标物在当前图像帧中的显示位置。通过该方法，可以减少抖动的现象，改善用户体验。改善用户体验。改善用户体验。

【技术实现步骤摘要】
图像处理方法及相关装置、设备和存储介质


[0001]本申请涉及图像处理
，特别是涉及一种图像处理方法及相关装置、设备和存储介质。

技术介绍

[0002]目前，随着虚拟现实(Virtual Reality，VR)、增强现实(Augmented Reality，AR)等技术的快速发展，通过利用位姿信息来对三维物体进行渲染，可以获得丰富的视觉体验。
[0003]然而，就目前的位姿跟踪而言，因为位姿跟踪算法的精度不高，且计算的噪声较多，使得跟踪得到的位姿并不平滑，这也使得在三维物体在被渲染到屏幕上时发生抖动，严重影响用户体验。
[0004]因此，如何减少抖动现象，对于改进用户体验，具有重要的意义。

技术实现思路

[0005]本申请提供一种图像处理方法及相关装置、设备和存储介质。
[0006]本申请第一面提供了一种图像处理方法，方法包括获取目标物相对于当前图像帧的初始位姿和目标物相对于第一历史图像帧的历史位姿；基于历史位姿调整初始位姿，得到调整位姿，其中，调整位姿与历史位姿间的位姿变化量小于初始位姿与历史位姿间的位姿变化量；基于调整位姿，获得目标物相对于当前图像帧的目标位姿；基于目标物相对于当前图像帧的目标位姿，确定目标物在当前图像帧中的显示位置。
[0007]因此，通过基于历史位姿调整初始位姿，得到调整位姿，并且设置调整位姿与历史位姿间的位姿变化量小于初始位姿与历史位姿间的位姿变化量，以此可以减少目标物相对于当前图像帧与历史图像帧之间的位姿变化，故减少目标物在当前图像帧和历史图像帧中的显示位置出现突变的可能性，即使得后续在显示该目标物时，可以减少抖动的现象，改善用户体验。
[0008]其中，上述的基于历史位姿调整初始位姿，得到调整位姿，包括：基于初始位姿的第一权重系数和历史位姿的第二权重系数，对历史位姿与初始位姿进行加权处理，得到调整位姿。
[0009]因此，通过利用第一权重系数和第二权重系数分别对初始位姿和历史位姿进行加权处理，以此能够得到调整位姿。
[0010]其中，上述的第一权重系数与第二权重系数之和为预设数值；和/或，上述的第一权重系数与目标物的位姿变化率为正相关，第二权重系数与位姿变化率为负相关，位姿变化率表示目标物分别相对于至少三帧参考图像帧的位姿的变化快慢，参考图像帧为包括当前图像帧或第二历史图像帧。
[0011]因为目标物运动缓慢时，人眼对抖动更加敏感，因此，通过设置第一权重系数与目标物的位姿变化率为正相关，使得目标物运动缓慢时，α较小，以此减小调整位姿与历史位姿的位姿变化量，以此减少抖动现象。另外，因为目标物运动迅速时，人眼对延迟更加敏感，
因此通过设置第一权重系数与目标物的位姿变化率为正相关，可以在目标物运动迅速时，调整位姿愈加接近初始位姿，以此可以减少延迟的现象。
[0012]其中，上述的基于调整位姿，获得目标物相对于当前图像帧的目标位姿，包括：将调整位姿作为目标物相对于当前图像帧的目标位姿；或者，利用当前图像帧对应的目标补偿位姿对调整位姿进行补偿，获得目标物相对于当前图像帧的目标位姿。
[0013]因此，通过直接将调整位姿作为目标物相对于当前图像帧的目标位姿，以此在后续利用目标位姿进行显示时，可以减少抖动现象。另外，通过利用当前图像帧对应的目标补偿位姿对调整位姿进行补偿，获得目标物相对于当前图像帧的目标位姿，可以在减少抖动现象的同时，也减少延迟的现象。
[0014]其中，在利用所述当前图像帧对应的目标补偿位姿对所述调整位姿进行补偿，获得所述目标物相对于所述当前图像帧的目标位姿之前，方法还包括：基于目标物的位姿变化率确定目标补偿位姿，其中，目标补偿位姿与位姿变化率为正相关，位姿变化率表示目标物分别相对于至少两帧参考图像帧的位姿的变化快慢，参考图像帧包括当前图像帧或第二历史图像帧。
[0015]因此，通过设置目标补偿位姿与位姿变化率为正相关，以此使得目标物运动迅速时，目标补偿位姿越大，对于减少延迟效果更好。
[0016]其中，上述的基于目标物的位姿变化率确定目标补偿位姿，包括：将初始位姿和调整位姿之间的位姿变化作为初始补偿位姿；基于初始补偿位姿与位姿变化率，确定目标补偿位姿。
[0017]因此，通过利用初始补偿位姿与位姿变化率，可以使得目标补偿位姿与目标物的位姿变化快慢产生关联关系。
[0018]其中，上述的基于初始补偿位姿与位姿变化率，确定目标补偿位姿，包括：基于位姿变化率，确定初始补偿位姿的第三权重系数和第一历史图像帧对应的目标补偿位姿的第四权重系数，其中，第三权重系数与第四权重系数之和为预设数值，第三权重系数与目标物的位姿变化率为正相关；基于第三权重系数和第四权重系数，对初始补偿位姿与第一历史图像帧对应的目标补偿位姿进行加权处理，得到目标补偿位姿。
[0019]因此，通过设置第三权重系数与目标物的位姿变化率为正相关，此时，第四权重系数与目标物的位姿变化率为负相关，使得位姿变化较快时，延迟补偿较大，使得目标物快速运动时，能够更加好的减少延迟的现象。
[0020]其中，上述的在其中一帧参考图像帧包括当前图像帧的情况下，目标物相对于参考图像帧的位姿包括目标物相对于当前帧图像的初始位姿；在其中一帧参考图像帧包括第二历史图像帧的情况下，目标物相对于参考图像帧的位姿包括目标物相对于第二历史图像帧的目标位姿。
[0021]因此，在其中一帧参考图像帧包括当前图像帧的情况下，可以利用目标物相对于当前帧图像的初始位姿，来计算位姿变化率。另外，在其中一帧参考图像帧包括第二历史图像帧的情况下，可以利用目标物相对于第二历史帧图像的目标位姿，来计算位姿变化率。
[0022]其中，上述的调整位姿包括旋转分量和平移分量；上述的利用当前图像帧对应的目标补偿位姿对调整位姿进行补偿，获得目标物相对于当前图像帧的目标位姿，包括：利用当前图像帧对应的目标补偿位姿对调整位姿的平移分量进行补偿，得到补偿平移分量；基
于补偿平移分量和旋转分量获得目标物相对于当前图像帧的目标位姿。
[0023]由于对于延迟来讲，平移的影响大于旋转，因此可以对平移分量的处理可以更加注重于降低延迟，因此可以通过利用当前图像帧对应的目标补偿位姿得到补偿平移分量。对于抖动来讲，旋转的影响大于平移，对旋转的处理可以更加注重于消除抖动，因此可以直接利用调整位姿的旋转分量得到目标位姿，以此还能够避免当前图像帧对应的目标补偿位姿包含的少量噪声可能带来的抖动，以进一步提高显示效果。
[0024]其中，上述的历史位姿、初始位姿和调整位姿均包括旋转分量，旋转分量为由多个元素组成的矩阵；上述的基于历史位姿调整初始位姿，得到调整位姿，包括：分别基于历史位姿的旋转分量中的各元素，调整初始位姿的旋转分量中的对应元素，得到调整位姿的旋转分量中的对应元素。
[0025]因此，通过基于历史位姿的旋转分量中的各元素来调整初始位姿的旋转分量中的对应元素，以此能够得到调整位姿的旋转分量中的对应元素。
[0026]其中，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：获取目标物相对于当前图像帧的初始位姿和所述目标物相对于第一历史图像帧的历史位姿；基于所述历史位姿调整所述初始位姿，得到调整位姿，其中，所述调整位姿与所述历史位姿间的位姿变化量小于初始位姿与所述历史位姿间的位姿变化量；基于所述调整位姿，获得所述目标物相对于所述当前图像帧的目标位姿；基于所述目标物相对于所述当前图像帧的目标位姿，确定所述目标物在所述当前图像帧中的显示位置。2.根据权利要求1所述的方法，其特征在于，所述基于所述历史位姿调整所述初始位姿，得到调整位姿，包括：基于所述初始位姿的第一权重系数和所述历史位姿的第二权重系数，对所述历史位姿与所述初始位姿进行加权处理，得到所述调整位姿。3.根据权利要求2所述的方法，其特征在于，所述第一权重系数与所述第二权重系数之和为预设数值；和/或，所述第一权重系数与所述目标物的位姿变化率为正相关，所述第二权重系数与所述位姿变化率为负相关，所述位姿变化率表示所述目标物分别相对于至少三帧参考图像帧的位姿的变化快慢，所述参考图像帧包括所述当前图像帧或第二历史图像帧。4.根据权利要求1至3任一项所述的方法，其特征在于，所述基于所述调整位姿，获得所述目标物相对于所述当前图像帧的目标位姿，包括：将所述调整位姿作为所述目标物相对于当前图像帧的目标位姿；或者，利用所述当前图像帧对应的目标补偿位姿对所述调整位姿进行补偿，获得所述目标物相对于所述当前图像帧的目标位姿。5.根据权利要求4所述的方法，其特征在于，在所述利用所述当前图像帧对应的目标补偿位姿对所述调整位姿进行补偿，获得所述目标物相对于所述当前图像帧的目标位姿之前，所述方法还包括：基于所述目标物的位姿变化率确定所述目标补偿位姿，其中，所述目标补偿位姿与所述位姿变化率为正相关，所述位姿变化率表示所述目标物分别相对于至少两帧参考图像帧的位姿的变化快慢，所述参考图像帧为所述当前图像帧或第二历史图像帧。6.根据权利要求5所述的方法，其特征在于，所述基于所述目标物的位姿变化率确定所述目标补偿位姿，包括：将所述初始位姿和所述调整位姿之间的位姿变化作为初始补偿位姿；基于所述初始补偿位姿与所述位姿变化率，确定所述目标补偿位姿。7.根据权利要求6所述的方法，其特征在于，所述基于所述初始补偿位姿与所述位姿变化率，确定所述目标补偿位姿，包括：基于所述位姿变化率，确定所述初始补偿位姿的第三权重系数和所述第一历史图像帧对应的目标补偿位姿的第四权重系数，其中，所述第三权重系数与所述第四权重系数之和为预设数值，所述第三权重系数与所述目标物的位姿变化率为正相关；基于第三权重系数和第四权重系数，对所述初始补偿位姿与所述第一历史图像帧对应的目标补偿位姿进行加权处理，得到所述目标补偿位姿。
8.根据权利要求3或5所述的方法，其特征在于，在所述参考图像帧包括所述当前图像帧的情况下，...

【专利技术属性】
技术研发人员：秦学英，宋修强，谢卫健，黄鸿，钟凡，
申请(专利权)人：山东大学，
类型：发明
国别省市：