【技术实现步骤摘要】
本专利技术涉及图像处理，尤其涉及一种三维姿态优化方法及装置。
技术介绍
1、姿态估计是机器人定位、抓取和避障等任务的关键技术，随着神经网络渲染的发展，促使了反演神经辐射场(neural radiance field,nerf)的发展，基于nerf的姿态估计方法具有端到端训练、全局一致性、高效的推理和泛化能力等优势。
2、相关技术中，通常利用颜色误差对反演神经辐射场模型进行训练，模型学习到的有用信息较少；实际上，相似的颜色并不一定对应着相同的景深，而在真实场景中(遮挡、阴影)只依赖颜色信息会降低姿态估计准确度，导致无法正确地捕捉场景的几何结构，从而导致姿态估计的偏差和误差；另外，基于nerf的方法难以捕捉训练数据中较大的几何和光照变化，并且在处理不同场景、不同视角下的样本时可能会受到一定程度的干扰，也会导致姿态估计准确率低。
技术实现思路
1、本专利技术提供一种三维姿态优化方法及装置，用以解决现有技术利用颜色误差对nerf模型进行训练时模型获取的有用信息较少，且难以捕捉训练数据中较大的几何和光照变化，导致的姿态估计偏差大、鲁棒性低的缺陷，提高了对不同场景、不同视角下目标物体的姿态估计准确率和鲁棒性。
2、本专利技术提供一种三维姿态优化方法，包括如下步骤：对目标物体的姿态数据进行平移和旋转，得到多视角姿态，并采用渲染模型对所述多视角姿态进行渲染，得到第一渲染图像；所述渲染模型采用亲和损失函数结合上下文信息对神经辐射场nerf进行迭代训练得到；根据所述目标物体对应
3、根据本专利技术提供的一种三维姿态优化方法，所述姿态数据通过如下步骤获取：随机获取相机的初始姿态数据；采用所述渲染模型对所述初始姿态数据进行渲染，得到第二渲染图像和深度图像；将所述第二渲染图像、所述深度图像与所述目标物体对应图像进行深度特征匹配，得到匹配信息，并根据所述匹配信息对所述目标物体对应图像进行姿态估计，得到所述姿态数据。
4、根据本专利技术提供的一种三维姿态优化方法，所述根据所述目标物体对应图像与所述第一渲染图像之间的颜色和几何损失通过下式计算：
5、
6、其中，t*为颜色和几何损失函数，λ为颜色和几何损失之间的权衡超参数，ii*为所述目标物体的第i个图像对应的伪图像；i*为所述目标物体的图像对应的伪图像，n为所述目标物体的对应图像的总量。
7、根据本专利技术提供的一种三维姿态估计模型的训练方法，所采用的渲染模型在训练中使用的亲和损失函数通过下式表示：
8、
9、其中，laffinity为亲和损失函数，h×w表示图像尺寸，a(i，j)为亲和矩阵，af(i，j)为输出亲和矩阵。
10、根据本专利技术提供的一种三维姿态优化方法，所述渲染模型采用如下步骤训练得到：以样本图像、所述样本图像对应的相机位姿为训练样本，以亲和损失函数为训练函数并按照自适应全像素组传播策略对所述多组训练样本进行传播训练，得到所述渲染模型。
11、根据本专利技术提供的一种三维姿态优化方法，所述以样本图像、所述样本图像对应的相机位姿为训练样本包括：将所述样本图像进行分块处理，得到多个分块样本图像；以每个分块样本图像、每个分块样本图像对应的相机6dof位姿为一组训练样本，确定多组训练样本。
12、本专利技术还提供一种三维姿态优化装置，包括如下模块：渲染模块，用于对目标物体的姿态数据进行平移和旋转，得到多视角姿态，并采用渲染模型对所述多视角姿态进行渲染，得到第一渲染图像；所述渲染模型采用亲和损失函数结合上下文信息对神经辐射场nerf进行迭代训练得到；姿态优化模块，用于根据所述目标物体对应图像与所述第一渲染图像之间的颜色和几何损失对所述姿态数据进行优化，得到优化后的姿态数据。
13、本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述三维姿态优化方法。
14、本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述三维姿态优化方法。
15、本专利技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述三维姿态优化方法。
16、本专利技术提供的三维姿态优化方法及装置，通过对目标物体的姿态数据进行平移和旋转，并采用由亲和损失函数结合上下文信息对nerf训练得到的渲染模型对多视角姿态进行渲染，根据目标物体对应图像与第一渲染图像之间的颜色和几何损失对姿态数据进行优化，得到优化后的姿态数据，结合深度和颜色信息的一致性，能够更充分地利用几何约束及捕捉场景中相邻点之间的关系，促进局部一致性，减少了局部模型的偏差，提高了姿态估计的准确性和鲁棒性。
本文档来自技高网...【技术保护点】
1.一种三维姿态优化方法，其特征在于，包括：
2.根据权利要求1所述的三维姿态优化方法，其特征在于，所述姿态数据通过如下步骤获取：
3.根据权利要求1所述的三维姿态优化方法，其特征在于，所述根据所述目标物体对应图像与所述第一渲染图像之间的颜色和几何损失通过下式计算：
4.根据权利要求1所述的三维姿态优化方法，其特征在于，所采用的渲染模型在训练中使用的亲和损失函数通过下式表示：
5.根据权利要求1所述的三维姿态优化方法，其特征在于，所述渲染模型采用如下步骤训练得到：
6.根据权利要求5所述的三维姿态优化方法，其特征在于，所述以样本图像、所述样本图像对应的相机位姿为训练样本包括：
7.一种三维姿态优化装置，其特征在于，包括：
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述的三维姿态优化方法。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的三维姿态优化方法。
...【技术特征摘要】
1.一种三维姿态优化方法，其特征在于，包括：
2.根据权利要求1所述的三维姿态优化方法，其特征在于，所述姿态数据通过如下步骤获取：
3.根据权利要求1所述的三维姿态优化方法，其特征在于，所述根据所述目标物体对应图像与所述第一渲染图像之间的颜色和几何损失通过下式计算：
4.根据权利要求1所述的三维姿态优化方法，其特征在于，所采用的渲染模型在训练中使用的亲和损失函数通过下式表示：
5.根据权利要求1所述的三维姿态优化方法，其特征在于，所述渲染模型采用如下步骤训练得到：
6.根据权利要求5所述的三维姿态优化方法，其特征在于，所述以样本图像、...
【专利技术属性】
技术研发人员：张吉光，何璐璐，张昭辉，孟维亮，张晓鹏，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。