【技术实现步骤摘要】
一种基于RGB数据的单视角和多视角三维重建方法及装置
[0001]本专利技术涉及图像处理的
，尤其涉及一种基于RGB数据的单视角和多视角三维重建方法，以及基于RGB数据的单视角和多视角三维重建装置。
技术介绍
[0002]基于计算机视觉技术的三维物体重建在人类生活的众多领域得到广泛应用，如人机交互、虚拟现实、增强现实和医疗诊断等。
[0003]目前，基于RGB的三维物体重建方法主要分为传统方法和基于深度学习的方法。
[0004]传统的三维重建方法的核心环节是多视图图像特征匹配，重建模型质量高度依赖特征匹配精度。但是，由于外观变化或自遮挡，使得不同视点图像差异较大，因此很难建立精确稠密的特征对应关系。而且，重构的三维形状通常是一个没有几何细节的稀疏点云，精度待提升。此外，传统的三维重建方法涉及的环节较多，一般主要包括图像预处理，特征的计算与配准，数据融合，纹理映射等，导致环节之间的误差传递积累，最后严重影响重建效果。
[0005]基于深度学习的特征提取及三维模型重建克服了上述传统方法中的弊端，从而受到广泛关注。与此同时此类方法随着大量三维计算机辅助设计模型的出现而飞速发展。例如基于循环神经网络的三维重建方法将三维重建看作序列学习问题，使用循环神经网络去融合从输入图像提取的深度特征从而去重建三维形状；但是这类方法在给定不同顺序的输入图像时，三维重建结果存在差异，不能保证三维重建形状的一致性。为了克服这个问题，基于编码器-解码器结构的生成网络的三维重建方法被提出，即用编码器映射二维图像得到潜在...
【技术保护点】
【技术特征摘要】
1.一种基于RGB数据的单视角和多视角三维重建方法，其特征在于：该方法包括以下步骤：(1)融合输入视角的个性化特征和其所属类别的共性化特征，重建得到初始化的三维体素；(2)在初始化的三维体素基础上，利用体素在特定视角下的先验对称性和本身具有的内部上下文依赖关系指导体素注意力图结构的构建，基于体素注意力图结构，利用多尺度图卷积对初始体素进行细化处理。2.一种基于RGB数据的单视角和多视角三维重建装置，其特征在于：其包括：三维体素重建模块，其融合输入视角的个性化特征和其所属类别的共性化特征，重建得到初始化的三维体素；体素精细化模块，其在初始化的三维体素基础上，利用体素在特定视角下的先验对称性和本身具有的内部上下文依赖关系指导体素注意力图结构的构建，基于体素注意力图结构，利用多尺度图卷积对初始体素进行细化处理。3.根据权利要求2所述的基于RGB数据的单视角和多视角三维重建装置，其特征在于：所述三维体素重建模块包括两个编码-解码网络，一个融合模块；其中第一编码-解码网络中的编码器E
Com
从图像中学习潜在特征，并对其进行分类处理以获得属于特定类别的共性特征，送入第一编码-解码网络中的解码器D
Com
重建出共性粗糙三维体素；第二编码-解码网络中的编码器E
Ind-解码器D
Ind
提取输入图像的个性化潜在特征并解码生成个性初始三维体素；融合模块利用基于个性-共性的上下文感知融合模块得到融合的初始三维体素。4.根据权利要求3所述的基于RGB数据的单视角和多视角三维重建装置，其特征在于：所述第一编码-解码网络中，对于n个视角的输入图像经过E
Com
得到潜在变量分类该潜在变量到它所属的类别c
j
中，其分类损失为公式(1)：其中p
k
表示真实的类别，q
k
表示预测的类别；然后将潜在特征送入解码器D
Com
得到重建的5.根据权利要求4所述的基于RGB数据的单视角和多视角三维重建装置，其特征在于：所述第二编码-解码网络中，将输入图像经过E
Ind
得到潜在特征z
i
表示第i个视角的个性潜在特征，后将其送入解码器D
Ind
得到重建的个性初始三维体素6.根据权利要求5所述的基于RGB数据的单视角和多视角三维重建装置，其特征在于：所述融合模块中，分别通过共性和个性的上下文打分网络对和对打分，得到和然后将体素和相应的分数相乘再进行融合得到融合后的三维体素为了评估重建的体素，在重建的三维体素与真实的三维体素之间采用基于体素的二值交叉熵的平均值进行度量，定义为公式(2)：
其中N表示三维物体中体素的数量，p
i
和gt
i
代表预测体素的占...
【专利技术属性】
技术研发人员：孔德慧，高俊娜，王少帆，李敬华，王立春，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。