【技术实现步骤摘要】
本专利技术涉及图像数据处理，尤其涉及基于x射线图像对三维数字人模型进行修订的方法，具体涉及基于x光透视影像的人体网格非刚性配准方法。
技术介绍
1、三维数字人生成技术是指利用计算机技术和算法创建出虚拟的人类形象(即三维数字人或虚拟人)的过程。这一技术通常涉及以下几个步骤：
2、数据采集：通过各种方式获取人类形象的数据，包括2d图像、视频、深度图像、激光扫描等。利用计算机图形学和机器学习算法，将采集到的数据转化为三维模型。这个过程可能包括面部特征、身体结构、纹理贴图等的生成。在得到三维模型后，通过动画技术赋予其动态表现，使其能够展示各种表情、动作和交互。结合不同模态的数据，优化生成的三维数字人，使其在视觉上更加真实和自然。
3、三维数字人生成技术的应用范围广泛，可以在多个领域发挥重要作用：例如虚拟角色：在视频游戏、动画电影和虚拟现实体验中，生成高质量的虚拟角色，提升用户体验。用户可以根据自己的喜好创建个性化的虚拟形象。用户能够在社交平台上使用虚拟人形象作为自己的代表，与他人互动，同时，在社交应用中使用虚拟人形象进行面部替换和特效增强。在医疗与教育方面可以利用三维数字人模型进行解剖学教学和模拟手术练习等等。
4、现有技术中，已经可以通过单张或多张2d图像生成3d模型，常用的方法包括深度学习、卷积神经网络(cnn)等，当然，亦有采用视频序列提取运动信息和表情变化，生成更为动态的3d模型，这主要应用于动画制作、虚拟现实(vr)和增强现实(ar)。虽然现有技术中能够通过2d图像和视频生成3d数字人模型，
技术实现思路
1、为了解决现有技术三维数字人生成的精度不够高问题，本申请提供了基于x光透视影像的人体网格非刚性配准方法，用于对已经生成的三维数字人的人体网格通过客观，真实的x光图像数据进行配准修订，从而获得与实际人体尽可能贴合或者重合的三维数字人；根据实际配准修订的x光图像数据不同，非刚性配准包括体表网格和骨骼网格的修订，使得整个三维数字人将由内而外的与实际人体参数进行匹配，获得高精度三维数字人体模型。
2、为了达到上述目的，本申请所采用的技术方案为：
3、基于x光透视影像的人体网格非刚性配准方法，用于将包括体表网格m和骨骼网格s的人体网格模型进行非刚性配准获得精准人体网格模型，包括以下步骤：
4、步骤stp100，根据实际x光影像数据提取轮廓，采用轮廓检测算法提取每张x光影像数据上的人体表面轮廓同时使用u-net或者mask-r-cnn算法分割出体内骨骼轮廓
5、步骤stp200，当x光影像数据为ct或mri影像时，将步骤stp100中获得的人体表面轮廓和体内骨骼轮廓进行均匀降采样获得所有影像上的采样点根据实际像素尺寸进行空间堆叠分别形成体表点云和骨骼点云其中，体表点云中n1代表体表点云的点数，是体表点云上齐次坐标中的第i个点，骨骼点云中n2代表骨骼点云的点数，是骨骼点云上齐次坐标中的第j个点；
6、步骤stp300，采用基于局部几何相似性和不一致对应物扩散剪枝方法计算待配准人体网格中的体表网格m的顶点与体表点云之间的映射f和待配准人体网格中的骨骼网格s的顶点与骨骼点云之间的映射g；
7、步骤stp400，建立在映射f和g的前提下，获得体表网格m转到目标体表网格m‘的非刚性配准am，为非刚性配准的集合或矩阵，表示点mi的转换矩阵；获得骨骼网格s转到目标骨骼网格s’的非刚性配准as，为非刚性配准的集合或矩阵，表示点si的转换矩阵；
8、步骤stp500，建立非刚性配准能量函数e，
9、e(am,as；f,g)
10、＝α.epoints(am,as；f,g)/+esmooth(am,as；f,g)
11、+eorth(am,as；f,g)
12、其中，α代表权重，当体表点云和骨骼点云存在时α＝1，否则α＝0；epoints、esmooth和eorth分别是点云损失、平滑度约束和正交性约束；获得取值最小emin时的am，as即完成最佳非刚性配准。
13、优选地，步骤stp200中当x光影像数据为ct、mri影像、单张或者连续dr或cbct时中任一一种或者多种时，还包括基于轮廓非刚性配准的步骤，具体包括：
14、步骤stp210，将体表网格m上的任一点mi从标准世界坐标系转换到x光影像数据拍摄状态的球管坐标系获得对应点
15、
16、其中，tn为世界坐标系到球管坐标系的转换矩阵，n为拍摄的次数；
17、步骤stp220，根据探测器成像区域尺寸及球管与探测器的摆位获取人体网格模型的所有点像素坐标ppn
18、
19、其中，calewidth、scaleheight分别代表横向、纵向一个像素实际的长度，射线中心在探测器上成像点的像素坐标为(ppx,ppy)；
20、
21、其中，width、height分别为探测器成像区域宽和高，w和h分别为探测器成像像素宽和高；
22、步骤stp230，提取最外缘所有点的集合即获得体表轮廓
23、步骤stp240，按照步骤stp210-步骤stp230对骨骼网格上任一点sj进行转换获得骨骼轮廓
24、步骤stp250，将步骤stp230获得的体表轮廓与步骤stp100中提取的表面轮廓进行配准，将步骤stp240获得的骨骼轮廓与步骤stp100中提取的骨骼轮廓进行配准，建立非刚性配准能量函数e，
25、e(am,as；f,g)
26、＝α.epoints(am,as；f,g)/+β(esil(am,as；f,g))+esmooth(am,as；f,g)+eorth(am,as；f,g)
27、其中，α，β代表权重，当体表点云和骨骼点云存在时α＝1，否则α＝0；当体表轮廓和骨骼轮廓存在时β＝1，否者β＝0，其中epoints、esil、esmooth和eorth分别是点云损失、轮廓损失、平滑度约束和正交性约束。
28、优选地，所述点云损失epoints通过下述算法获得
29、
30、其中，wi表示体表点误差权重，wj代表骨骼点误差权重，如果mi的目标形状上有相应的点，则权重wi为1，否则权重为0；如果sj的目标形状上有相应的点，则权重wj为1，否则权重为0。
31、优选地，平滑度约束esmooth通过下述算法获得
32、
33、其中，mi和mj为相邻体表顶点，si和sj为相邻骨骼顶点。
34、优选地，正交性约束eorth通过下述算法获得
35、
36、其中，是3×3旋转矩阵，是提取的旋转分量的常数3×4矩阵，和本文档来自技高网...
【技术保护点】
1.基于X光透视影像的人体网格非刚性配准方法，用于将包括体表网格M和骨骼网格S的人体网格模型进行非刚性配准获得精准人体网格模型，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于X光透视影像的人体网格非刚性配准方法，其特征在于，步骤STP200中当X光影像数据为CT、MRI影像、单张或者连续DR或CBCT时中任一一种或者多种时，还包括基于轮廓非刚性配准的步骤，具体包括：
3.根据权利要求1或2所述的基于X光透视影像的人体网格非刚性配准方法，其特征在于，所述点云损失Epoints通过下述算法获得
4.根据权利要求1或2所述的基于X光透视影像的人体网格非刚性配准方法，其特征在于，平滑度约束Esmooth通过下述算法获得
5.根据权利要求1或2所述的基于X光透视影像的人体网格非刚性配准方法，其特征在于，正交性约束Eorth通过下述算法获得
6.根据权利要求2所述的基于X光透视影像的人体网格非刚性配准方法，其特征在于，轮廓损失Esil通过下述算法获得
【技术特征摘要】
1.基于x光透视影像的人体网格非刚性配准方法，用于将包括体表网格m和骨骼网格s的人体网格模型进行非刚性配准获得精准人体网格模型，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于x光透视影像的人体网格非刚性配准方法，其特征在于，步骤stp200中当x光影像数据为ct、mri影像、单张或者连续dr或cbct时中任一一种或者多种时，还包括基于轮廓非刚性配准的步骤，具体包括：
3.根据权利要求1或2所述的基于x光透视影像的人体网格非...
【专利技术属性】
技术研发人员：马川，侯雨舟，李少青，
申请(专利权)人：晓智未来成都科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。