【技术实现步骤摘要】
本专利技术涉及图像识别，具体为一种基于虚幻引擎的手部图像标注仿真数据集生成方法。
技术介绍
1、随着当前各行业对智能化、自动化的需求不断增加，基于深度学习的图像识别、物体检测技术得到了越来越广泛的应用。然而基于深度学习的方法通常需要大量高质量的数据进行训练。在这个过程中，传统仿真数据集的制作方式暴露了很多缺点，例如需要大量时间和人力成本，标注存在误差，不同人员的主观理解影响标注结果，人工数据集通常数据量少，数据质量和安全性难以保证等等。
2、在智能晨检机领域，对于手部信息的数据获取同样面临着类似的困难。难以以人工方式大范围采集，同时生物信息采集和处理具有高度敏感性，有隐私泄露的法律风险。对于一些目前已有的生成虚拟图像并标注和导出数据集的方法，都存在各自的缺点，关于图位姿进行训练监督，公开号cn110765844a，名称为一种基于对抗学习的非感应式餐盘图像数据自动标注方法的中国专利公开了在没有标注标签的图像数据上自动标注餐盘的掩码图标签和包围框标签，所生成的数据只针对目标对象的位置识别以及实例分割任务，无法做到对场景中物体的位姿进行训练监督。
3、关于生成数据集和标注的方法，公开号cn117034591a，名称为基于虚幻引擎仿真数据集的ai视觉模型构建方法及系统的中国专利和公开号cn116630538a，名称为面向餐桌场景的仿真数据集生成方法与装置的中国专利都公开了一种各自生成数据集和标注的方法，但面对的都是工业品场景，没有对生物特征参数化生成的内容。
技术实现思路>
1、本专利技术的目的在于提供一种基于虚幻引擎的手部图像标注仿真数据集生成方法，以解决上述
技术介绍
中提出的问题。
2、为了解决上述技术问题，本专利技术提供如下技术方案：一种基于虚幻引擎的手部图像标注仿真数据集生成方法，方法包括：
3、步骤s100：通过使用3d建模软件和虚幻引擎，建立基础手部模型素材库、手部常见特征库、场景素材库；
4、步骤s200：在虚幻引擎中，创建动态光源并参数化调整光照效果，导入场景素材库中预设桌面模型并使用随机化工具随机生成布局，在桌面区域内使用随机数生成函数生成干扰物体，为其添加物理组件和重力效果，确保干扰物体自动堆放在桌面上；
5、步骤s300：通过真实晨检设备摄像机的物理光学参数设置虚幻引擎中摄像机属性，根据生成的桌面模型的位置，确定虚幻引擎中摄像机正确位置；
6、步骤s400：使用虚幻引擎，根据手部模型素材库中手部模型变化参数随机生成一组参数并初始化手部模型，通过手部常见特征库，利用参数化材质控制生物特征贴图显示，制作手部动作骨骼动画并创建混合空间，创建参数化面板控制非生物特征生成；
7、步骤s500：随机调整双手在摄像机取景框内位置，通过计算判断双手手掌在镜头内且截面在镜头外的要求，若符合要求，则计算双手包围盒在相机坐标系内的取值范围；
8、步骤s600：利用虚幻引擎生成动作序列，渲染仿真场景，生成rgb图像和深度图像，通过计算顶点集合在ndc中的最小外接矩形，定位手部位置，对手部渲染图像进行标注，生成手部标注图像，根据设定的生物特征参数，对病理特征区域进行标注处理，生成手部病理特征标注图像，按设定的输出格式导出处理后的标注图像；
9、步骤s700：重复随机生成手部模型、桌面模型、光照进行训练，生成不同手部特征的rgb-d多模态仿真数据集。
10、进一步的，步骤s100包括：
11、步骤s110：使用3d建模软件制作若干个预设的手部模型，其中手部模型包括手掌和小臂部分长度；
12、步骤s111：通过利用建模软件的变形修改器，将手部模型进行参数化变形绑定，使用虚幻引擎对手部模型的变化参数进行控制；
13、步骤s112：使用图形处理软件制作若干套手部模型的材质贴图，模拟各种皮肤特性，使用虚幻引擎制作参数化材质，模拟各种皮肤和手部特殊的生理生活反应，对手部模型的材质贴图制作蒙版贴图，用于控制特征出现的区域；
14、步骤s113：对手部模型绑定手部骨骼，以实现手部姿态控制，为手掌和小臂断面分别制作包围盒，通过对手部模型骨骼上的特殊位置新建骨骼槽位，以便可以将首饰模型附加于手部骨骼上并跟随其运动。
15、上述步骤相当于对手部模型的变化参数进行绑定，其中手部模型的变化参数包含主参数和微调参数，主参数包括但不限于性别、年龄、粗糙度、胖瘦、手部关节突出程度、手指纤细程度，微调参数包括手指关节长度、指甲样式和长度、毛发等，控制特征出现的区域包括手心、手背、手指、指甲等区域，不同皮肤和手部特殊的生理生活反应，包括湿润、冷等状态。
16、步骤s120：制作生物特征和非生物特征的rgb贴图，建立生物特征库和非生物特征库，使用虚幻引擎创建参数化材质；
17、步骤s121：利用3d建模软件制作首饰模型。
18、上述步骤相当于制作生物特征和非生物特征的rgb贴图，其中生物特征包括痣、胎记等和括皮疹、疱疹、麻疹、丘疹、红斑等不同的病理种类，非生物特征包括擦伤、划伤、结痂、刀疤、手术疤痕、烟疤、烫伤疤等不同的疤痕种类和泥垢、笔迹、纹身等，首饰模型包括手镯、手环、戒指、电子手环、手表等模型。
19、步骤s130：采集不同光照、色彩装饰风格的环境背景素材，利用图像处理软件制作桌面pbr贴图，使用建模软件制作不同的桌面，使用虚幻引擎创建桌面的材质节点，统一整合模型，得到若干种预设桌面模型；
20、步骤s131：使用3d建模软件制作桌面常见的干扰物体，在虚幻引擎中设置场景物体的参数。
21、上述步骤中环境背景包括但不限于hdri天空球、场景模型、倾斜摄影、点云等。
22、进一步的，步骤s200包括：
23、步骤s201：在虚幻引擎中创建动态光源，光照参数可以进行参数化调整，通过调整动态光源的参数，模拟现实世界中的光照效果；
24、步骤s202：在虚幻引擎中，导入场景素材库所制作的预设桌面模型，使用虚幻引擎的随机化工具，在场景中随机生成桌面的布局，在生成逻辑中添加参数，以实现对桌面布局的灵活控制；
25、步骤s203：使用随机数生成函数在桌面区域内生成若干个干扰物体，并确保它们的包围盒不相交，以避免碰撞，同时，为每个干扰物体随机设置一个高度值；
26、步骤s204：利用虚幻引擎的物理系统，为生成的干扰物体添加物理组件，并设置重力效果。
27、上述步骤相当于对桌面模型进行随机建立。
28、进一步的，步骤s300包括：
29、步骤s301：根据真实晨检设备摄像机的物理光学参数，在虚幻引擎内设置摄像机的属性；
30、步骤s302：将随机生成的桌面模型绕z轴随机初始化角度，在桌面模型上随机生成位置(x1，y1，z1)，在该位置初始化晨检机模型，采集得到真实晨检机摄像头高度为h，虚幻引擎中摄像机位置(x1，y1，z1本文档来自技高网...
【技术保护点】
1.一种基于虚幻引擎的手部图像标注仿真数据集生成方法，其特征在于，方法包括：
2.根据权利要求1所述的一种基于虚幻引擎的手部图像标注仿真数据集生成方法，其特征在于，所述步骤S100中建立基础手部模型素材库，包括以下步骤：
3.根据权利要求1所述的一种基于虚幻引擎的手部图像标注仿真数据集生成方法，其特征在于，所述步骤S100中建立手部常见特征库，包括以下步骤：
4.根据权利要求1所述的一种基于虚幻引擎的手部图像标注仿真数据集生成方法，其特征在于，所述步骤S100中建立场景素材库，包括以下步骤：
5.根据权利要求1所述的一种基于虚幻引擎的手部图像标注仿真数据集生成方法，其特征在于，所述步骤S200，包括以下步骤：
6.根据权利要求1所述的一种基于虚幻引擎的手部图像标注仿真数据集生成方法，其特征在于，所述步骤S300，包括以下步骤：
7.根据权利要求1所述的一种基于虚幻引擎的手部图像标注仿真数据集生成方法，其特征在于，所述步骤S400，包括以下步骤：
8.根据权利要求1所述的一种基于虚幻引擎的手部图像标
9.根据权利要求1所述的一种基于虚幻引擎的手部图像标注仿真数据集生成方法，其特征在于，所述步骤S600，包括以下步骤：
10.根据权利要求1所述的一种基于虚幻引擎的手部图像标注仿真数据集生成方法，其特征在于，所述步骤S700中重复执行步骤S300-步骤S600，生成多个晨检打卡环境下不同手部特征的RGB-D多模态仿真数据集。
...【技术特征摘要】
1.一种基于虚幻引擎的手部图像标注仿真数据集生成方法，其特征在于，方法包括：
2.根据权利要求1所述的一种基于虚幻引擎的手部图像标注仿真数据集生成方法，其特征在于，所述步骤s100中建立基础手部模型素材库，包括以下步骤：
3.根据权利要求1所述的一种基于虚幻引擎的手部图像标注仿真数据集生成方法，其特征在于，所述步骤s100中建立手部常见特征库，包括以下步骤：
4.根据权利要求1所述的一种基于虚幻引擎的手部图像标注仿真数据集生成方法，其特征在于，所述步骤s100中建立场景素材库，包括以下步骤：
5.根据权利要求1所述的一种基于虚幻引擎的手部图像标注仿真数据集生成方法，其特征在于，所述步骤s200，包括以下步骤：
6.根据权利要求1所述的一种...
【专利技术属性】
技术研发人员：赵安妮，张靖宣，王春发，马志刚，赵亮，刘派，赵鹏，于升，孙喆，方德辉，王馨梓，崔丹维，王梓，孙悦婷，
申请(专利权)人：吉林省吉科软信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。