【技术实现步骤摘要】
本专利技术属于零部件缺陷检测，尤其涉及一种基于具身感知的汽车零部件焊缝缺陷检测方法与系统。
技术介绍
1、随着全球制造业向智能化、绿色化方向的转变，中国汽车产业正处于转型升级的关键时期。在此背景下，汽车零部件的质量控制成为了实现上述目标的关键环节之一。特别是焊缝作为汽车零部件制造过程中至关重要的连接方式，其质量直接影响到整车的安全性和可靠性。因此，对于焊缝缺陷的检测成为汽车制造业中不可或缺的一环。由于生产现场环境变化多端(如温度、湿度、光照条件的波动，以及油渍、灰尘等因素的影响)，导致检测结果容易出现误差，同时传统的手动检测方法效率低下，无法满足现代高效、高质的生产需求。
2、然而，现有的焊缝缺陷检测系统和方法，包括射线检测、激光雷达检测、磁粉检测、人工智能及机器视觉等，仍面临诸多挑战，例如对复杂形状零部件的适应性不足、检测精度不够高等问题，导致智能化水平不高。
3、通过上述分析，要实现汽车零部件焊缝缺陷智能化检测，其技术难点问题为：
4、1)汽车零部件类型多样，检测轨迹难以自动规划；汽车零部件种类繁多，甚至部分汽车零部件形状差异细微。这给新车型零部件的导入识别及其焊缝轨迹规划带来了较大难度。
5、2)焊缝缺陷目标微小、差异细微、部分不可视，难以定位及辨识；焊缝中存在的缺陷种类繁多，如咬边、裂纹、弧坑、夹渣、气孔、弧疤及内部气泡等，这些缺陷往往尺寸小、特征差异细微，有些甚至是隐藏性的，使得检测过程中难以准确捕捉和识别。
技术实现思路
2、本专利技术是这样实现的，一种基于具身感知的汽车零部件焊缝缺陷检测方法包括：
3、步骤1，汽车零部件在线细粒度识别；
4、步骤2，焊缝检测步骤及轨迹自动生成；
5、步骤3，焊缝缺陷的多模态融合检测；
6、步骤4，缺陷报表专家系统。
7、进一步，所述汽车零部件在线细粒度识别：
8、通过逻辑控制单元的协调，使采集控制单元控制相机高效采集图像，随后由ai计算单元处理这些图像，运用在线弱监督特征自聚类算法对汽车零部件进行识别，并将识别结果存入数据存储单元。
9、进一步，所述焊缝检测步骤及轨迹自动生成：
10、通过识别的汽车零部件形状，结合本地化大模型，从历史检测数据中挖掘此类零部件的典型焊缝及其关键特征，识别焊缝的形状及位置信息，并借助预设规则与本地化大型模型协同工作，自动设计出合理的缺陷检测流程和运动路径。
11、进一步，所述焊缝缺陷的多模态融合检测：
12、在逻辑控制单元的指引下，机械臂按照检测轨迹工作，采集控制单元采集图像、3d点云数据及x射线图像数据；最后数据上传至ai计算单元完成多模态融合检测。
13、首先，采用分块检测深度学习算法，分割出待检roi；进一步，采用多尺度长程融合及非局部注意力深度学习算法在待检roi进行微小目标的检测定位；接着，采用深度模板匹配算法，识别可视目标的细粒度区别和缺陷种类；最后，采用3d点云、rgb图像及x射线图像融合检测，进行不可视缺陷检测。
14、进一步，所述缺陷报表专家系统：
15、系统将自动汇总并在线展示检测结果，同时将这些结果反馈给定制化的本地大模型，以实现缺陷的智能化增量学习。
16、本专利技术的另一目的在于提供一种基于具身感知的汽车零部件焊缝缺陷检测系统包括：
17、识别模块，用于汽车零部件在线细粒度识别；通过逻辑控制单元的协调，使采集控制单元控制相机高效采集图像，随后由ai计算单元处理这些图像，运用在线弱监督特征自聚类算法对汽车零部件进行识别，并将识别结果存入数据存储单元；
18、轨迹自动生成模块，用于焊缝检测步骤及轨迹自动生成；通过识别的汽车零部件形状，结合本地化大模型，从历史检测数据中挖掘此类零部件的典型焊缝及其关键特征，识别焊缝的形状及位置信息，并借助预设规则与本地化大型模型协同工作，自动设计出合理的缺陷检测流程和运动路径；
19、融合检测模块，用于焊缝缺陷的多模态融合检测；在逻辑控制单元的指引下，机械臂按照检测轨迹工作，采集控制单元采集图像、3d点云数据及x射线图像数据；最后数据上传至ai计算单元完成多模态融合检测。首先，采用分块检测算法，分割出待检roi；进一步，采用多尺度长程融合及非局部注意力深度学习算法在待检roi进行微小目标的检测定位；接着，采用深度模板匹配算法识别可视目标的细粒度区别和缺陷种类；最后，采用3d点云、rgb图像及x射线图像融合检测算法，进行不可视缺陷检测；
20、缺陷报表模块，用于通过缺陷报表专家系统将自动汇总并在线展示检测结果，同时将这些结果反馈给定制化的本地大模型，以实现缺陷的智能化增量学习。
21、本专利技术的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述基于具身感知的汽车零部件焊缝缺陷检测方法的步骤。
22、本专利技术的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行所述基于具身感知的汽车零部件焊缝缺陷检测方法的步骤。
23、本专利技术的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端用于实现所述基于具身感知的汽车零部件焊缝缺陷检测方法系统。
24、结合上述的技术方案和解决的技术问题，本专利技术所要保护的技术方案所具备的优点及积极效果为：
25、第一、本专利技术通过具身感知循环，实现汽车零部件焊缝缺陷检测的闭环控制，提高系统的感知能力和适应性，实现高精度、高效率的焊缝缺陷检测。具体过程包括：
26、(1)汽车零部件感知：使用高分辨率摄像头和工业相机，获取汽车零部件的高清图像，用于识别汽车零部件的分类及形状。
27、(2)场景理解：通过识别的汽车零部件，并结合本地化大模型，形成对焊缝形状的全面理解。
28、(3)主动决策：根据对焊缝形状的全面理解，结合预设规则及本地化大模型，生成检测步骤和轨迹。
29、(4)缺陷检测执行：机械臂根据生成的检测路径，完成具体的检测动作分解并执行，如移动到指定位置、检测表面凸起、检测气泡等。采用多模态融合技术，将不同模态的感知数据进行融合，形成更为全面和准确的环境模型，同时检测可视和不可视缺陷，提高检测的准确性和鲁棒性。
30、(5)反馈检核阶段：检测过程中，系统实时收集反馈信息，如检测结果、传感器数据等，用于检核效果和执行进度，调整后续的检测策略和路径。
31、第二，作为本专利技术的权利要求的创造性辅助证据，还体现在以下几个重要方面：
32、(1)本专利技术的技术方案转化后的预期收益和商业价值为：
33、本专利技术提出的基本文档来自技高网...
【技术保护点】
1.一种基于具身感知的汽车零部件焊缝缺陷检测方法，其特征在于，包括以下步骤：
2.如权利要求1所述基于具身感知的汽车零部件焊缝缺陷检测方法与系统，其特征在于，所述汽车零部件在线细粒度识别：
3.如权利要求1所述基于具身感知的汽车零部件焊缝缺陷检测方法与系统，其特征在于，所述焊缝检测步骤及轨迹自动生成：
4.如权利要求1所述基于具身感知的汽车零部件焊缝缺陷检测方法与系统，其特征在于，所述焊缝缺陷的多模态融合检测：
5.如权利要求1所述基于具身感知的汽车零部件焊缝缺陷检测方法与系统，其特征在于，所述缺陷报表专家系统：
6.一种实施如权利要求1-5任意一项所述检测方法的基于具身感知的汽车零部件焊缝缺陷检测系统，其特征在于，包括：
7.一种计算机设备，其特征在于，所述计算机设备包括：
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序在被处理器执行时，使处理器执行基于具身感知的汽车零部件焊缝缺陷检测方法的步骤，包括：
9.一种信息数据处理终端，其特征
...【技术特征摘要】
1.一种基于具身感知的汽车零部件焊缝缺陷检测方法，其特征在于，包括以下步骤：
2.如权利要求1所述基于具身感知的汽车零部件焊缝缺陷检测方法与系统，其特征在于，所述汽车零部件在线细粒度识别：
3.如权利要求1所述基于具身感知的汽车零部件焊缝缺陷检测方法与系统，其特征在于，所述焊缝检测步骤及轨迹自动生成：
4.如权利要求1所述基于具身感知的汽车零部件焊缝缺陷检测方法与系统，其特征在于，所述焊缝缺陷的多模态融合检测：
5.如权利要求1所述基于具身感知的汽车零部件焊缝缺...
【专利技术属性】
技术研发人员：黎杨梅，蔡渤，陈垚佳，冉捷，
申请(专利权)人：武汉软件工程职业学院武汉开放大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。