【技术实现步骤摘要】
本专利技术涉及锂电材料生产检测，更具体的说是涉及一种多模态匣钵异常检测方法及系统。
技术介绍
1、随着科技的不断进步和智能化时代的到来，智能装备在各个领域的应用越来越广泛。其中，视觉技术作为智能装备实现智能感知和自主决策的关键技术之一，其应用对于提升设备的智能化水平、提高生产效率、保障产品质量等方面具有不可替代的作用。
2、锂电材料生产过程中需要高温环境的保持，人工检测劳动强度大，其引起的视觉疲劳会出现错误分类、检测结果不稳定；检测结果和工人的经验相关且进行过程控制和统计分析十分困难；匣钵在生产过程中由于烧结材料不同带来背景环境多变的问题，导致检测困难。
3、因此，如何提供一种多模态匣钵异常检测方法及系统是本领域技术人员亟需解决的问题。
技术实现思路
1、有鉴于此，本专利技术提供了一种多模态匣钵异常检测方法及系统，实现了对匣钵的在线、快速、准确实时检测分拣，提高了检测精度。
2、为了实现上述目的，本专利技术采用如下技术方案：
3、一种多模态匣钵异常检测方法，包括：
4、采集待测匣钵的2d图像和3d点云图像；
5、通过2d特征提取网络提取2d图像的特征，得到2d特征图，提取2d特征图每个像素位置的特征向量，得到2d特征向量图；通过3d特征提取网络提取3d点云图像的特征，得到3d特征向量集，提取3d特征向量集重要像素位置的特征向量，得到3d特征向量图；
6、将2d特征向量图投影到3d图像平面得到像素级特
7、将像素级特征对齐的2d特征图和像素级特征对齐的3d特征图进行聚合，得到多模态匣钵异常检测结果。
8、优选的，2d图像的维度为w×h×c，其中，w表示2d图像的宽度，h表示2d图像的高度，c表示2d图像的通道个数；
9、3d点云图像的维度为n×3，n表示点云的个数。
10、优选的，通过2d特征提取网络提取2d图像的特征，得到2d特征图，提取2d特征图每个像素位置的特征向量，得到2d特征向量图，其中：
11、2d特征图具体为：
12、m2d＝f2d(i2d)
13、其中，2d特征图m2d的宽度为wf，2d特征图m2d的高度为hf，2d特征图m2d的深度为d2d，f2d表示2d特征提取网络；
14、2d特征向量图具体为：
15、
16、其中，g2d为双线性插值函数，为2d特征向量图。
17、优选的，通过3d特征提取网络提取3d点云图像的特征，得到3d特征向量集，提取3d特征向量集重要像素位置的特征向量，得到3d特征向量图，其中：
18、3d特征向量集具体为：
19、m3d＝f3d(p3d)
20、其中，m3d为3d特征向量集，p3d为3d点云图像，f3d为3d特征提取网络；
21、3d特征向量图具体为：
22、
23、α，β，γ＝p→getclose()
24、其中，g3d为邻域插值函数，fα，fβ，fγ∈m3d，分别表示3d点云图像数据中α，β，γ的特征向量，α，β，γ∈p3d，分别表示α，β，γ的权重，的特征尺寸为d3d，大小为n，中每个点的特征向量为fp,p∈p3d，p和getclose()表示3d点云图像数据中某个点，α，β，γ为p邻域的三个点，这三个点的特征向量在3d特征向量集中存在。
25、优选的，将2d特征向量图投影到3d图像平面得到像素级特征对齐的2d特征图，将3d特征向量图投影到2d图像平面得到像素级特征对齐的3d特征图；具体包括：
26、像素级特征对齐的2d特征图具体计算公式为：
27、
28、其中，δ表示2d特征向量图中的一个像素点，表示像素级特征对齐的2d特征图，其特征尺寸大小为w×h×d2d；
29、像素级特征对齐的3d特征图具体计算公式为：
30、
31、其中，为像素级特征对齐的3d特征图，其特征尺寸大小为w×h×d3d，μ为3*3的平滑卷积核。
32、优选的，将像素级特征对齐的2d特征图和像素级特征对齐的3d特征图进行聚合，得到多模态匣钵异常检测结果，具体包括：
33、将像素级特征对齐的2d特征图的深度d2d映射到d3d，得到预测的维度为w×h×d2d的特征图将像素级特征对齐的3d特征图的深度d3d映射到d2d，得到维度为w×h×d3d的特征图计算公式为：
34、
35、其中，i表示指定像素位置，表示i位置的2d特征，表示i位置的3d特征，表示从2d特征预测的3d特征，表示从3d特征预测的2d特征，τ表示像素级特征对齐的3d特征图中的一个像素点，θ表示像素级特征对齐的2d特征图中的一个像素点；
36、将像素级特征对齐的2d特征图和特征图进行像素比对，得到2d异常图，将像素级特征对齐的3d特征图和特征图进行像素比对，得到3d异常图，计算公式为：
37、
38、其中，φ2d表示2d异常图，φ3d表示3d异常图，z为差异函数；
39、通过聚合函数将2d异常图和3d异常图组合，得到多模态匣钵异常图φ：
40、φ＝a(φ2d,φ3d)
41、其中，a表示聚合函数。
42、优选的，每个像素的损失为：
43、
44、其中，lossi表示第i个像素的损失。
45、一种多模态匣钵异常检测系统，该系统用于实现一种多模态匣钵异常检测方法，包括：2d工业相机、3d激光轮廓传感器和plc处理装置；
46、2d工业相机用于采集待测匣钵的2d图像；
47、3d激光轮廓传感器用于采集待测匣钵的3d点云图像；
48、plc处理装置用于通过2d特征提取网络提取2d图像的特征，得到2d特征图，提取2d特征图每个像素位置的特征向量，得到2d特征向量图；通过3d特征提取网络提取3d点云图像的特征，得到3d特征向量集，提取3d特征向量集重要像素位置的特征向量，得到3d特征向量图；
49、将2d特征向量图投影到3d图像平面得到像素级特征对齐的2d特征图，将3d特征向量图投影到2d图像平面得到像素级特征对齐的3d特征图；
50、将像素级特征对齐的2d特征图和像素级特征对齐的3d特征图进行聚合显示，得到多模态匣钵异常检测结果。
51、优选的，设检测的匣钵宽为lwidth，高为lheight，像素数为t，检测精度为s，则匣钵宽度方向所需的像素为匣钵高度方向所需的像素为则2d工业相机的分辨率至少为(2·tw)*(2·th)，3d激光轮廓传感器的精度至少为(2·th)。
52、经由上述的技术方案可知，与现有技术相比，本专利技术公开提供了一种多模态匣本文档来自技高网...
【技术保护点】
1.一种多模态匣钵异常检测方法，其特征在于，包括：
2.根据权利要求1所述的一种多模态匣钵异常检测方法，其特征在于，2D图像的维度为W×G×C，其中，W表示2D图像的宽度，H表示2D图像的高度，C表示2D图像的通道个数；
3.根据权利要求2所述的一种多模态匣钵异常检测方法，其特征在于，通过2D特征提取网络提取2D图像的特征，得到2D特征图，提取2D特征图每个像素位置的特征向量，得到2D特征向量图，其中：
4.根据权利要求3所述的一种多模态匣钵异常检测方法，其特征在于，通过3D特征提取网络提取3D点云图像的特征，得到3D特征向量集，提取3D特征向量集重要像素位置的特征向量，得到3D特征向量图，其中：
5.根据权利要求4所述的一种多模态匣钵异常检测方法，其特征在于，将2D特征向量图投影到3D图像平面得到像素级特征对齐的2D特征图，将3D特征向量图投影到2D图像平面得到像素级特征对齐的3D特征图；具体包括：
6.根据权利要求5所述的一种多模态匣钵异常检测方法，其特征在于，将像素级特征对齐的2D特征图和像素级特征对齐的3D特征图
7.根据权利要求6所述的一种多模态匣钵异常检测方法，其特征在于，每个像素的损失为：
8.一种多模态匣钵异常检测系统，该系统用于实现权利要求1-7任一所述方法，其特征在于，包括：2D工业相机、3D激光轮廓传感器和PLC处理装置；
9.根据权利要求8所述的一种多模态匣钵异常检测系统，其特征在于，设检测的匣钵宽为Lwidth，高为Lheight，像素数为T，检测精度为S，则匣钵宽度方向所需的像素为匣钵高度方向所需的像素为则2D工业相机的分辨率至少为(2·Tw)*(2·Th)，3D激光轮廓传感器的精度至少为(2·Th)。
...【技术特征摘要】
1.一种多模态匣钵异常检测方法，其特征在于，包括：
2.根据权利要求1所述的一种多模态匣钵异常检测方法，其特征在于，2d图像的维度为w×g×c，其中，w表示2d图像的宽度，h表示2d图像的高度，c表示2d图像的通道个数；
3.根据权利要求2所述的一种多模态匣钵异常检测方法，其特征在于，通过2d特征提取网络提取2d图像的特征，得到2d特征图，提取2d特征图每个像素位置的特征向量，得到2d特征向量图，其中：
4.根据权利要求3所述的一种多模态匣钵异常检测方法，其特征在于，通过3d特征提取网络提取3d点云图像的特征，得到3d特征向量集，提取3d特征向量集重要像素位置的特征向量，得到3d特征向量图，其中：
5.根据权利要求4所述的一种多模态匣钵异常检测方法，其特征在于，将2d特征向量图投影到3d图像平面得到像素级特征对齐的2d特征图，将3d特征向量图...
【专利技术属性】
技术研发人员：叶振飞，白银光，王英利，刘大亮，
申请(专利权)人：北京中鼎高科自动化技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。