用于飞拍过程中图像筛选的方法和系统技术方案

本发明专利技术提供了一种用于飞拍过程中图像筛选的方法和系统，其特征在于，包括：步骤甲：获取单适应性矩阵H

【技术实现步骤摘要】
用于飞拍过程中图像筛选的方法和系统
本专利技术涉及计算机视觉领域，具体地，涉及用于飞拍过程中图像筛选的方法和系统。
技术介绍
在传统的工业质检过程中，图像采集的过程较为简单，一般都是固定相机，然后对样本的各个面分别拍照。在这个过程中，每次只能拍摄一个面，然后需要人工介入去调整样本的角度，这一过程会很影响样本图像采集的速度。而飞拍技术则是固定样本，采用运动相机，一次性对样本的所有面进行拍摄。这样的技术可以大大的提高工业质检中样本拍摄的效率。飞拍的原理是，对承载相机的机器臂调整好运动轨迹，在轨迹中设置好拍摄位点，当相机运动到拍摄位点后会进行拍摄。在工业表面缺陷质量检测中，效率是一个关键的因素。利用人工智能技术代替人工，最大的优势在于速度。利用飞拍技术虽然可以大大提高工业质检的速度，但是飞拍的运动轨迹和正确的拍摄位点通常很难调节，这一过程以往需要人工介入，进行大量的调参优化。专利文献CN111586289A揭示一种高速飞拍控制方法，其包括步骤：预设飞拍位置于拍摄控制单元；运动控制单元控制运动单元带动工件经过预设飞拍位置；运动单元触发拍摄控制单元；拍摄控制单元先后启动拍摄单元的拍摄件及光源件；拍摄件拍取工件图像。本专利技术还提供一种高速飞拍控制系统。本专利技术的高速飞拍控制方法通过拍摄控制单元对拍摄件及光源件进行控制，使得光源件迟于拍摄件启动，同时根据预设的飞拍位置对运动状态的工件进行拍摄，实现不停机拍摄。但是如何得到拍摄的预设的飞拍位置，需要进一步优化。
技术实现思路
针对现有技术中的缺陷，本专利技术的目的是提供一种用于飞拍过程中图像筛选的方法和系统。根据本专利技术提供的一种用于飞拍过程中图像筛选的方法，包括：步骤甲：获取单适应性矩阵HAB；步骤乙：根据单适应性矩阵HAB筛选图片。优选地，所述步骤甲，包括：步骤甲S1：对拍摄位点正确的图像进行随机剪裁，获得剪裁的图像块A；步骤甲S2：对图像块A的四个角进行随机扰动，获得四对偏移量Δxi,Δyi，i＝1,2,3,4；其中，Δxi表示平面直角坐标系下X轴的偏移量，Δyi表示平面直角坐标系下Y轴的偏移量；并根据对偏移量计算得到单适应性矩阵HAB；将图像块A通过HAB的逆矩阵转换得到图像块B；步骤甲S3：将图像块A和图像块B作为输入，单适应性矩阵HAB作为监督Label，送入homographyNet进行训练；让homographyNet网络去学习样本对之间的变换，图像块A、B是作为一对样本对，作为模型输入，预测出单适应性矩阵并获得单适应性矩阵HAB作为label进行监督。优选地，在步骤甲S1中，按照矩形进行随机剪裁得到图像块A，矩形是固定大小的；在步骤甲S2中，剪裁图像块A的四个角的坐标随机扰动后的四个角坐标其中i＝1，2，3，4；x、y分别表示直角坐标系中的横轴、纵轴；偏移量的计算过程分别对四个角计算，获得四对偏移量Δxi,Δyi；求解四对方程组：其中i＝1，2，3，4；在求HAB时添加约束h33＝1，求得唯一解；h11,h12,h13；h21,h22,h23；h31,h32,h33为参数；优选地，所述步骤乙包括：步骤乙S1：对样本的拍摄设定运动轨迹，并在运动轨迹上设置拍摄位点；将拍摄的所有图像以灰度形式存进飞拍图像库；步骤乙S2：第一次筛选：利用拉普拉斯算子对飞拍图像库中图片进行模糊筛选；步骤乙S3：第二次筛选：将第一次筛选后的飞拍图像库的清晰图片与正确图像库里对应的图像作为输入，送入步骤甲训练得到的homographyNet，进行推理，获得两张图片的单适应性矩阵HAB，并由HAB计算飞拍图像和正确图像之间的变换差距，并从飞拍图像库中筛除大于设定阙值T的飞拍图像；步骤乙S4：记录出经过两次筛选后，存留下来飞拍照片的拍摄位点和运动轨迹；其中，存留下来飞拍照片的拍摄位点作为更新后的拍摄位点，存留下来飞拍照片的运动轨迹作为更新后的运动轨迹；提高变换差距的阙值T；返回触发步骤乙S1继续执行；步骤乙S4返回步骤乙S1为迭代优化运动轨迹和拍摄位点，缩小拍摄位点随机生成的范围和数量，逐步提高变换差距的阙值T，直到剩下6个最合适的拍摄位点，6个最合适的拍摄位点具体为上下左右前后六个角度的正投影视图。优选地，在所述步骤乙S2中，拉普拉斯算子是图像的二阶导，检测图像灰度值的快速变化；对于清晰图像，其边界信息较多，经拉普拉斯计算后方差较大；而对于模糊图像，其边界信息较少，经拉普拉斯计算后方差较小；对图片进行拉普拉斯计算后，得到图片方差，对此设定方差阈值，筛选出模糊图像；在所述步骤乙S3中，HAB是一个3*3的矩阵，拆成：其中A2*2是仿射变换参数，T2*1平移变换参数；VT表示变换后边缘交点关系，而s＝1；分别计算出A2*2，T2*1和VT的行列式，分别记作为a，t，v；飞拍图像和正确图像之间的变换差距用a，t，v的平均值来表示。根据本专利技术提供的一种用于飞拍过程中图像筛选的系统，包括：模块甲：获取单适应性矩阵HAB；模块乙：根据单适应性矩阵HAB筛选图片。优选地，所述模块甲，包括：模块甲M1：对拍摄位点正确的图像进行随机剪裁，获得剪裁的图像块A；模块甲M2：对图像块A的四个角进行随机扰动，获得四对偏移量Δxi，Δyi，i＝1，2，3，4；其中，Δxi表示平面直角坐标系下X轴的偏移量，Δyi表示平面直角坐标系下Y轴的偏移量；并根据对偏移量计算得到单适应性矩阵HAB；将图像块A通过HAB的逆矩阵转换得到图像块B；模块甲M3：将图像块A和图像块B作为输入，单适应性矩阵HAB作为监督Label，送入homographyNet进行训练；让homographyNet网络去学习样本对之间的变换，图像块A、B是作为一对样本对，作为模型输入，预测出单适应性矩阵并获得单适应性矩阵HAB作为label进行监督。优选地，在模块甲M1中，按照矩形进行随机剪裁得到图像块A，矩形是固定大小的；在模块甲M2中，剪裁图像块A的四个角的坐标随机扰动后的四个角坐标其中i＝1，2，3，4；x、y分别表示直角坐标系中的横轴、纵轴；偏移量的计算过程分别对四个角计算，获得四对偏移量Δxi，Δyi；求解四对方程组：其中i＝1，2，3，4；在求HAB时添加约束h33＝1，求得唯一解；h11，h12，h13；h21，h22，h23；h31，h32，h33为参数；优选地，所述模块乙包括：模块乙M1：对样本的拍摄设定运动轨迹，并在运动轨迹上设置拍摄位点；将拍摄的所有图像以灰度形式存进飞拍图像库；模块乙M2：第一次筛选：利用拉普拉斯算子对飞拍图像库中图片进行模糊筛选；模块乙M3：第二次筛选：将第一次筛选后的飞拍图像库的清晰图片与正确图像库里对应的图像作为输入，送入模块甲训练得到的homographyNet，进行推理，获得两张图片的单本文档来自技高网...

【技术保护点】
1.一种用于飞拍过程中图像筛选的方法，其特征在于，包括：/n步骤甲：获取单适应性矩阵H

【技术特征摘要】
1.一种用于飞拍过程中图像筛选的方法，其特征在于，包括：
步骤甲：获取单适应性矩阵HAB；
步骤乙：根据单适应性矩阵HAB筛选图片。


2.根据权利要求1所述的用于飞拍过程中图像筛选的方法，其特征在于，所述步骤甲，包括：
步骤甲S1：对拍摄位点正确的图像进行随机剪裁，获得剪裁的图像块A；
步骤甲S2：对图像块A的四个角进行随机扰动，获得四对偏移量Δxi，Δyi，i＝1，2，3，4；其中，Δxi表示平面直角坐标系下X轴的偏移量，Δyi表示平面直角坐标系下Y轴的偏移量；并根据对偏移量计算得到单适应性矩阵HAB；将图像块A通过HAB的逆矩阵转换得到图像块B；
步骤甲S3：将图像块A和图像块B作为输入，单适应性矩阵HAB作为监督Label，送入homographyNet进行训练；让homographyNet网络去学习样本对之间的变换，图像块A、B是作为一对样本对，作为模型输入，预测出单适应性矩阵并获得单适应性矩阵HAB作为label进行监督。


3.根据权利要求2所述的用于飞拍过程中图像筛选的方法，其特征在于，
在步骤甲S1中，按照矩形进行随机剪裁得到图像块A，矩形是固定大小的；
在步骤甲S2中，剪裁图像块A的四个角的坐标随机扰动后的四个角坐标其中i＝1，2，3，4；x、y分别表示直角坐标系中的横轴、纵轴；偏移量的计算过程分别对四个角计算，获得四对偏移量Δxi，Δyi；

求解四对方程组：



其中i＝1，2，3，4；在求HAB时添加约束h33＝1，求得唯一解；
h11，h12，h13；h21，h22，h23；h31，h32，h33为参数。


4.根据权利要求2所述的用于飞拍过程中图像筛选的方法，其特征在于，所述步骤乙包括：
步骤乙S1：对样本的拍摄设定运动轨迹，并在运动轨迹上设置拍摄位点；将拍摄的所有图像以灰度形式存进飞拍图像库；
步骤乙S2：第一次筛选：利用拉普拉斯算子对飞拍图像库中图片进行模糊筛选；
步骤乙S3：第二次筛选：将第一次筛选后的飞拍图像库的清晰图片与正确图像库里对应的图像作为输入，送入步骤甲训练得到的homographyNet，进行推理，获得两张图片的单适应性矩阵HAB，并由HAB计算飞拍图像和正确图像之间的变换差距，并从飞拍图像库中筛除大于设定阙值T的飞拍图像；
步骤乙S4：记录出经过两次筛选后，存留下来飞拍照片的拍摄位点和运动轨迹；其中，存留下来飞拍照片的拍摄位点作为更新后的拍摄位点，存留下来飞拍照片的运动轨迹作为更新后的运动轨迹；提高变换差距的阙值T；返回触发步骤乙S1继续执行；
步骤乙S4返回步骤乙S1为迭代优化运动轨迹和拍摄位点，缩小拍摄位点随机生成的范围和数量，逐步提高变换差距的阙值T，直到剩下6个最合适的拍摄位点，6个最合适的拍摄位点具体为上下左右前后六个角度的正投影视图。


5.根据权利要求4所述的用于飞拍过程中图像筛选的方法，其特征在于，
在所述步骤乙S2中，拉普拉斯算子是图像的二阶导，检测图像灰度值的快速变化；对于清晰图像，其边界信息较多，经拉普拉斯计算后方差较大；而对于模糊图像，其边界信息较少，经拉普拉斯计算后方差较小；对图片进行拉普拉斯计算后，得到图片方差，对此设定方差阈值，筛选出模糊图像；
在所述步骤乙S3中，HAB是一个3*3的矩阵，拆成：



其中A2*2是仿射变换参数，T2*1平移变换参数；
VT表示变换后边缘交点关系，而s＝1；
分别计算出A2*2，T2*1和VT的行列式，分别记作为a，t，v；
飞拍图像和正确图像之间的变换差距用a，t，v的平均值来表示。

【专利技术属性】
技术研发人员：杭天欣，马元巍，陈红星，王克贤，潘正颐，侯大为，
申请(专利权)人：上海微亿智造科技有限公司，
类型：发明
国别省市：上海;31