基于畸变图像校正的楼层标定方法及相关装置制造方法及图纸

基于畸变图像校正的楼层标定方法及相关装置，包括：对输入的建筑物图像进行直线检测，基于径向失真的多项式模型进行图像径向校正；对输入的建筑物图像进行边缘检测，基于图像中的最优灭点对，得到图像透视校正；对经过图像径向校正及图像透视校正的建筑物图像进行轮廓检测，获得建筑物图像的清晰楼层结构轮廓集合；基于建筑物图像的楼层轮廓结构集合，计算各轮廓的质心，对轮廓质心的纵坐标聚类，最终生成的聚类数目即为楼层数目，各类内轮廓质心均值为该楼层所在纵坐标位置。本发明专利技术针对单一建筑物图像实现综合校正，无需额外附加信息，能够充分利用图像内容，更轻量化地实现楼层结构捕捉，具有性能稳健、图像信息利用充分等优点。点。点。

【技术实现步骤摘要】
基于畸变图像校正的楼层标定方法及相关装置


[0001]本专利技术涉及计算机视觉领域，具体涉及基于畸变图像校正的楼层标定方法及相关装置。

技术介绍

[0002]近年来，高空抛物事件的频发造成了严重的社会危害，更引发了人们对“头顶上的安全”的担忧。为了遏制这一现象，不少高空抛物行为检测系统应运而生，其旨在通过目标检测与目标跟踪的方式捕获抛物行为，获取抛物轨迹。然而，已有方法普遍缺少对抛物楼层的定位环节，只提供了检测功能而缺失楼层定位功能，从而无法准确预警抛物行为并详细提供抛物行为证据。为了补足这一缺口，需要对自然场景下的建筑物实现楼层的标准定位。然而，由于建筑物所处环境复杂，且楼层结构各不相同，不存在通用的楼层标定方法。同时，鉴于摄像机镜头参数不一和拍摄视角不同等缘故，建筑物图像通常存在各种失真问题，破坏了标准的楼层结构，这进一步增加了楼层标定的难度。
[0003]现有的基于监控硬件设施的楼层定位方法普遍对监控设备的硬件安装条件依赖性强，需要按照严格的规则安装部署监控系统(如：规定监控摄像头高度、距离楼层高度等)才可完成抛物检测，安装成本相对较高，不便于大规模推广。此外，大部分高空抛物行为检测系统只能模糊地推送抛物位置信息，无法精准定位到具体楼层。
[0004]现有技术基于yolo网络构建楼层训练网络。训练开始前，间隔固定时长，由人工标记若干个不同时间、光线、天气下的楼层图像，使用这些楼层图像对yolo网络进行训练，以检测图像中的楼层，但是需要通过手工标注、训练的方式来构建模型，且训练出的网络扩展性较差。
[0005]现有技术通过拟合抛物位置的方式来定位抛物楼层，该方法通过对抛物运动轨迹进行拟合和补全，得到最终的拟合落点、拟合抛物点、拟合落点区和拟合抛物点区，由此确定高空抛物发生的楼层，但是需要依托抛物轨迹方可定位楼层，局限性较大。

技术实现思路

[0006]本专利技术的目的在于提供基于畸变图像校正的楼层标定方法及相关装置，以解决现有技术训练出的网络扩展性较差，以及依托抛物轨迹方可定位楼层，局限性较大的问题。
[0007]为实现上述目的，本专利技术采用以下技术方案：
[0008]基于畸变图像校正的楼层标定方法，包括：
[0009]对输入的建筑物图像进行直线检测，基于径向失真的多项式模型进行图像径向校正；
[0010]对输入的建筑物图像进行边缘检测，基于图像中的最优灭点对，得到图像透视校正；
[0011]对经过图像径向校正及图像透视校正的建筑物图像进行轮廓检测，获得建筑物图像的清晰楼层结构轮廓集合；
[0012]基于建筑物图像的楼层轮廓结构集合，计算各轮廓的质心，对轮廓质心的纵坐标聚类，最终生成的聚类数目即为楼层数目，各类内轮廓质心均值为该楼层所在纵坐标位置。
[0013]进一步的，图像径向校正具体为：
[0014]对输入的建筑物图像进行直线检测，从同一边缘上提取的线段划分为一组，并遍历所有线段组，过滤掉无法提供校正信息的线段及线段组；在同一线段组内线段应共线的思想的激励下，采用同一线段组内连续两条线段之间的夹角作为衡量指标来评估校正效果；基于径向失真的多项式模型，采用牛顿迭代法估计畸变参数，应用最优畸变参数进行图像校正。
[0015]进一步的，使用EDlines算法检测图像边缘，并在检测到的边缘上提取线段，同一个边缘上提取到的线段被分为一组，对应初始线段组为L
init
＝L1+L2+
…
+L
p
；遍历线段组，若某一线段组内仅包含1条线段，则删除该线段组，若某一线段组内存在线段长度小于阈值或近似经过图像中心，则删除该线段；
[0016]采用同一线段组内连续两条线段之间的夹角作为衡量指标来评估校正效果，损失函数计算流程如下所示：
[0017][0018][0019][0020]式中，β
j
表示线段组i内两条连续线段l
j
，l
j+1
之间的夹角，n为线段组i内线段总数，N为线段组数量；
[0021]然后，在获取到的线段组上，采用带有两个参数k1，k2的径向失真多项式模型，通过牛顿迭代法估计标准图像上对应线段的首尾坐标(x
u1
，y
u1
)，(x
u2
，y
u2
)以及畸变参数k1，k2；
[0022]假设对N个线段组进行畸变参数估计得到的损失函数为Loss
N
，接下来，从N个线段组中抽取N
‑
1个线段组作为子线段组，再次计算畸变参数及其对应Loss
N
‑1；共可抽取出个子线段组，分别对应N
‑
1个Loss
N
‑1，选取其中的最小值Loss
min
；若Loss
min
≥Loss
N
，选取Loss
N
进入最后的校正模块；否则，保留Loss
min
对应的子线段组；直到移除任何一组线段都无法降低损失函数为止，此时对应的畸变参数k1，k2为最优参数，将该参数应用到整幅径向失真图像上，完成径向畸变图像校正。
[0023]进一步的，图像透视校正：
[0024]对输入的建筑物图像进行边缘检测，得到图像的边缘集；假设图像灭点为两条随机选取的边缘所对应的边缘线的交点，基于RANSAC算法估计图像中的最优灭点对；利用估计的水平灭点和垂直灭点计算图像单应性矩阵H和旋转矩阵R，采用变换T＝HR得到图像透视校正。
[0025]进一步的，通过Canny边缘检测算子获得图像上的边缘，并采用概率霍夫变换提取
边缘线；每个边缘E包含3个属性，分别为边缘位置p、边缘方向d和边缘强度s，边缘集内的元素按照强度大小降序排列；
[0026]假设图像的灭点为两个随机选取的边缘所对应的边缘线的交点，通过RANSAC随机抽样一致算法迭代选取灭点；令某一轮迭代的过程中随机选取的边缘为E
i
，E
j
，对应的边缘线段分别为l
i
，l
j
，由这一对边缘拟合而成的模型记为M(E
i
，E
j
)，所对应的灭点记为v
M
＝l
i
×
l
j
；
[0027]对于所拟合的模型M(E
i
，E
j
)，遍历边缘集剩下的所有边缘E
k
，(k≠i，j)为该模型评分，评分分值如下：
[0028][0029]式中，将灭点和边缘端点对中点连线记为l
vp
，θ是l
vp
和l
k
的夹角；
[0030]在一轮迭代中，累加所有投票值的结果就是模型M(E
i
，E
j
)的得分，通过足够多轮的迭代，得到最佳本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于畸变图像校正的楼层标定方法，其特征在于，包括：对输入的建筑物图像进行直线检测，基于径向失真的多项式模型进行图像径向校正；对输入的建筑物图像进行边缘检测，基于图像中的最优灭点对，得到图像透视校正；对经过图像径向校正及图像透视校正的建筑物图像进行轮廓检测，获得建筑物图像的清晰楼层结构轮廓集合；基于建筑物图像的楼层轮廓结构集合，计算各轮廓的质心，对轮廓质心的纵坐标聚类，最终生成的聚类数目即为楼层数目，各类内轮廓质心均值为该楼层所在纵坐标位置。2.根据权利要求1所述的基于畸变图像校正的楼层标定方法，其特征在于，图像径向校正具体为：对输入的建筑物图像进行直线检测，从同一边缘上提取的线段划分为一组，并遍历所有线段组，过滤掉无法提供校正信息的线段及线段组；在同一线段组内线段应共线的思想的激励下，采用同一线段组内连续两条线段之间的夹角作为衡量指标来评估校正效果；基于径向失真的多项式模型，采用牛顿迭代法估计畸变参数，应用最优畸变参数进行图像校正。3.根据权利要求2所述的基于畸变图像校正的楼层标定方法，其特征在于，使用EDlines算法检测图像边缘，并在检测到的边缘上提取线段，同一个边缘上提取到的线段被分为一组，对应初始线段组为L
init
＝L1+L2+
…
+L
p
；遍历线段组，若某一线段组内仅包含1条线段，则删除该线段组，若某一线段组内存在线段长度小于阈值或近似经过图像中心，则删除该线段；采用同一线段组内连续两条线段之间的夹角作为衡量指标来评估校正效果，损失函数计算流程如下所示：流程如下所示：流程如下所示：式中，β
j
表示线段组i内两条连续线段l
j
,l
j+1
之间的夹角，n为线段组i内线段总数，N为线段组数量；然后，在获取到的线段组上，采用带有两个参数k1,k2的径向失真多项式模型，通过牛顿迭代法估计标准图像上对应线段的首尾坐标(x
u1
,y
u1
),(x
u2
,y
u2
)以及畸变参数k1,k2；假设对N个线段组进行畸变参数估计得到的损失函数为Loss
N
，接下来，从N个线段组中抽取N
‑
1个线段组作为子线段组，再次计算畸变参数及其对应Loss
N
‑1；共可抽取出个子线段组，分别对应N
‑
1个Loss
N
‑1，选取其中的最小值Loss
min
；若Loss
min
≥Loss
N
，选取Loss
N
进入最后的校正模块；否则，保留Loss
min
对应的子线段组；直到移除任何一组线段都无法降低损失函数为止，此时对应的畸变参数k1,k2为最优参数，将该参数应用
到整幅径向失真图像上，完成径向畸变图像校正。4.根据权利要求1所述的基于畸变图像校正的楼层标定方法，其特征在于，图像透视校正：对输入的建筑物图像进行边缘检测，得到图像的边缘集；假设图像灭点为两条随机选取的边缘所对应的边缘线的交点，基于RANSAC算法估计图像中的最优灭点对；利用估计的水平灭点和垂直灭点计算图像单应性矩阵H和旋转矩阵R，采用变换T＝HR得到图像透视校正。5.根据权利要求4所述的基于畸变图像校正的楼层标定方法，其特征在于，通过Canny边缘检测算子获得图像上的边缘，并采用概率霍夫变换提取边缘线；每个边缘E包含3个属性，分别为边缘位置p、边缘方向d和边缘强度s，边缘集内的元素按照强度大小降序排列；假设图像的灭点为两个随机选取的边缘所对应的边缘线的交点，通过RANSAC随机抽样一致算法迭代选取灭点；令某一轮迭代的过程中随机选取的边缘为E
i
,E
j
，对应的边缘线段分别为l
j
,l
j
，由这一对边缘拟合而成的模型记为M(E
i
,E
j
)，所对应的灭点记为v
M
＝l
i
×
l
j
；对于所拟合的模型M(E
...

【专利技术属性】
技术研发人员：罗敏楠，郑荔静，郑庆华，刘欢，杨名帆，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：