鱼眼相机图片中目标检测矫正的方法与系统技术方案

本发明专利技术提供一种鱼眼相机图片中目标检测矫正的方法与系统，包括：接收鱼眼相机的视频流输入，通过帧处理获得检测用鱼眼图片；检测鱼眼中照片中的行人目标；以检测结果的目标框为基础，将目标框进行扩边抠取，作为感兴趣区域ROI；获取目标框中心点与鱼眼图片中心点的竖向夹角；根据所述竖向夹角和旋转中心确定旋转矩阵，其中以所述目标框中心点作为旋转中心；利用旋转矩阵对感兴趣区域ROI进行仿射变换获得新的感兴趣区域new_ROI；获取目标框在新的感兴趣区域new_ROI中位置；新的感兴趣区域new_ROI中的目标框再次抠取，输出新的图片作为目标识别的输入图片。本发明专利技术根据目标在鱼眼图片中的位置，将目标旋转正向将旋转的目标矫正正向，便于目标的识别。

【技术实现步骤摘要】
鱼眼相机图片中目标检测矫正的方法与系统
本专利技术涉及图像处理
，具体而言涉及一种鱼眼相机图片中目标检测矫正的方法与系统。
技术介绍
在目前安防领域中，因为鱼眼镜头视角范围广，通常会使用其作为视频流采集工具。但在实际应用鱼眼镜头过程中存在图像畸变的问题，并且越远离图片中心畸变越严重。同时，鱼眼镜头中的目标旋转角度各异，旋转的目标不便于识别。这两种问题带来了一定的识别困难。目前最常见的解决办法是使用标定方法获取鱼眼镜头相机内参后将鱼眼畸变图片矫正，再使用矫正后的图片进行处理。该解决方法的缺点在于矫正的结果并非完全将畸变图片矫正正确，同时不同的相机镜头因安装不一致会导致内参存在差异，使得不同的相机不能复用同一套标定参数。同时，对矫正后的图片的深度学习图像检测和识别方法是基于图像的像素值，矫正后的图片并没有增加额外的目标像素信息，因此就算使用矫正后的图片进行检测和识别，基本没有增益。在识别任务中，目标为正向的识别通过率一般比其他旋转角度高，为提升识别精度，需将目标旋转至正向。
技术实现思路
本专利技术目的在于提供一种鱼眼相机图片中目标检测矫正的方法与系统，利用鱼眼相机图片的特性，根据目标在图片中的位置，将目标旋转正向将旋转的目标矫正正向，便于目标的识别，尤其是行人检测与识别。为实现上述目的，本专利技术的第一方面提出一种鱼眼相机图片中目标检测矫正的方法，包括以下步骤：步骤1、接收鱼眼相机的视频流输入，通过帧处理获得检测用鱼眼图片；步骤2、检测鱼眼中照片中的行人目标；步骤3、以检测结果的目标框为基础，将目标框进行扩边抠取，作为感兴趣区域ROI；步骤4、获取目标框中心点与鱼眼图片中心点的竖向夹角；步骤5、根据所述竖向夹角和旋转中心确定旋转矩阵，其中以所述目标框中心点作为旋转中心；步骤6、利用旋转矩阵对感兴趣区域ROI进行仿射变换获得新的感兴趣区域new_ROI；步骤7、获取目标框在新的感兴趣区域new_ROI中位置；以及步骤8、对新的感兴趣区域new_ROI中的目标框再次抠取，输出新的图片作为目标识别的输入图片。根据本专利技术的第二方面还提出一种鱼眼相机图片中目标检测框矫正的系统，包括：用于接收鱼眼相机的视频流输入，通过帧处理获得检测用鱼眼图片的模块；用于检测鱼眼中照片中的行人目标的；用于以检测结果的目标框为基础，将目标框进行扩边抠取，作为感兴趣区域ROI的模块；用于获取目标框中心点与鱼眼图片中心点的竖向夹角的模块；用于根据所述竖向夹角和旋转中心确定旋转矩阵的模块，其中以所述目标框中心点作为旋转中心；用于利用旋转矩阵对感兴趣区域ROI进行仿射变换获得新的感兴趣区域new_ROI的模块；用于获取目标框在新的感兴趣区域new_ROI中位置的模块；以及用于对新的感兴趣区域new_ROI中的目标框再次抠取，输出新的图片作为目标识别的输入图片的模块。根据本专利技术的第三方面还提出一种鱼眼相机图片中目标检测框矫正的系统，包括：一个或多个处理器；存储器，存储可被操作的指令，所述指令在通过所述一个或多个处理器执行时使得所述一个或多个处理器执行操作，所述操作包括：步骤1、接收鱼眼相机的视频流输入，通过帧处理获得检测用鱼眼图片；步骤2、检测鱼眼中照片中的行人目标；步骤3、以检测结果的目标框为基础，将目标框进行扩边抠取，作为感兴趣区域ROI；步骤4、获取目标框中心点与鱼眼图片中心点的竖向夹角；步骤5、根据所述竖向夹角和旋转中心确定旋转矩阵，其中以所述目标框中心点作为旋转中心；步骤6、利用旋转矩阵对感兴趣区域ROI进行仿射变换获得新的感兴趣区域new_ROI；步骤7、获取目标框在新的感兴趣区域new_ROI中位置；以及步骤8、对新的感兴趣区域new_ROI中的目标框再次抠取，输出新的图片作为目标识别的输入图片。由以上本专利技术的技术方案，根据目标在图片中的位置，计算出旋转角度，将旋转的目标矫正正向，提升鱼眼相机图片目标的识别。本专利技术在实施过程中根据鱼眼镜头的特性，在检测任务中，无需增加额外的角度信息，就能得到准确的目标旋转角度；对于鱼眼镜头中带有不同旋转角度、带有畸变的目标，能够准确分割目标边界框，使得目标包含更少的干扰信息，便于识别。应当理解，前述构思以及在下面更加详细地描述的额外构思的所有组合只要在这样的构思不相互矛盾的情况下都可以被视为本公开的专利技术主题的一部分。另外，所要求保护的主题的所有组合都被视为本公开的专利技术主题的一部分。结合附图从下面的描述中可以更加全面地理解本专利技术教导的前述和其他方面、实施例和特征。本专利技术的其他附加方面例如示例性实施方式的特征和/或有益效果将在下面的描述中显见，或通过根据本专利技术教导的具体实施方式的实践中得知。附图说明附图不意在按比例绘制。在附图中，在各个图中示出的每个相同或近似相同的组成部分可以用相同的标号表示。为了清晰起见，在每个图中，并非每个组成部分均被标记。现在，将通过例子并参考附图来描述本专利技术的各个方面的实施例，其中：图1是根据本专利技术实施例的鱼眼相机图片中目标检测框矫正的流程示意图。图2是鱼眼相机获得的鱼眼照片的示意图，其中第一层级小框表示检测的目标框，经过放大后抠取第二层大框作为感兴趣区域ROI。图3a-3c是根据三个感兴趣区域ROI的示意图。图4a-4c是对应于图3a-3c的三个示意图，利用旋转矩阵对ROI进行仿射变换得到新的感兴趣区域new_ROI的示意图，其中将目标转正。图5a-5c是对应于图3a-3c对应的目标检测得到的三个行人目标的目标框在new_ROI中的位置。图6a-6c是对应于图3a-3c对应的目标检测得到的三个行人目标的图示。图7a-7c是对应于本专利技术的校正后的图4a-4c得到的三个行人目标的图示。图8是根据本专利技术实施例的鱼眼相机图片中目标检测框矫正的测试结果的示意图。具体实施方式为了更了解本专利技术的
技术实现思路
，特举具体实施例并配合所附图式说明如下。在本公开中参照附图来描述本专利技术的各方面，附图中示出了许多说明的实施例。本公开的实施例不必定意在包括本专利技术的所有方面。应当理解，上面介绍的多种构思和实施例，以及下面更加详细地描述的那些构思和实施方式可以以很多方式中任意一种来实施，这是因为本专利技术所公开的构思和实施例并不限于任何实施方式。另外，本专利技术公开的一些方面可以单独使用，或者与本专利技术公开的其他方面的任何适当组合来使用。结合图1-7所示，根据本专利技术的示例性实施例的一种鱼眼相机图片中目标检测矫正的方法，包括以下步骤：步骤1、接收鱼眼相机的视频流输入，通过帧处理获得检测用鱼眼图片；步骤2、检测鱼眼中照片中的行人目标；步骤3、以检测结果的目标框为基础，将目标框进行扩边抠取，作为感兴趣区域ROI；步骤4、获取目标框中心本文档来自技高网...

【技术保护点】
1.一种鱼眼相机图片中目标检测矫正的方法，其特征在于，包括以下步骤：/n步骤1、接收鱼眼相机的视频流输入，通过帧处理获得检测用鱼眼图片；/n步骤2、检测鱼眼中照片中的行人目标；/n步骤3、以检测结果的目标框为基础，将目标框进行扩边抠取，作为感兴趣区域ROI；/n步骤4、获取目标框中心点与鱼眼图片中心点的竖向夹角；/n步骤5、根据所述竖向夹角和旋转中心确定旋转矩阵，其中以所述目标框中心点作为旋转中心；/n步骤6、利用旋转矩阵对感兴趣区域ROI进行仿射变换获得新的感兴趣区域new_ROI；/n步骤7、获取目标框在新的感兴趣区域new_ROI中位置；以及/n步骤8、对新的感兴趣区域new_ROI中的目标框再次抠取，输出新的图片作为目标识别的输入图片。/n

【技术特征摘要】
1.一种鱼眼相机图片中目标检测矫正的方法，其特征在于，包括以下步骤：
步骤1、接收鱼眼相机的视频流输入，通过帧处理获得检测用鱼眼图片；
步骤2、检测鱼眼中照片中的行人目标；
步骤3、以检测结果的目标框为基础，将目标框进行扩边抠取，作为感兴趣区域ROI；
步骤4、获取目标框中心点与鱼眼图片中心点的竖向夹角；
步骤5、根据所述竖向夹角和旋转中心确定旋转矩阵，其中以所述目标框中心点作为旋转中心；
步骤6、利用旋转矩阵对感兴趣区域ROI进行仿射变换获得新的感兴趣区域new_ROI；
步骤7、获取目标框在新的感兴趣区域new_ROI中位置；以及
步骤8、对新的感兴趣区域new_ROI中的目标框再次抠取，输出新的图片作为目标识别的输入图片。


2.根据权利要求1所述的鱼眼相机图片中目标检测矫正的方法，其特征在于，所述步骤3中，对于框检测中心点坐标为(x1，y1)，宽为w，高为h，则对目标框扩边抠取，作为感兴趣区域ROI，其中所述的扩边抠取的操作包括：保持目标框中心点不变，将宽w和高h分别扩展至原来的N倍。


3.根据权利要求1所述的鱼眼相机图片中目标检测矫正的方法，其特征在于，所述步骤3中，宽w和高h的扩展倍数N取值在3-5之间。


4.根据权利要求1所述的鱼眼相机图片中目标检测矫正的方法，其特征在于，所述步骤4中，根据鱼眼图片中心点(x2，y2)，计算目标框中心点和鱼眼图片中心点的连线与竖直线的竖向夹角θ，其中先分别计算前述两个中心点的水平距离dx和竖直距离dy：
dx＝x2-x1
dy＝y2-y1
然后，根据反正切公式，可计算出θ：
θ＝arctan(dx/dy)。


5.根据权利要求1所述的鱼眼相机图片中目标检测矫正的方法，其特征在于，所述步骤5中，根据竖向夹角θ计算目标框的旋转矩阵M，其中旋转过程以原目标框中心点为旋转中心，将旋转中心作为新坐标(0,0)点，旋转矩阵M计算公式为：





6.根据权利要求5所述的鱼眼相机图片中目标检测矫正的方法，其特征在于，在所述步骤6中，对于感兴趣区域ROI中的任意一像素点C坐标(x，y)，经旋转后得到新的点C′坐标(x′，y′)，旋转前后两点之间的关系为C′＝C×M，具体关系如下：
x′＝xcosθ+ysinθ
y'＝-xsinθ+ycosθ
则，感兴趣...

【专利技术属性】
技术研发人员：杨帆，王瀚洋，胡建国，白立群，陈凯琪，
申请(专利权)人：南京甄视智能科技有限公司，
类型：发明
国别省市：江苏;32