基于单个监控摄像机的室内人员三维轨迹重建方法及系统技术方案

本发明专利技术属于图像处理技术领域，具体涉及一种基于单个监控摄像机的室内人员三维轨迹重建方法及系统，包括：获取单个监控摄像机所拍摄的室内视频；检测所获取的室内视频帧中的人体头部，得到人体头部检测结果；根据所得到的人体头部检测结果

【技术实现步骤摘要】
基于单个监控摄像机的室内人员三维轨迹重建方法及系统


[0001]本专利技术属于图像处理
，具体涉及一种基于单个监控摄像机的室内人员三维轨迹重建方法及系统
。

技术介绍

[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术
。
[0003]室内人员轨迹重建在行为分析
、
安全监控等领域具有巨大的应用潜力
。
获取室内人员行动轨迹的方法可以分为两大类：一类是基于手机或其他可穿戴设备的方法；另一类是基于视觉的方法
。
[0004]基于手机或其他可穿戴设备的方法，需要人们携带
WiFi、
蓝牙等传感器，这就存在着以下缺点：（1）需要被检测人的配合；（2）需要在检测区域部署大量传感器；（3）只能给出被检测人的二维位置，无法给出三维轨迹
。
[0005]近年来，随着监控摄像系统的普及，涌现出一大批基于视觉的室内跟踪定位算法；但是，仅仅给出室内人员在画面中的二维位置或轨迹，并不能给出人体目标在真实三维空间中的位置
。
为解决以上问题，有相关研究提出了基于视觉的室内三维人员定位或轨迹重建算法，比如：融合监控摄像和三维点云进行室内人员定位和三维轨迹重建
、
融合监控摄像和
BIM
模型进行室内人员定位
、
基于多个
RGBD
相机进行室内人员定位
。
但是，这些方法需要结合预先建立的大规模模型或需要多个特殊的相机配合；同时，对于设备性能和计算机运算能力的要求都很高；若在商场
、
学校
、
家庭进行普及应用需要投入大量的成本
。

技术实现思路

[0006]为了解决上述问题，本专利技术提出了一种基于单个监控摄像机的室内人员三维轨迹重建方法及系统，仅依靠单个普通消费层级的监控摄像机即可实现室内人员三维轨迹重建，大大降低了室内人员三维轨迹重建的成本，克服单纯跟踪人体头部容易发生跟踪错误的问题
。
[0007]根据一些实施例，本专利技术的第一方案提供了一种基于单个监控摄像机的室内人员三维轨迹重建方法，采用如下技术方案：一种基于单个监控摄像机的室内人员三维轨迹重建方法，包括：获取单个监控摄像机所拍摄的室内视频；检测所获取的室内视频帧中的人体头部，得到人体头部检测结果；根据所得到的人体头部检测结果
,
计算人体头部的三维坐标；对所获取的室内视频帧中的人体进行人体跟踪，得到包含人体身份序号的人体跟踪结果；关联人体头部三维坐标和人体跟踪结果，得到每个身份序号下人员的三维轨迹，完成室内人员三维轨迹的重建
。
[0008]作为进一步的技术限定，利用相机标定软件和标定板对所述监控摄像机进行标定，得到相机内参和相机外参；其中，所述相机内参包括图像像素和图像实际物理尺寸之间的比例因子与相机焦距的乘积
、
相机光心在图像中的横坐标，以及相机光心在图像中的纵坐标；所述相机外参包括相机坐标系与世界坐标系间的旋转矩阵
、
相机坐标系与世界坐标系间的平移向量
。
[0009]进一步的，所述计算人体头部的三维坐标的过程为：根据预设的距离计算模型，计算人体头部在相机光轴方向上与相机之间的距离；根据所得到的人体头部在相机光轴方向上与相机之间的距离
、
相机内参以及人体头部的边界框坐标，得到人体头部在相机坐标系下的三维坐标；根据所得到的人体头部在相机坐标系下的三维坐标及相机外参，计算人体头部在世界坐标系下的三维坐标，即得到人体头部的三维坐标
。
[0010]作为进一步的技术限定，利用人体头部检测模型检测所获取的室内视频帧中的人体头部，得到人体头部检测结果；所述人体头部检测结果，具体包括：每帧图片中人体头部的边界框以及所检测到的人体头部是否属于人体头部背面的类别标号；所述人体头部检测模型采用
YOLOV8
目标检测算法
。
[0011]进一步的，所述距离计算模型采用人体头部在相机光轴方向上和相机之间距离与人体头部在图像中高度的反比例模型，其中人体头部背面和人体头部非背面所使用的反比例模型的参数取值不同
。
[0012]作为进一步的技术限定，采用预设的人体跟踪模型对摄像机所采集到的室内视频帧中的人体进行跟踪，得到人体跟踪结果；所述人体跟踪结果包括每帧图片中每个人体的身份序号
、
边界框和分割掩码；所述人体跟踪模型为
YOLOV8+BoT
‑
SORT
模型，首先由
YOLOV8
模型对视频帧中的人体进行实例分割，获得每个人体的边界框以及分割掩码，然后将人体边界框送入
BoT
‑
SORT
模型，
BoT
‑
SORT
模型跟踪检测出的人体，并为相同的人体赋予一致的人体身份序号
。
[0013]需要说明的是，
BoT
‑
SORT
模型为多目标跟踪算法模型
。
[0014]作为进一步的技术限定，所述关联人体头部三维坐标和人体跟踪结果，具体为依据人体头部检测结果中人体头部边界框与人体跟踪结果中人体分割掩码的重叠程度关联人体头部检测结果与人体跟踪结果，进而将人体跟踪结果中人体身份序号赋予关联成功的人体头部检测结果及其人体头部三维坐标，获得每个身份序号下人员的三维轨迹
。
[0015]根据一些实施例，本专利技术的第二方案提供了一种基于单个监控摄像机的室内人员三维轨迹重建系统，采用如下技术方案：一种基于单个监控摄像机的室内人员三维轨迹重建系统，包括：获取模块，其被配置为获取单个监控摄像机所拍摄的室内视频；检测模块，其被配置为检测所获取的室内视频帧中的人体头部，得到人体头部检测结果；计算模块，其被配置为根据所得到的人体头部检测结果
,
计算人体头部的三维坐标；跟踪模块，其被配置为对所获取的室内视频帧中的人体进行人体跟踪，得到包含人体身份序号的人体跟踪结果；
重建模块，其被配置为关联人体头部三维坐标和人体跟踪结果，得到每个身份序号下人员的三维轨迹，完成室内人员三维轨迹的重建
。
[0016]根据一些实施例，本专利技术的第三方案提供了一种计算机可读存储介质，采用如下技术方案：一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本专利技术第一方案所述的基于单个监控摄像机的室内人员三维轨迹重建方法中的步骤
。
[0017]根据一些实施例，本专利技术的第四方案提供了一种电子设备，采用如下技术方案：一种电子设备，包括存储器
、
处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本专利技术第一方案所述的基于单个监控摄像机的室内人员三维轨迹重建方法中的步骤
。
[0018]与现有技术本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于单个监控摄像机的室内人员三维轨迹重建方法，其特征在于，包括：获取单个监控摄像机所拍摄的室内视频；检测所获取的室内视频帧中的人体头部，得到人体头部检测结果；根据所得到的人体头部检测结果
,
计算人体头部的三维坐标；对所获取的室内视频帧中的人体进行人体跟踪，得到包含人体身份序号的人体跟踪结果；关联人体头部三维坐标和人体跟踪结果，得到每个身份序号下人员的三维轨迹，完成室内人员三维轨迹的重建
。2.
如权利要求1中所述的一种基于单个监控摄像机的室内人员三维轨迹重建方法，其特征在于，利用相机标定软件和标定板对所述监控摄像机进行标定，得到相机内参和相机外参；其中，所述相机内参包括图像像素和图像实际物理尺寸之间的比例因子与相机焦距的乘积
、
相机光心在图像中的横坐标，以及相机光心在图像中的纵坐标；所述相机外参包括相机坐标系与世界坐标系间的旋转矩阵
、
相机坐标系与世界坐标系间的平移向量
。3.
如权利要求2中所述的一种基于单个监控摄像机的室内人员三维轨迹重建方法，其特征在于，所述计算人体头部的三维坐标的过程为：根据预设的距离计算模型，计算人体头部在相机光轴方向上与相机之间的距离；根据所得到的人体头部在相机光轴方向上与相机之间的距离
、
相机内参以及人体头部的边界框坐标，得到人体头部在相机坐标系下的三维坐标；根据所得到的人体头部在相机坐标系下的三维坐标及相机外参，计算人体头部在世界坐标系下的三维坐标，即得到人体头部的三维坐标
。4.
如权利要求3中所述的一种基于单个监控摄像机的室内人员三维轨迹重建方法，其特征在于，所述距离计算模型采用人体头部在相机光轴方向上和相机之间距离与人体头部在图像中高度的反比例模型，其中人体头部背面和人体头部非背面所使用的反比例模型的参数取值不同
。5.
如权利要求1中所述的一种基于单个监控摄像机的室内人员三维轨迹重建方法，其特征在于，利用人体头部检测模型检测所获取的室内视频帧中的人体头部，得到人体头部检测结果；所述人体头部检测结果，具体包括：每帧图片中人体头部的边界框以及所检测到的人体头部是否属于人体头部背面的类别标号；所述人体头部检测模型采用
YOLOV8
目标检测算法
。6.
如权利要求1中所述的一种基于单个监控...

【专利技术属性】
技术研发人员：赵晓梅，李硕，赵展，李洪港，
申请(专利权)人：山东建筑大学，
类型：发明
国别省市：