客流统计方法、装置、电子设备和存储介质制造方法及图纸

本发明专利技术实施例提供一种客流统计方法、装置、电子设备和存储介质，其中方法包括：对待统计视频中的当前视频帧进行头肩检测，得到当前视频帧中的若干个头肩区域图像；将各个头肩区域图像输入至头肩特征提取模型，得到头肩特征提取模型输出的各个头肩区域图像的头肩特征；其中，头肩特征提取模型是基于样本图像对训练得到的，样本图像对包括锚点头肩图像、与锚点头肩图像属于相同行人的正样本头肩图像，以及与锚点头肩图像属于不同行人的负样本头肩图像；基于各个头肩区域图像的头肩特征，更新待统计视频的客流轨迹，基于客流轨迹进行客流统计。本发明专利技术实施例提供的客流统计方法、装置、电子设备和存储介质，能够保证客流轨迹跟踪的可靠性。

【技术实现步骤摘要】
客流统计方法、装置、电子设备和存储介质
本专利技术涉及计算机视觉
，尤其涉及一种客流统计方法、装置、电子设备和存储介质。
技术介绍
随着计算机视觉、数字图像处理技术的快速发展，智能视频分析已经成为一个十分活跃的领域，基于智能视频分析的客流统计也得到了广泛的应用。目前的客流统计为了避免在行人靠近或者肢体之间相互接触发生遮挡时发生漏报。通常基于垂直视角进行视频采集，并对采集得到的视频进行头肩检测，进而匹配不同行人的运动轨迹。然而由于垂直视角下不同行人的头肩相似度较高，相同行人的头肩也可能存在一定的形变，目前的匹配方法难以保证匹配效果，影响行人的运动轨迹的准确性，导致客流统计可靠性受到影响。
技术实现思路
本专利技术实施例提供一种客流统计方法、装置、电子设备和存储介质，用以解决现有技术中基于头肩特征的行人轨迹匹配不准确，导致客流统计可靠性差的缺陷。本专利技术实施例提供一种客流统计方法，包括：对待统计视频中的当前视频帧进行头肩检测，得到所述当前视频帧中的若干个头肩区域图像；将各个头肩区域图像输入至头肩特征提取模型，得到所述头肩特征提取模型输出的各个头肩区域图像的头肩特征；其中，所述头肩特征提取模型是基于样本图像对训练得到的，所述样本图像对包括锚点头肩图像、与所述锚点头肩图像属于相同行人的正样本头肩图像，以及与所述锚点头肩图像属于不同行人的负样本头肩图像；基于各个头肩区域图像的头肩特征，更新所述待统计视频的客流轨迹，基于所述客流轨迹进行客流统计。根据本专利技术一个实施例的客流统计方法，所述头肩特征提取模型是以最大化所述锚点头肩图像与所述正样本头肩图像的头肩特征相似度，以及最小化所述锚点头肩图像与所述负样本头肩图像的头肩特征相似度为目标训练得到的。根据本专利技术一个实施例的客流统计方法，所述头肩特征提取模型包括特征融合层，以及按照尺度从大到小的顺序排列的多个不同尺度的特征提取层；所述将各个头肩区域图像输入至头肩特征提取模型，得到所述头肩特征提取模型输出的各个头肩区域图像的头肩特征，包括：将上一尺度的图像特征输入至当前尺度的特征提取层，得到当前尺度的特征提取层输出的当前尺度的图像特征；将每个尺度的图像特征输入至所述特征融合层，得到所述特征融合层输出的头肩特征；其中，首个尺度的特征提取层的输入为任一头肩区域图像。根据本专利技术一个实施例的客流统计方法，所述对待统计视频中的当前视频帧进行头肩检测，得到所述当前视频帧中的若干个头肩区域图像，包括：对当前视频帧进行头肩检测，得到当前视频帧中的若干个候选头肩检出框；基于所述待统计视频中当前视频帧的前一视频帧，以及当前视频帧，确定所述当前视频帧的差分图像；对所述差分图像进行头肩检测，得到当前视频帧中的若干个运动头肩检出框；基于每个候选头肩检出框和每个运动头肩检出框，确定所述当前视频帧中的若干个头肩区域图像。根据本专利技术一个实施例的客流统计方法，所述对所述差分图像进行头肩检测，得到当前视频帧中的若干个运动头肩检出框，包括：基于头肩检出框尺寸，对二值化后的差分图像进行连通分量分析，得到若干个运动头肩检出框；其中，所述头肩检出框尺寸是基于样本头肩检出框的尺寸得到的。根据本专利技术一个实施例的客流统计方法，所述基于每个候选头肩检出框和每个运动头肩检出框，确定所述当前视频帧中的若干个头肩区域图像，包括：若任一运动头肩检出框在任一候选头肩检出框中的面积占比大于等于预设占比阈值，则确定所述任一候选头肩检出框在所述当前视频帧中的区域图像为所述头肩区域图像。根据本专利技术一个实施例的客流统计方法，所述基于各个头肩区域图像的头肩特征，更新所述待统计视频的客流轨迹，包括：将各个头肩区域图像的头肩特征，与上次更新的客流轨迹中各个行人运动轨迹中各个历史头肩特征进行匹配，将匹配成功的头肩区域图像的头肩特征添加至对应行人运动轨迹中。根据本专利技术一个实施例的客流统计方法，所述将各个头肩区域图像的头肩特征，与上次更新的客流轨迹中各个行人运动轨迹中各个历史头肩特征进行匹配，包括：基于任一头肩区域图像的头肩特征与任一行人运动轨迹中各个历史头肩特征之间的距离，以及各个历史头肩特征对应的距离权重，确定所述任一头肩区域图像的头肩特征与所述行人运动轨迹之间的距离；基于各个头肩区域图像的头肩特征与各个行人运动轨迹之间的距离，构建代价矩阵；基于所述代价矩阵，对各个头肩区域图像的头肩特征与各个行人运动轨迹进行匹配。根据本专利技术一个实施例的客流统计方法，所述将各个头肩区域图像的头肩特征，与上次更新的客流轨迹中各个行人运动轨迹中各个历史头肩特征进行匹配，包括：基于任一行人运动轨迹中的各个历史头肩特征，确定所述任一行人运动轨迹的预估头肩特征；将各个头肩区域图像中与所述预估头肩特征之间的距离小于预设距离阈值的头肩特征，与所述任一行人运动轨迹中的各个历史头肩特征进行匹配；若所述任一行人运动轨迹未匹配到头肩特征，则将所述预估头肩特征添加至所述行人运动轨迹。根据本专利技术一个实施例的客流统计方法，述基于所述客流轨迹进行客流统计，包括：基于预先设定的规则线与所述客流轨迹中各个行人运动轨迹的交叉状态，进行客流统计。本专利技术实施例还提供一种客流统计装置，包括：头肩检测单元，用于对待统计视频中的当前视频帧进行头肩检测，得到所述当前视频帧中的若干个头肩区域图像；特征提取单元，用于将各个头肩区域图像输入至头肩特征提取模型，得到所述头肩特征提取模型输出的各个头肩区域图像的头肩特征；其中，所述头肩特征提取模型是基于样本图像对训练得到的，所述样本图像对包括锚点头肩图像、与所述锚点头肩图像属于相同行人的正样本头肩图像，以及与所述锚点头肩图像属于不同行人的负样本头肩图像；客流统计单元，用于基于各个头肩区域图像的头肩特征，更新所述待统计视频的客流轨迹，基于所述客流轨迹进行客流统计。本专利技术实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述客流统计方法的步骤。本专利技术实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述客流统计方法的步骤。本专利技术实施例提供的客流统计方法、装置、电子设备和存储介质，应用头肩特征提取模型进行头肩特征的提取，相对于直接在头肩检测阶段提取头肩特征的方案，能够提高头肩特征的针对性和代表性，进而保证客流轨迹跟踪的可靠性。此外，基于样本图像对训练头肩特征提取模型，能够保证通过头肩提取模型得到的不同行人的头肩特征之间具有较大区别，进一步提高客流轨迹跟踪的可靠性，保证客流统计的准确性。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一本文档来自技高网...

【技术保护点】
1.一种客流统计方法，其特征在于，包括：/n对待统计视频中的当前视频帧进行头肩检测，得到所述当前视频帧中的若干个头肩区域图像；/n将各个头肩区域图像输入至头肩特征提取模型，得到所述头肩特征提取模型输出的各个头肩区域图像的头肩特征；其中，所述头肩特征提取模型是基于样本图像对训练得到的，所述样本图像对包括锚点头肩图像、与所述锚点头肩图像属于相同行人的正样本头肩图像，以及与所述锚点头肩图像属于不同行人的负样本头肩图像；/n基于各个头肩区域图像的头肩特征，更新所述待统计视频的客流轨迹，基于所述客流轨迹进行客流统计。/n

【技术特征摘要】
1.一种客流统计方法，其特征在于，包括：
对待统计视频中的当前视频帧进行头肩检测，得到所述当前视频帧中的若干个头肩区域图像；
将各个头肩区域图像输入至头肩特征提取模型，得到所述头肩特征提取模型输出的各个头肩区域图像的头肩特征；其中，所述头肩特征提取模型是基于样本图像对训练得到的，所述样本图像对包括锚点头肩图像、与所述锚点头肩图像属于相同行人的正样本头肩图像，以及与所述锚点头肩图像属于不同行人的负样本头肩图像；
基于各个头肩区域图像的头肩特征，更新所述待统计视频的客流轨迹，基于所述客流轨迹进行客流统计。


2.根据权利要求1所述的客流统计方法，其特征在于，所述头肩特征提取模型是以最大化所述锚点头肩图像与所述正样本头肩图像的头肩特征相似度，以及最小化所述锚点头肩图像与所述负样本头肩图像的头肩特征相似度为目标训练得到的。


3.根据权利要求1所述的客流统计方法，其特征在于，所述头肩特征提取模型包括特征融合层，以及按照尺度从大到小的顺序排列的多个不同尺度的特征提取层；
所述将各个头肩区域图像输入至头肩特征提取模型，得到所述头肩特征提取模型输出的各个头肩区域图像的头肩特征，包括：
将上一尺度的图像特征输入至当前尺度的特征提取层，得到当前尺度的特征提取层输出的当前尺度的图像特征；
将每个尺度的图像特征输入至所述特征融合层，得到所述特征融合层输出的头肩特征；
其中，首个尺度的特征提取层的输入为任一头肩区域图像。


4.根据权利要求1所述的客流统计方法，其特征在于，所述对待统计视频中的当前视频帧进行头肩检测，得到所述当前视频帧中的若干个头肩区域图像，包括：
对当前视频帧进行头肩检测，得到当前视频帧中的若干个候选头肩检出框；
基于所述待统计视频中当前视频帧的前一视频帧，以及当前视频帧，确定所述当前视频帧的差分图像；
对所述差分图像进行头肩检测，得到当前视频帧中的若干个运动头肩检出框；
基于每个候选头肩检出框和每个运动头肩检出框，确定所述当前视频帧中的若干个头肩区域图像。


5.根据权利要求4所述的客流统计方法，其特征在于，所述基于每个候选头肩检出框和每个运动头肩检出框，确定所述当前视频帧中的若干个头肩区域图像，包括：
若任一运动头肩检出框在任一候选头肩检出框中的面积占比大于等于预设占比阈值，则确定所述任一候选头肩检出框在所述当前视频帧中的区域图像为所述头肩区域图像。


6.根据权利要求1至5中任一项所述的客流统计方法，其特征在于，所述基于各个头肩区域图像的头肩特征，更新所述待统计视频的客流轨迹，包括：
将各个头肩区域图像的头肩特征，与上次...

【专利技术属性】
技术研发人员：李小兵，胡克任，茆晓萱，王旭，支洪平，刘德贵，
申请(专利权)人：科大讯飞苏州科技有限公司，
类型：发明
国别省市：江苏;32