基于数据处理的地铁列车乘客状态确定方法和系统技术方案

本发明专利技术提供的一种基于数据处理的地铁列车乘客状态确定方法和系统，本发明专利技术涉及数据处理技术领域，该方法包括获取列车运行时的车厢监控视频；基于列车运行时的车厢监控视频确定多个乘客图像以及多个乘客所对应的声音数据；基于列车运行时的车厢监控视频、多个乘客图像确定多个乘客的脸部表情序列、多个乘客的手臂挥动速度序列、多个乘客的腿部挥动速度序列、多个乘客的垂直运动速度序列、多个乘客的水平运动速度序列、多个乘客的头部摇晃速度序列；构建多个乘客节点和多个乘客节点之间的多条边；基于图神经网络模型确定多个乘客的乘车状态，该方法能够及时准确的确定地铁列车乘客状态。态。态。

【技术实现步骤摘要】
基于数据处理的地铁列车乘客状态确定方法和系统


[0001]本专利技术涉及数据处理
，具体涉及一种基于数据处理的地铁列车乘客状态确定方法和系统。

技术介绍

[0002]目前，随着城市化进程的加快，大城市的地铁系统承载了大量乘客的运输需求。然而，由于各种原因，例如拥挤、紧迫的行程等，地铁列车上乘客发生的各种安全问题也日益引起人们的关注。因此，需要提前识别地铁列车中乘客的状态以达到提前预警和监控的目的。传统方法主要依赖于人工巡逻和视频监控来人为确定地铁列车中乘客的状态，无法实时准确地处理大量庞杂的数据，传统方法确定出的乘客的状态往往不太准确，不能达到提前预警和监控的目的。
[0003]因此如何及时准确的确定地铁列车乘客状态当前亟待解决的问题。

技术实现思路

[0004]本专利技术主要解决的技术问题是如何及时准确的确定地铁列车乘客状态。
[0005]根据第一方面，本专利技术提供一种基于数据处理的地铁列车乘客状态确定方法，包括：获取列车运行时的车厢监控视频，所述列车运行时的车厢监控视频包括车厢图像和车厢声音；基于所述列车运行时的车厢监控视频使用第一视频处理模型确定多个乘客图像以及所述多个乘客所对应的声音数据；基于所述列车运行时的车厢监控视频、所述多个乘客图像使用第二视频处理模型确定所述多个乘客的脸部表情序列、所述多个乘客的手臂挥动速度序列、所述多个乘客的腿部挥动速度序列、所述多个乘客的垂直运动速度序列、所述多个乘客的水平运动速度序列、所述多个乘客的头部摇晃速度序列；构建多个乘客节点和所述多个乘客节点之间的多条边，所述多个乘客节点中的每个乘客节点包括多个节点特征，所述多个节点特征包括所述多个乘客的脸部表情序列、所述多个乘客的手臂挥动速度序列、所述多个乘客的腿部挥动速度序列、所述多个乘客的垂直运动速度序列、所述多个乘客的水平运动速度序列、所述多个乘客的头部摇晃速度序列、所述多个乘客所对应的声音数据，所述多条边为所述多个乘客之间的位置关系；基于图神经网络模型对所述多个乘客节点和所述多个乘客节点之间的多条边进行处理确定所述多个乘客的乘车状态。
[0006]更进一步地，所述多个乘客的乘车状态中的每个乘客的乘车状态包括正常乘车、争吵、打架、摔倒、精神状态异常、遗失贵重物品、危害公共安全，所述图神经网络模型的输入为所述多个乘客节点和所述多个乘客节点之间的多条边，所述图神经网络模型的输出为所述多个乘客的乘车状态。
[0007]更进一步地，所述方法还包括：基于所述多个乘客的乘车状态确定是否进行安全预警。
[0008]更进一步地，所述基于所述多个乘客的乘车状态确定是否进行安全预警包括：若存在乘客的乘车状态为争吵、打架、摔倒、精神状态异常、遗失贵重物品、危害公共安全中的
其中一个状态，则确认需要进行安全预警，并将乘客所对应的位置信息发送到管理平台，以提醒管理平台进行安全管理。
[0009]更进一步地，所述第一视频处理模型为长短期神经网络模型，所述第一视频处理模型的输入为所述列车运行时的车厢监控视频，所述第一视频处理模型的输出为多个乘客图像以及所述多个乘客所对应的声音数据；所述第二视频处理模型为长短期神经网络模型，所述第二视频处理模型的输入所述列车运行时的车厢监控视频、所述多个乘客图像，所述第二视频处理模型的输出为所述多个乘客的脸部表情序列、所述多个乘客的手臂挥动速度序列、所述多个乘客的腿部挥动速度序列、所述多个乘客的垂直运动速度序列、所述多个乘客的水平运动速度序列、所述多个乘客的头部摇晃速度序列。
[0010]更进一步地，所述方法还包括：基于所述多个乘客所对应的声音数据确定多个乘客中的每个乘客的最大音量；判断所述多个乘客中的每个乘客的最大音量是否超过音量阈值；将超过音量阈值所对应的乘客的位置信息发送到管理平台，以提醒管理平台对乘客进行管理。
[0011]根据第二方面，本专利技术提供一种基于数据处理的地铁列车乘客状态确定系统，包括：获取模块，用于获取列车运行时的车厢监控视频，所述列车运行时的车厢监控视频包括车厢图像和车厢声音；第一处理模块，用于基于所述列车运行时的车厢监控视频使用第一视频处理模型确定多个乘客图像以及所述多个乘客所对应的声音数据；第二处理模块，用于基于所述列车运行时的车厢监控视频、所述多个乘客图像使用第二视频处理模型确定所述多个乘客的脸部表情序列、所述多个乘客的手臂挥动速度序列、所述多个乘客的腿部挥动速度序列、所述多个乘客的垂直运动速度序列、所述多个乘客的水平运动速度序列、所述多个乘客的头部摇晃速度序列；构建模块，用于构建多个乘客节点和所述多个乘客节点之间的多条边，所述多个乘客节点中的每个乘客节点包括多个节点特征，所述多个节点特征包括所述多个乘客的脸部表情序列、所述多个乘客的手臂挥动速度序列、所述多个乘客的腿部挥动速度序列、所述多个乘客的垂直运动速度序列、所述多个乘客的水平运动速度序列、所述多个乘客的头部摇晃速度序列、所述多个乘客所对应的声音数据，所述多条边为所述多个乘客之间的位置关系；乘车状态确定模块，用于基于图神经网络模型对所述多个乘客节点和所述多个乘客节点之间的多条边进行处理确定所述多个乘客的乘车状态。
[0012]更进一步地，所述多个乘客的乘车状态中的每个乘客的乘车状态包括正常乘车、争吵、打架、摔倒、精神状态异常、遗失贵重物品、危害公共安全，所述图神经网络模型的输入为所述多个乘客节点和所述多个乘客节点之间的多条边，所述图神经网络模型的输出为所述多个乘客的乘车状态。
[0013]更进一步地，所述系统还用于：基于所述多个乘客的乘车状态确定是否进行安全预警。
[0014]更进一步地，所述系统还用于：若存在乘客的乘车状态为争吵、打架、摔倒、精神状态异常、遗失贵重物品、危害公共安全中的其中一个状态，则确认需要进行安全预警，并将乘客所对应的位置信息发送到管理平台，以提醒管理平台进行安全管理。
[0015]本专利技术提供的一种基于数据处理的地铁列车乘客状态确定方法和系统，该方法包括获取列车运行时的车厢监控视频，列车运行时的车厢监控视频包括车厢图像和车厢声音；基于列车运行时的车厢监控视频使用第一视频处理模型确定多个乘客图像以及多个乘
客所对应的声音数据；基于列车运行时的车厢监控视频、多个乘客图像使用第二视频处理模型确定多个乘客的脸部表情序列、多个乘客的手臂挥动速度序列、多个乘客的腿部挥动速度序列、多个乘客的垂直运动速度序列、多个乘客的水平运动速度序列、多个乘客的头部摇晃速度序列；构建多个乘客节点和多个乘客节点之间的多条边，多个乘客节点中的每个乘客节点包括多个节点特征，多个节点特征包括多个乘客的脸部表情序列、多个乘客的手臂挥动速度序列、多个乘客的腿部挥动速度序列、多个乘客的垂直运动速度序列、多个乘客的水平运动速度序列、多个乘客的头部摇晃速度序列、多个乘客所对应的声音数据，多条边为多个乘客之间的位置关系；基于图神经网络模型对多个乘客节点和多个乘客节点之间的多条边进行处理确定多个乘客的乘车状态，该方法能够及时准确的确定地铁列车乘客状态。
附图说明
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于数据处理的地铁列车乘客状态确定方法，其特征在于，包括：获取列车运行时的车厢监控视频，所述列车运行时的车厢监控视频包括车厢图像和车厢声音；基于所述列车运行时的车厢监控视频使用第一视频处理模型确定多个乘客图像以及所述多个乘客所对应的声音数据；基于所述列车运行时的车厢监控视频、所述多个乘客图像使用第二视频处理模型确定所述多个乘客的脸部表情序列、所述多个乘客的手臂挥动速度序列、所述多个乘客的腿部挥动速度序列、所述多个乘客的垂直运动速度序列、所述多个乘客的水平运动速度序列、所述多个乘客的头部摇晃速度序列；构建多个乘客节点和所述多个乘客节点之间的多条边，所述多个乘客节点中的每个乘客节点包括多个节点特征，所述多个节点特征包括所述多个乘客的脸部表情序列、所述多个乘客的手臂挥动速度序列、所述多个乘客的腿部挥动速度序列、所述多个乘客的垂直运动速度序列、所述多个乘客的水平运动速度序列、所述多个乘客的头部摇晃速度序列、所述多个乘客所对应的声音数据，所述多条边为所述多个乘客之间的位置关系；基于图神经网络模型对所述多个乘客节点和所述多个乘客节点之间的多条边进行处理确定所述多个乘客的乘车状态。2.如权利要求1所述的基于数据处理的地铁列车乘客状态确定方法，其特征在于，所述多个乘客的乘车状态中的每个乘客的乘车状态包括正常乘车、争吵、打架、摔倒、精神状态异常、遗失贵重物品、危害公共安全，所述图神经网络模型的输入为所述多个乘客节点和所述多个乘客节点之间的多条边，所述图神经网络模型的输出为所述多个乘客的乘车状态。3.如权利要求2所述的基于数据处理的地铁列车乘客状态确定方法，其特征在于，所述方法还包括：基于所述多个乘客的乘车状态确定是否进行安全预警。4.如权利要求3所述的基于数据处理的地铁列车乘客状态确定方法，其特征在于，所述基于所述多个乘客的乘车状态确定是否进行安全预警包括：若存在乘客的乘车状态为争吵、打架、摔倒、精神状态异常、遗失贵重物品、危害公共安全中的其中一个状态，则确认需要进行安全预警，并将乘客所对应的位置信息发送到管理平台，以提醒管理平台进行安全管理。5.如权利要求1所述的基于数据处理的地铁列车乘客状态确定方法，其特征在于，所述第一视频处理模型为长短期神经网络模型，所述第一视频处理模型的输入为所述列车运行时的车厢监控视频，所述第一视频处理模型的输出为多个乘客图像以及所述多个乘客所对应的声音数据；所述第二视频处理模型为长短期神经网络模型，所述第二视频处理模型的输入所述列车运行时的车厢监控视频、所述多个乘客图像，所述第二视频处理模型的输出为所述多个乘客的脸部表情序列、所述多个乘客的手臂挥动速度序列、所述多个乘客的腿部挥动速...

【专利技术属性】
技术研发人员：刘全，郭晗，葛辉，李嘉哲，蒲天鹏，顾莉兰，苏庆龙，周煦原，马荣荣，
申请(专利权)人：克伦斯天津轨道交通技术有限公司，
类型：发明
国别省市：