行人运动轨迹的预测方法、装置、电子设备和存储介质制造方法及图纸

本申请适用于计算机视觉技术领域，提供了一种行人运动轨迹的预测方法、装置、电子设备和存储介质，所述预测方法包括：获取道路监控摄像头拍摄的道路监控图像；对所述道路监控图像进行语义分割，所述语义分割的结果包括行人图像；将所述行人图像输入至已训练完成的轨迹预测模型进行处理，得到所述行人图像中的行人在预设时长内的运动轨迹；其中，所述轨迹预测模型对所述行人图像的处理包括：获取所述行人图像中行人的姿态信息以及不同时间点的姿态信息的关联程度；根据所述行人的姿态信息以及所述关联程度，预测所述行人在预设时长内的运动轨迹。本申请可使得运动轨迹的预测更为准确，提高运动轨迹预测的有效性。

【技术实现步骤摘要】
【国外来华专利技术】行人运动轨迹的预测方法、装置、电子设备和存储介质
本申请涉及计算机视觉
，尤其涉及一种行人运动轨迹的预测方法、装置、电子设备和存储介质。
技术介绍
随着科技的不断进步，人机共驾型的智联网车越来越普遍，甚至，出现了各种无人驾驶汽车。车量不断增加，因此带来的交通事故频繁发生，严重威胁人民群众的生命财产安全。行人作为交通的主要参与者，其运动相比车辆运动更为复杂多变，并且具有很大的灵活性和随机性，对于驾驶智联网车汽车而言，对行人行为的理解和轨迹的预测能够在交通事故发生前，警示车辆驾驶者，有效预防交通事故的发生，在保证交通安全的条件下，尽量提高道路通行效率。目前，对行人运动轨迹的预测使用长短期记忆网络(LSTM)等神经网络算法处理历史数据，推测出行人未来的运动轨迹，但预测的运动轨迹准确性较低，运动轨迹预测的有效性较差。
技术实现思路
本申请实施例提供了一种行人运动轨迹的预测方法、装置、电子设备和存储介质，可以解决现有技术中存在预测的运动轨迹准确性较低，运动轨迹预测的有效性较差的问题。第一方面，本申请实施例提供了一种行人运动轨迹的预测方法，包括：获取道路监控摄像头拍摄的道路监控图像；对所述道路监控图像进行语义分割，所述语义分割的结果包括行人图像；将所述行人图像输入至已训练完成的轨迹预测模型进行处理，得到所述行人图像中的行人在预设时长内的运动轨迹；其中，所述轨迹预测模型对所述行人图像的处理包括：获取所述行人图像中行人的姿态信息以及不同时间点的姿态信息的关联程度；根据所述行人的姿态信息以及所述关联程度，预测所述行人在预设时长内的运动轨迹。在第一方面的一种可能的实现方式中，所述轨迹预测模型包括编码器，所述编码器包括特征提取层和自注意力层，所述获取所述行人图像中行人的姿态信息以及不同时间点的姿态信息的关联程度的步骤，包括：将所述行人图像输入至所述特征提取层，通过所述特征提取层输出所述行人图像对应的行人姿态张量；将所述行人姿态张量输入至所述自注意力层，通过所述自注意力层将不同时间点的行人图像分别对应的行人姿态张量进行两两配对，计算不同时间点的行人姿态张量的关联程度。在第一方面的一种可能的实现方式中，所述轨迹预测模型还包括解码器，所述编码器还包括位置编码层和前馈层，所述根据所述行人的姿态信息以及所述关联程度，预测所述行人在预设时长内的运动轨迹的步骤，包括：通过所述位置编码层获取所述行人姿态张量对应的行人图像在若干帧所述行人图像中的序号，以及所述行人姿态张量在所述行人图像所在时间轴上的位置，并对所述行人姿态张量对应的所述序号和所述位置进行编码，得到所述行人姿态张量对应的位置编码；将所述位置编码、所述行人姿态张量以及不同时间点的行人姿态张量的关联程度输入至所述前馈层进行融合；将所述融合结果输入至所述解码器，通过所述解码器预测所述行人在预设时长内的运动轨迹。在第一方面的一种可能的实现方式中，所述通过所述解码器预测所述行人在预设时长内的运动轨迹的步骤，包括：根据所述融合结果，获取在预设时长内所述行人的人体关键点信息；根据所述人体关键点信息与预设算法，确定所述行人在未来所述预设时长内的运动速度和运动方向；根据所述运动速度和运动方向，预测所述行人在所述预设时长内的运动轨迹。在第一方面的一种可能的实现方式中，所述语义分割的结果包括分界线位置信息，在所述将所述行人图像输入至已训练完成的轨迹预测模型进行处理，得到所述行人图像中的行人在预设时长内的运动轨迹的步骤之后，包括：获取当前车辆的车辆运动状态信息；根据预测的所述行人在预设时长内的运动轨迹、所述分界线位置信息以及所述车辆运动状态信息，对所述当前车辆进行驾驶预警。在第一方面的一种可能的实现方式中，所述根据预测的所述行人在预设时长内的运动轨迹、所述分界线位置信息以及所述车辆运动状态信息，对所述当前车辆进行驾驶预警的步骤，包括：根据所述行人在预设时长内的运动轨迹与所述车辆运动状态信息，对所述行人图像中的行人进行碰撞检测，所述碰撞检测用于预测在所述预设时长内所述行人的运动轨迹是否会与所述当前车辆的运动轨迹存在重合；若预测在所述预设时长内所述行人的运动轨迹会与所述当前车辆的运动轨迹发生重合，则发出预警信息。在第一方面的一种可能的实现方式中，在根据预测的所述行人在预设时长内的运动轨迹、所述分界线位置信息以及所述车辆运动状态信息，对所述当前车辆进行驾驶预警的步骤之前，还包括：根据所述分界线位置信息与预测的所述行人的运动轨迹，确定所述行人在所述预设时长后是否会进入所述驾驶区域；若是，则根据预测的所述行人在预设时长内的运动轨迹、所述分界线位置信息以及所述车辆运动状态信息，对所述当前车辆进行驾预警。第二方面，本申请实施例提供了一种行人运动轨迹的预测装置，包括：图像获取单元，用于获取道路监控摄像头拍摄的道路监控图像；图像分割单元，用于对所述道路监控图像进行语义分割，所述语义分割的结果包括行人图像；轨迹预测单元，用于将所述行人图像输入至已训练完成的轨迹预测模型进行处理，得到所述行人图像中的行人在预设时长内的运动轨迹；其中，所述轨迹预测模型对所述行人图像的处理包括：获取所述行人图像中行人的姿态信息以及不同时间点的姿态信息的关联程度；根据所述行人的姿态信息以及所述关联程度，预测所述行人在预设时长内的运动轨。第三方面，本申请实施例提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现如上述第一方面所述的行人运动轨迹的预测方法。第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如上述第一方面所述的行人运动轨迹的预测方法。第五方面，本申请实施例提供了一种计算机可读指令产品，当计算机可读指令产品在电子设备上运行时，使电子设备执行如上述第一方面所述的行人运动轨迹的预测方法。本申请实施例中，通过获取道路监控摄像头拍摄的道路监控图像，对所述道路监控图像进行语义分割，所述语义分割的结果包括行人图像，将所述行人图像输入至已训练完成的轨迹预测模型进行处理，得到所述行人图像中的行人在预设时长内的运动轨迹，其中，所述轨迹预测模型对所述行人图像的处理包括：获取所述行人图像中行人的姿态信息以及不同时间点的姿态信息的关联程度，根据所述行人的姿态信息以及所述关联程度，预测所述行人在预设时长内的运动轨迹。本方案不依赖目标检测，结合行人姿态与时间点的关联程度预测行人的运动轨迹，使得运动轨迹的预测更为准确，提高运动轨迹预测的有效性。附图说明为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在本文档来自技高网...

【技术保护点】
1.一种行人运动轨迹的预测方法，其特征在于，包括：/n获取道路监控摄像头拍摄的道路监控图像；/n对所述道路监控图像进行语义分割，所述语义分割的结果包括行人图像；/n将所述行人图像输入至已训练完成的轨迹预测模型进行处理，得到所述行人图像中的行人在预设时长内的运动轨迹；/n其中，所述轨迹预测模型对所述行人图像的处理包括：获取所述行人图像中行人的姿态信息以及不同时间点的姿态信息的关联程度；根据所述行人的姿态信息以及所述关联程度，预测所述行人在预设时长内的运动轨迹。/n

【技术特征摘要】
【国外来华专利技术】1.一种行人运动轨迹的预测方法，其特征在于，包括：
获取道路监控摄像头拍摄的道路监控图像；
对所述道路监控图像进行语义分割，所述语义分割的结果包括行人图像；
将所述行人图像输入至已训练完成的轨迹预测模型进行处理，得到所述行人图像中的行人在预设时长内的运动轨迹；
其中，所述轨迹预测模型对所述行人图像的处理包括：获取所述行人图像中行人的姿态信息以及不同时间点的姿态信息的关联程度；根据所述行人的姿态信息以及所述关联程度，预测所述行人在预设时长内的运动轨迹。


2.根据权利要求1所述的预测方法，其特征在于，所述轨迹预测模型包括编码器，所述编码器包括特征提取层和自注意力层，所述获取所述行人图像中行人的姿态信息以及不同时间点的姿态信息的关联程度的步骤，包括：
将所述行人图像输入至所述特征提取层，通过所述特征提取层输出所述行人图像对应的行人姿态张量；
将所述行人姿态张量输入至所述自注意力层，通过所述自注意力层将不同时间点的行人图像分别对应的行人姿态张量进行两两配对，计算不同时间点的行人姿态张量的关联程度。


3.根据权利要求2所述的预测方法，其特征在于，所述轨迹预测模型还包括解码器，所述编码器还包括位置编码层和前馈层，所述根据所述行人的姿态信息以及所述关联程度，预测所述行人在预设时长内的运动轨迹的步骤，包括：
通过所述位置编码层获取所述行人姿态张量对应的行人图像在若干帧所述行人图像中的序号，以及所述行人姿态张量在所述行人图像所在时间轴上的位置，并对所述行人姿态张量对应的所述序号和所述位置进行编码，得到所述行人姿态张量对应的位置编码；
将所述位置编码、所述行人姿态张量以及不同时间点的行人姿态张量的关联程度输入至所述前馈层进行融合；
将所述融合结果输入至所述解码器，通过所述解码器预测所述行人在预设时长内的运动轨迹。


4.根据权利要求3所述的预测方法，其特征在于，所述通过所述解码器预测所述行人在预设时长内的运动轨迹的步骤，包括：
根据所述融合结果，获取在预设时长内所述行人的人体关键点信息；
根据所述人体关键点信息与预设算法，确定所述行人在未来所述预设时长内的运动速度和运动方向；
根据所述运动速度和运动方向，预测所述行人在所述预设时长内的运动轨迹。


5.根据权利要求1所述的预测方法，其特征在于，所述语义分割的结果包括分界线位置信息，在所述将所述行人图像输入至已训练完成的轨迹预测模型进行处理，得到所述行人图像中的行人在预设时长内的运动轨迹的步骤之后，包括：
获取当前车辆的车辆运动状态信息；
根据预测的所述行人在预设时长内的运动轨迹、所述分界线位置信息以及所述车辆运动状态信息，对所述当前车辆进行驾驶预警。


6.根据权利要求5所述的预测方法，其特征在于，所述根据预测的所述行人在预设时长内的运动轨迹、所述分界线位置信息以及所述车辆运动状态信息，对所述当前车辆进行驾驶预警的步骤，包括：
根据所述行人在预设时长内的运动轨迹与所述车辆运动状态信息，对所述行人图像中的行人进行碰撞检测，所述碰撞检测用于预测在所述预设时长内所述行人的运动轨迹是否会与所述当前车辆的运动轨迹存在重合；
若预测在所述预设时长内所述行人的运动轨迹会与所述当前车辆的运动轨迹发生重合，则发出预警信息。


7.根据权利要求5所述的预测方法，其特征在于，在所述根据预测的所述行人在预设时长内的运动轨迹、所述分界线位置信息以及所述车辆运动状态信息，对所述当前车辆进行驾驶预警的步骤之前，还包括：
根据所述分界线位置信息与预测的所述行人的运动轨迹，确定所述行人在所述预设时长后是否会进入所述驾驶区域；
若是，则根据预测的所述行人在预设时长内的运动轨迹、所述分界线位置信息以及所述车辆运动状态信息，对所述当前车辆进行驾预警。


8.一种行人运动轨迹的预测装置，其特征在于，包括：
图像获取单元，用于获取道路监控摄像头拍摄的道路监控图像；
图像分割单元，用于对所述道路监控图像进行语义分割，所述语义分割的结果包括行人图像；
轨迹预测单元，用于将所述行人图像输入至已训练完成的轨迹预测模型进行处理，得到所述行人图像中的行人在预设时长内的运动轨迹；其中，所述轨迹预测模型对所述行人图像的处理包括：获取所述行人图像中行人的姿态信息以及不同时间点的姿态信息的关联程度；根据所述行人的姿态信息以及所述关联程度，预测所述行人在预设时长内的运动轨。


9.根据权利要求8所述的预测装置，其特征在于，所述轨迹预测模型包括编码器，所述编码器包括特征提取层和自注意力层，所述轨迹预测单元具体包括：
姿态张量确定模块，用于将所述行人图像输入至所述特征提取层，通过所述特征提取层输出所述行人图像对应的行人姿态张量；
关联程度确定模块，用于将所述行人姿态张量输入至所述自注意力层，通过所述自注意力层将不同时间点的行人图像分别对应的行人姿态张量进行两两配对，计算不同时间点的行人姿态张量的关联程度。


10.根据权利要求9所述的预测装置，其特征在于，所述轨迹预测模型还包括解码器，所述编码器还包括位置编码层和前馈层，所述轨迹预测单元具体包括：
位置编码模块，用于通过所述位置编码层获取所述行人姿态张量对应的行人图像在若干帧所述行人图像中的序号，以及所述行人姿态张量在所述行人图像所在时间轴上的位置，并对所述行人姿态...

【专利技术属性】
技术研发人员：林旭南，黄凯明，
申请(专利权)人：深圳市锐明技术股份有限公司，
类型：发明
国别省市：广东;44