基于深度学习的智能车辆周边行人行为预测方法和系统技术方案

本发明专利技术提供了一种基于深度学习的智能车辆周边行人行为预测方法，所述方法包括如下步骤：步骤S1：检测车辆自身位置，记录车辆自身运动数据；步骤S2：利用车载传感器对智能车辆周边障碍物进行检测，对周围道路环境进行定位于分类，确定行人位置及运动状态；步骤S3：将得到的行人运动状态数据作为输入数据输入卷积神经网络CNN进行轨迹预测；步骤S4：根据卷积神经网络CNN的轨迹预测输出行人的预测轨迹。本发明专利技术简化预测方法，提高预测速度；提高对行人行为预测的精确度；可持续迭代得到长时间的预测轨迹，对智能车辆研究具有重要意义。对智能车辆研究具有重要意义。对智能车辆研究具有重要意义。

【技术实现步骤摘要】
基于深度学习的智能车辆周边行人行为预测方法和系统


[0001]本专利技术涉及智能驾驶的
，具体地，涉及基于深度学习的智能车辆周边行人行为预测方法和系统。

技术介绍

[0002]智能驾驶是战略性新兴产业的一个重要的组成部分，发展智能驾驶不但能提高交通效率和减少事故发生率，对国家战略发展以及综合国力提升同样具有重要意义，同时，对智能驾驶技术的研究可以提升我国在深度学习以及汽车方面的综合竞争力，具有重要意义。
[0003]根据最近的一份报告，约90％的事故原因来自于驾驶员的错误，比如：30％的事故是由于驾驶员醉酒，10％的事故是驾驶员分心造成的，而随着机器学习的发展，我们也逐渐认识到智能车辆有潜力能减少有驾驶员操作失误造成的交通事故，而且，通过智能车辆的行为预测，也能把劳动力从简单和重复的驾驶中解放出来，提高生产力。
[0004]智能车辆的行为预测会根据周围环境当前和过去的观测来预测附近障碍物的未来状态，这个功能有助于帮助车辆驾驶时降低风险，但是，常规的行为预测解决方案适用于较短预测范围的简单驾驶情况，最近，与传统方法相比基于深度学习的方法在更复杂的环境中具有优越的性能，因此变得流行。
[0005]实际上，为了在道路上安全有效地运行，自动驾驶汽车不仅应了解附近道路参与者的当前状态，而且应主动预测其未来的行为(也称为运动或轨迹)，这个普遍问题的其中一个重要部分就是预测行人，或弱势道路参与者的行为，但目前绝大多数的智能车辆都将周边车辆行为预测放在了首位，而对行人的行为预测则普遍较少，通过对智能车辆周边行人的行为预测，能帮助驾驶员减少事故发生率，最大限度地保障驾驶员进而行人的安全。
[0006]卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一，使用CNN进行特征提取，优点就是使用者完全不用关心具体的特征是哪些，即实现了特征提取的封装，这种封装在智能驾驶的研究中具有极高的应用价值，同时其优越的效果和正确率也让其具有在智能驾驶研究中不可替代的地位，通过将行人行为轨迹以矩阵形式作为输入数据并进行特征提取，可以较为简单地实现对行人行为倾向的预测，从而对行人轨迹实现预测，实现对智能驾驶的辅助效果。
[0007]本专利技术方法包括对道路环境、行人状况检测、对道路方向系的选取、对行人历史运动信息进行采集并处理，并根据行人欲道路的相对位置实现对行人状态的初步判断，进而选择合适的模型对行人行为轨迹进行预测，并最终输出预测得到的行人轨迹进行评估。

技术实现思路

[0008]针对现有技术中的缺陷，本专利技术的目的是提供一种基于深度学习的智能车辆周边行人行为预测方法和系统。
[0009]根据本专利技术提供的一种基于深度学习的智能车辆周边行人行为预测方法，所述方
法包括如下步骤：
[0010]步骤S1：检测车辆自身位置，记录车辆自身运动数据；
[0011]步骤S2：利用车载传感器对智能车辆周边障碍物进行检测，对周围道路环境进行定位于分类，确定行人位置及运动状态；
[0012]步骤S3：将得到的行人运动状态数据作为输入数据输入卷积神经网络CNN进行轨迹预测；
[0013]步骤S4：根据卷积神经网络CNN的轨迹预测输出行人的预测轨迹。
[0014]优选地，所述步骤S2包括：
[0015]通过车辆传感器的数据建立道路方向系，将道路方向系划分为八个部分，以行人为坐标原点并根据道路方向建立该道路方向系，以行人的移动轨迹确定其主要前进方向A；
[0016]根据道路方向系获得行人连续十组、间隔0.05s的在各方向上的速度作为卷积神经网络CNN的输入数据，通过补行的方式将得到的数据用10*10矩阵Vp表示，矩阵Vp将作为卷积神经网络的输入数据进入卷积神经网络CNN对行人轨迹进行预测。
[0017]优选地，所述步骤S3包括：
[0018]对输入的数据进行处理，采用变卷积核的方法对输入数据进行特征提取，通过调节行人在各方向上前进的权重实现对行人行动特征的有效提取；
[0019]步骤S3.1：采用卷积核对输入数据矩阵进行卷积；通过对卷积核的调整，将特征提取由池化层提前到了卷积层；
[0020]步骤S3.2：数据矩阵通过权重卷积核消除了各方向的权重差，进入池化层；池化层采用高斯模糊的方法进一步地进行特征提取，并得到新的4*4矩阵进入全连接层
[0021]步骤S3.3：得到的4*4矩阵后进入全连接层，将输出结果分别设定为速度大小和速度方向，通过数据集对两个全连接层进行训练；对全连接层的训练完成后，通过新的数据对卷积神经网络CNN进行校验，得到预测的行人移动速度，通过将预测的行人移动速度与实际行人移动速度进行对比，调整不同情况下各方向权重的大小，通过反复调试，得到各种情况下结果最优的各方向权重；
[0022]步骤S3.4：完成参数调整核对卷积神经网络的训练后，输入检验数据并将得到的预测速度大小以及速度方向作为新的数据添加至输入数据矩阵中，再次进入卷积神经网络，通过反复迭代得到预测的行人行为轨迹。
[0023]优选地，所述步骤S3.4包括：对输出结果为速度大小的全连接层进行训练时，以速度大小作为输出结果；对输出结果为速度方向的全连接层进行训练时，采用正交分解的方法，将速度分解在行人主要前进方向A、行人主要前进方向的垂直方向B、C和行人的主要前进方向相反方向D上，通过比重的形式表述；训练后的全连接层，赋予A、B、C、D相应的比重，通过比重确定预测的行人移动方向，通过与速度大小结合实现对行人速度的预测，进而实现对行人轨迹的完整预测。
[0024]优选地，通过对输出数据的迭代得到完整的预测轨迹，将该预测轨迹与实际轨迹做对比，将预测轨迹在目标预测时间后的位置与实际轨迹在目标预测时间后的位置相连接，初始位置与两轨迹构成一完整闭合图形，通过对闭合图形面积S的计算，得到卷积神经网络CNN的评价指标。
[0025]本专利技术还提供一种基于深度学习的智能车辆周边行人行为预测系统，所述系统包
括如下模块：
[0026]模块M1：检测车辆自身位置，记录车辆自身运动数据；
[0027]模块M2：利用车载传感器对智能车辆周边障碍物进行检测，对周围道路环境进行定位于分类，确定行人位置及运动状态；
[0028]模块M3：将得到的行人运动状态数据作为输入数据输入卷积神经网络CNN进行轨迹预测；
[0029]模块M4：根据卷积神经网络CNN的轨迹预测输出行人的预测轨迹。
[0030]优选地，所述模块M2包括：
[0031]通过车辆传感器的数据建立道路方向系，将道路方向系划分为八个部分，以行人为坐标原点并根据道路方向建立该道路方向系，以行人的移动轨迹确定其主要前进方向A；
[0032]根据道路方向系获得行人连续十组、间隔0.05s的在各方向上的速度作为卷积神经网络CNN的输入数据，通过补行的方式将得到的数据用10*10矩阵Vp表示，矩阵Vp将作为卷积神经网络的输入数据进本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的智能车辆周边行人行为预测方法，其特征在于，所述方法包括如下步骤：步骤S1：检测车辆自身位置，记录车辆自身运动数据；步骤S2：利用车载传感器对智能车辆周边障碍物进行检测，对周围道路环境进行定位于分类，确定行人位置及运动状态；步骤S3：将得到的行人运动状态数据作为输入数据输入卷积神经网络CNN进行轨迹预测；步骤S4：根据卷积神经网络CNN的轨迹预测输出行人的预测轨迹。2.根据权利要求1所述的一种基于深度学习的智能车辆周边行人行为预测方法，其特征在于，所述步骤S2包括：通过车辆传感器的数据建立道路方向系，将道路方向系划分为八个部分，以行人为坐标原点并根据道路方向建立该道路方向系，以行人的移动轨迹确定其主要前进方向A；根据道路方向系获得行人连续十组、间隔0.05s的在各方向上的速度作为卷积神经网络CNN的输入数据，通过补行的方式将得到的数据用10*10矩阵Vp表示，矩阵Vp将作为卷积神经网络的输入数据进入卷积神经网络CNN对行人轨迹进行预测。3.根据权利要求1所述的一种基于深度学习的智能车辆周边行人行为预测方法，其特征在于，所述步骤S3包括：对输入的数据进行处理，采用变卷积核的方法对输入数据进行特征提取，通过调节行人在各方向上前进的权重实现对行人行动特征的有效提取；步骤S3.1：采用卷积核对输入数据矩阵进行卷积；通过对卷积核的调整，将特征提取由池化层提前到了卷积层；步骤S3.2：数据矩阵通过权重卷积核消除了各方向的权重差，进入池化层；池化层采用高斯模糊的方法进一步地进行特征提取，并得到新的4*4矩阵进入全连接层步骤S3.3：得到的4*4矩阵后进入全连接层，将输出结果分别设定为速度大小和速度方向，通过数据集对两个全连接层进行训练；对全连接层的训练完成后，通过新的数据对卷积神经网络CNN进行校验，得到预测的行人移动速度，通过将预测的行人移动速度与实际行人移动速度进行对比，调整不同情况下各方向权重的大小，通过反复调试，得到各种情况下结果最优的各方向权重；步骤S3.4：完成参数调整核对卷积神经网络的训练后，输入检验数据并将得到的预测速度大小以及速度方向作为新的数据添加至输入数据矩阵中，再次进入卷积神经网络，通过反复迭代得到预测的行人行为轨迹。4.根据权利要求3所述的一种基于深度学习的智能车辆周边行人行为预测方法，其特征在于：所述步骤S3.4包括：对输出结果为速度大小的全连接层进行训练时，以速度大小作为输出结果；对输出结果为速度方向的全连接层进行训练时，采用正交分解的方法，将速度分解在行人主要前进方向A、行人主要前进方向的垂直方向B、C和行人的主要前进方向相反方向D上，通过比重的形式表述；训练后的全连接层，赋予A、B、C、D相应的比重，通过比重确定预测的行人移动方向，通过与速度大小结合实现对行人速度的预测，进而实现对行人轨迹的完整预测。5.根据权利要求1所述的一种基于深度学习的智能车辆周边行人行为预测方法，其特
征在于，通过对输出数据的迭代得到完整的预测轨迹，将该预测轨迹与实际轨迹做对比，将预测轨迹在目标预测时间后的位置与实际轨迹在目标预测时间后的位置相连接，初始位置与两轨迹构成一完整闭合图形，通过对闭合图形面积S的计算，得到卷积神经网络CNN的评价指标。6.一种...

【专利技术属性】
技术研发人员：高洪波，王源源，何希，朱菊萍，
申请(专利权)人：中国科学技术大学先进技术研究院，
类型：发明
国别省市：