知识与数据混合驱动的视野遮挡潜在危险场景认知方法技术

本发明专利技术公开了一种知识与数据混合驱动的视野遮挡潜在危险场景认知方法，步骤包括：步骤1、感知场景图像信息、位置时间信息；步骤2、检测场景目标；步骤3、生成场景图；步骤4、进行知识图谱多跳推理，获取场景中的潜在隐性信息；步骤5、利用Bert模型进行特征编码，得到作为数据驱动输入的向量矩阵；步骤6、基于ST

【技术实现步骤摘要】
知识与数据混合驱动的视野遮挡潜在危险场景认知方法


[0001]本专利技术属于车辆交通危险场景认知
，涉及一种知识与数据混合驱动的视野遮挡潜在危险场景认知方法。

技术介绍

[0002]自动驾驶领域中，底层架构和大部分的技术问题已经解决，但是仍然有5％的“长尾”问题仍然是悬而未决，这也是当前制约自动驾驶发展的重要因素。目前，针对于自动驾驶视野遮挡潜在危险场景认知的研究都是尝试利用车联网或车路协同系统来解决这一问题。上述一类依靠网联技术的系统虽然有助于视野遮挡区域内交通参与者状态的感知，但是其除了需要解决网络自身传输的可靠性、安全性等问题外，依旧存在诸多问题。例如，车联网技术依靠车辆/行人所携带的手机或其它智能设备构建V2X通讯以避免潜在危险，但是这种方式难以避免因智能设备缺失或损坏而导致的通讯中断；车路协同技术较为依赖路基传感器所获取的信息，但是由于潜在危险场景的分布具有较高随机性，路基传感器无法实现对所有潜在危险场景的全面永久覆盖，从而会导致重要道路信息的感知缺失；另外，路端智能感知很难覆盖城区所有道路以及非道路区域。
[0003]为弥补上述技术的不足以应对潜在危险场景带来的安全隐患，可从单车智能角度出发，通过结合车辆本身与人工智能技术，研究基于知识与数据混合驱动的视野遮挡潜在危险场景类人化认知模型。自主车辆视野遮挡潜在危险场景认知是一个需要多维度考虑的问题，该问题涉及到自主车辆与周围交通参与者之间交互的影响，周围环境的影响以及该场景所处的时间段的影响。因此在进行场景认知的时候，需要多维度的考虑该交通场景中其他参与者之间的交互关系。

技术实现思路

[0004]本专利技术的目的是提供一种知识与数据混合驱动的视野遮挡潜在危险场景认知方法，解决了现有技术在对潜在危险场景认知过程中，难以综合考虑自主车辆与虚拟的交通参与者之间的相对运动，以及周围宏观交通环境的上下文语义场景对场景认知的影响，导致对视野遮挡下潜在危险场景认知不够、实时性准确性不足的问题。
[0005]本专利技术采用的技术方案是，一种知识与数据混合驱动的视野遮挡潜在危险场景认知方法，按照以下步骤具体实施：
[0006]步骤1、感知场景图像信息、位置时间信息；
[0007]步骤2、检测场景目标，
[0008]通过YOLO v8算法检测出场景中交通参与者的显性特征信息，包括参与者及其属性信息；
[0009]步骤3、生成场景图，
[0010]基于PSG模型全面输出图像中的所有关系，并用准确的分割块来定位物体；基于这些特征信息和关系生成场景图，并把这些信息以SPO三元组方式进行存储；
[0011]步骤4、进行知识图谱多跳推理，
[0012]采用知识图谱多跳推理方法，对场景图中表示的实体及关系信息进行类人化知识推理，获取场景中的潜在隐性信息；
[0013]步骤5、利用Bert模型进行特征编码，
[0014]整合场景的显性和隐性信息并进行基于Bert模型的特征编码，得到作为数据驱动输入的向量矩阵；
[0015]步骤6、基于ST
‑
GCN实现场景认知，
[0016]把完成特征编码的向量矩阵输入到ST
‑
GCN模型中，得到场景认知的最终结果。
[0017]本专利技术的有益效果，包括以下几个方面：
[0018]1)本专利技术方法通过融合知识图谱与深度学习技术，构建了一种基于数据与知识驱动面向自动驾驶系统视野遮挡场景的认知方法，挖掘了道路场景语义信息，相较于单纯基于道路场景图像信息进行场景认知具有更好的迁移性和泛化性。
[0019]2)本专利技术方法在场景认知过程中，考虑了潜在危险场景宏微观时空构成因素之间耦合关系对场景认知的影响。
[0020]3)运用基于ST
‑
GCN的时空图卷积技术，能够更完整准确的认知当前潜在危险场景，ST
‑
GCN考虑了场景中各交互者的耦合关系，解决了常规的潜在交通危险场景认知方法中仅单独考虑自主车车辆与潜在交通参与者之间的单向交互。
附图说明
[0021]图1是本专利技术方法对视野遮挡潜在危险场景认知的过程框图；
[0022]图2是本专利技术方法中采用的视野遮挡的实施例场景示意图；
[0023]图3a为简化的实施例场景图的一帧，图3b为提取场景图对象列表及其属性后生成的场景图；
[0024]图4是本专利技术方法中采用的场景图谱信息融合示意图；
[0025]图5是本专利技术方法中采用的知识图谱多跳推理示意图；
[0026]图6是本专利技术方法的潜在视野遮挡危险场景认知过程示意图。
具体实施方式
[0027]下面结合附图和具体实施方式对本专利技术进行详细说明。
[0028]参照图1，本专利技术方法的构思及原理是：
[0029]本专利技术的方法是一种自主车辆因视野遮挡而造成的潜在交通危险场景认知方法，这种类人化场景认知方法采用知识与数据混合驱动的方式来增加视野遮挡下潜在危险场景认知的全面性和可靠性。其一，知识驱动是运用了知识图谱推理技术，知识图谱能够以网状的知识结构来表示潜在交通危险场景中的实体以及实体之间的关系，知识图谱推理技术能够像人一样思考推理，从而获得场景中潜在的重要隐含信息，是类人化场景认知的重要基础。其二，数据驱动是在知识图谱推理基础上，再加上自主车辆场景本身存在的特征信息，以这些信息作为输入，运用数据驱动的技术来进行视野遮挡潜在危险场景认知。
[0030]考虑到当前自主车辆所处的宏微观时空场景信息，其中宏观时空因素为当前所处的时间和地点(城市或郊区)，微观时空信息为自主车辆和场景交互者的速度、加速度等因
素和自主车辆所在的交通位置(住宅区、商业区、学校等场所)，考虑到一般交通状态下的事件信息。
[0031]运用Neo4j等知识图谱构建自主车辆实时图谱，考虑驾驶场景中所处宏微观时空信息，以及自动驾驶事件信息，构建完整视野遮挡潜在危险风险场景图谱，如图4所示。图4中的图谱包括有先验知识构成的时间层图谱Time layer、空间层图谱Space layer和自主车辆实时场景图谱Image layer，利用上述两种先验知识构成的图谱和自主车辆实时场景图谱融合后，得到完整视野遮挡潜在风险场景图谱Scene layer。
[0032]以当前自主驾驶场景进行场景图生成，基于构建完成的潜在交通危险场景知识图谱，把自动驾驶场景图中特征属性及关系作为知识图谱推理的输入，得到显性以及隐性的场景特征，运用基于数据驱动的技术把这些特征进行编码，然后输入到认知模型中，进行完整的视野遮挡潜在危险场景认知。
[0033]本专利技术的方法，基于以下框架进行步骤过程的设置：场景图像信息感知、位置时间信息感知，场景目标检测(算法)，基于全景分割的场景图生成(panoptic scene graph generation,即PSG)，知识图谱多跳推理(方法)，基于Bert模型的特征编码，基于ST
‑
GCN的认知本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种知识与数据混合驱动的视野遮挡潜在危险场景认知方法，其特征在于，按照以下步骤具体实施：步骤1、感知场景图像信息、位置时间信息；步骤2、检测场景目标，通过YOLO v8算法检测出场景中交通参与者的显性特征信息，包括参与者及其属性信息；步骤3、生成场景图，基于PSG模型全面输出图像中的所有关系，并用准确的分割块来定位物体；基于这些特征信息和关系生成场景图，并把这些信息以SPO三元组方式进行存储；步骤4、进行知识图谱多跳推理，采用知识图谱多跳推理方法，对场景图中表示的实体及关系信息进行类人化知识推理，获取场景中的潜在隐性信息；步骤5、利用Bert模型进行特征编码，整合场景的显性和隐性信息并进行基于Bert模型的特征编码，得到作为数据驱动输入的向量矩阵；步骤6、基于ST
‑
GCN实现场景认知，把完成特征编码的向量矩阵输入到ST
‑
GCN...

【专利技术属性】
技术研发人员：周劲草，王源，傅卫平，李睿，杨世强，
申请(专利权)人：西安理工大学，
类型：发明
国别省市：