【技术实现步骤摘要】
本专利技术涉及深度学习，更具体地说，它涉及一种基于多模态的身份交叉验证方法及系统。
技术介绍
1、随着移动互联网和人工智能技术的快速发展，基于多模态数据的身份认证技术已经成为解决身份识别和验证问题的重要手段。传统的身份验证方法主要依赖于密码、身份证件等单一的验证因子，存在安全性低、易被攻破的问题。而基于多模态数据的身份交叉验证方法则可以综合利用车主的生物特征、行为习惯、车辆环境等多方面信息进行身份确认，相比之下具有更高的安全性和可靠性。然而，现有的多模态身份验证技术仍然存在一些不足之处。例如，大多数方法只是简单地将各种模态的数据进行拼接，而没有考虑到不同模态数据之间的内在联系和时序特性。
技术实现思路
1、本专利技术提供了一种基于多模态的身份交叉验证方法及系统，该方法首先获取车主的身份关联信息和历史验证记录，并将其构建为两类结构化数据：一是包含车主、生物特征、行为特征、车辆环境等对象以及时序单元的二维结构化数据；二是纯时序单元结构的历史身份验证记录数据。然后，将这两类结构化数据输入到一个特制的身份验证模型中进行处理。该模型采用了多层神经网络结构，包括多个数据结构识别层、融合层和全连接层，能够分别提取各类数据的特征，并将其进行融合，最终给出身份验证结果和异常概率。本专利技术解决了传统单一模态身份验证安全性不足以及现有多模态身份验证方法缺乏时空建模和异常检测能力的问题的技术问题。
2、本专利技术提供了一种基于多模态的身份交叉验证方法，包括以下步骤：
3、步骤10
4、步骤200，基于车主身份关联信息来构建第一结构化数据；第一结构化数据表示为两个结构维度的有序性信息，第一个结构维度上包含的基本结构要素为对象；第二个结构维度上包含的基本结构要素为时序单元；
5、步骤300，基于车主身份验证历史记录数据构建包括一个结构维度的第二结构化数据，在这个结构维度上包含的基本结构要素为时序单元；
6、步骤400，将第一结构化数据、第二结构化数据输入身份验证模型，身份验证模型包括主干网络，主干网络包括第一数据结构识别层、第二数据结构识别层、第三数据结构识别层、第一数据结构识别融合层、第一全连接层、第二全连接层；其中第一结构化数据输入第一数据结构识别层，输出第一隐藏特征到第二数据结构识别层；第二数据结构识别层输出的第二隐藏特征到第一数据结构识别融合层；第一数据结构识别融合层输出第一融合隐藏特征到第一全连接层；第一全连接层输出车主身份交叉验证的结果；第二结构化数据输入第三数据结构识别层，输出第三隐藏特征到第一数据结构识别融合层和第二全连接层；第二全连接层输出身份验证异常的概率分布。
7、在一个优选的实施方式中，车主身份关联信息包括车主基本信息、车主生物表征信息、车主行为表征信息、车辆环境信息；车主身份验证历史记录数据包括：身份验证历史记录结果、历史生物表征相似度、历史行为表征相似度、历史车辆环境信息组成的身份验证历史记录描述文本。
8、在一个优选的实施方式中，构建第一结构化数据的方法包括：
9、提取有序性信息的对象；
10、提取对象关联的特征，并将提取的特征按照采集周期划分为多个部分，一个部分映射到一个时序单元，时序单元的顺序与特征的采集周期的时间顺序一致；
11、将提取的对象与其关联的特征之间建立映射；
12、对于任意两个对象，如果关联的特征之间存在与身份验证任务有关的关联性或者对象之间存在与身份验证任务有关的关联性，则这两个对象之间构建对象联系。
13、在一个优选的实施方式中，第一结构化数据中的对象包括：车主、车主生物表征、车主行为表征、车辆环境。
14、在一个优选的实施方式中，车主关联的特征包括：车主姓名、联系方式、紧急联系人；
15、车主生物表征关联的特征包括：面部图像、指纹图像、虹膜图像、语音样本；
16、车主行为表征关联的特征包括：钥匙使用数据、按键使用序列、车机系统操作日志、座椅调节数据；
17、车辆环境关联的特征包括：车辆状态、车外环境；
18、车辆状态包括：车速、方向盘转角、油门和刹车踏板数据、车辆位置；车外环境包括：车外的温度、湿度、光照、天气情况、能见度、地面情况；天气情况包括：晴朗、多云、阴天、雨雪、雾霾、雷雨、台风；地面情况包括：干燥、潮湿、积水、结冰、积雪、泥泞、沙石、油污、施工。
19、在一个优选的实施方式中，与身份验证任务有关的关联性包括：
20、车主与车主之间存在关联性是指：两个车主驾驶的车辆型号相同；
21、车主生物表征与车主之间存在关联性是指：车主拥有自己的生物表征；
22、车主行为表征与车主行为表征之间存在关联性是指：两个行为表征相似；
23、车主行为表征与车主之间存在关联性是指：车主拥有自己的行为特征；
24、车辆环境与车主行为表征之间存在关联性是指：车辆环境会影响车主的行为特征。
25、在一个优选的实施方式中，构建第二结构化数据的方法包括：
26、提取车主身份验证历史记录数据，将提取车主身份验证历史记录数据的特征按照数据采集周期划分为多个部分，一个部分映射到一个时序单元，时序单元的顺序与车主身份验证历史记录数据的采集周期的时间顺序一致。
27、在一个优选的实施方式中，第一数据结构识别融合层结合第一全连接层进行预训练，训练身份验证模型具有准确判断车主身份的能力。
28、在一个优选的实施方式中，第三数据结构识别层结合第二全连接层进行预训练，训练身份验证模型具有准确判断车主身份是否识别异常及异常类别的能力。
29、在一个优选的实施方式中，一种基于多模态的身份交叉验证系统包括以下模块：
30、数据采集模块，用于获取车主身份关联信息和车主身份验证历史记录数据；
31、结构数据构建模块，用于将车主身份关联信息构建为第一结构化数据，车主身份验证历史记录数据构建包括一个结构维度的第二结构化数据；
32、结构数据处理模块，用于将第一结构化数据、第二结构化数据输入身份验证模型，输出车主身份交叉验证的结果和身份验证异常的概率分布。
33、本专利技术的有益效果在于：
34、提高身份验证准确性：本专利技术通过引入车主身份相关的多模态信息，并考虑数据的时空结构特性，构建了一个多层神经网络模型，能够充分挖掘不同模态数据之间的关联性和时序演化规律，从而大大提高了身份验证的准确性。
35、增强身份验证安全性：本专利技术在身份验证模型中引入了异常检测机制，通过对历史验证记录进行建模和分析，可以及时发现潜在的身份盗用、非法访问等异常情况，并采取相应的防范措施，从而增强了身份验证的安全性，有效保护了车主的合法权益。
本文档来自技高网...【技术保护点】
1.一种基于多模态的身份交叉验证方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于多模态的身份交叉验证方法，其特征在于，车主身份关联信息包括车主基本信息、车主生物表征信息、车主行为表征信息、车辆环境信息；车主身份验证历史记录数据包括：身份验证历史记录结果、历史生物表征相似度、历史行为表征相似度、历史车辆环境信息组成的身份验证历史记录描述文本。
3.根据权利要求1所述的一种基于多模态的身份交叉验证方法，其特征在于，构建第一结构化数据的方法包括：
4.根据权利要求3所述的一种基于多模态的身份交叉验证方法，其特征在于，第一结构化数据中的对象包括：车主、车主生物表征、车主行为表征、车辆环境。
5.根据权利要求4所述的一种基于多模态的身份交叉验证方法，其特征在于，车主关联的特征包括：车主姓名、联系方式、紧急联系人；
6.根据权利要求3所述的一种基于多模态的身份交叉验证方法，其特征在于，与身份验证任务有关的关联性包括：
7.根据权利要求1所述的一种基于多模态的身份交叉验证方法，其特征在于，构建第二结构化数
8.根据权利要求1所述的一种基于多模态的身份交叉验证方法，其特征在于，第一数据结构识别融合层结合第一全连接层进行预训练，训练身份验证模型具有准确判断车主身份的能力。
9.根据权利要求1所述的一种基于多模态的身份交叉验证方法，其特征在于，第三数据结构识别层结合第二全连接层进行预训练，训练身份验证模型具有准确判断车主身份是否识别异常及异常类别的能力。
10.一种基于多模态的身份交叉验证系统，其特征在于，其用于执行如权利要求1-9任一所述的一种基于多模态的身份交叉验证方法，一种基于多模态的身份交叉验证系统包括以下模块：
...【技术特征摘要】
1.一种基于多模态的身份交叉验证方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于多模态的身份交叉验证方法，其特征在于，车主身份关联信息包括车主基本信息、车主生物表征信息、车主行为表征信息、车辆环境信息；车主身份验证历史记录数据包括：身份验证历史记录结果、历史生物表征相似度、历史行为表征相似度、历史车辆环境信息组成的身份验证历史记录描述文本。
3.根据权利要求1所述的一种基于多模态的身份交叉验证方法，其特征在于，构建第一结构化数据的方法包括：
4.根据权利要求3所述的一种基于多模态的身份交叉验证方法，其特征在于，第一结构化数据中的对象包括：车主、车主生物表征、车主行为表征、车辆环境。
5.根据权利要求4所述的一种基于多模态的身份交叉验证方法，其特征在于，车主关联的特征包括：车主姓名、联系方式、紧急联系人；
【专利技术属性】
技术研发人员：陈颖，黄佑君，洪笑梅，高立超，
申请(专利权)人：厦门身份宝网络科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。