【技术实现步骤摘要】
本专利技术涉及计算机科学和人工智能，特别是涉及基于多模态数据融合的停车占位智能告警系统及方法。
技术介绍
1、随着社会经济发展和人民购买力的不断提高，近年来机动车辆迅猛增长。日益突出的社区停车位问题，如在停车位十分紧张的情况下，占用他人停车位；车辆停放占用相邻车位、超出停车泊位线停放的现象仍然屡见不鲜；有时在车流高峰期时，有的车主为图自己的一时方便，随意将车停在小区道路口附近上等人，很快便造成后面车辆的拥堵，甚至司机违章鸣笛现象较为突出，严重干扰了社区居民的正常生活和工作。这些问题不仅会影响居民的日常生活和出行，造成严重的邻里纠纷问题，严重影响人民群众的幸福指数。因此，解决识别停车占位问题并对其进行智能告警成为一个重要问题。
2、当前解决停车位问题的方法大体上有：(1)动态停车分配：根据停车场特点，对停车占用率建立预测模型进行预测，然后根据停车问题的动态特性动态分配模型。(2)智慧停车系统：基于道路和交通的实时状态共同决定设置停车位的地方并进行监控管理，从而能够有效解决停车问题的同时，还能够降低对交通造成影响，避免安全隐患。(3)停车装置：设置立体停车位装置。可以看出，这些方式没有从解决停车占位矛盾纠纷的角度出发，且都是通过停车位位置进行限定停车，很难得到普适性推广。且可以看出，传统解决的停车问题的方法，主要处理一些单模态数据以及装置操作，而结合多模态数据解决停车占位问题的研究较少，缺少更为智能的停车管理方法。
3、通过多模态数据融合技术对行驶进小区的车辆停车占位问题进行智能识别并对停车占位过程中出现的问
技术实现思路
1、为了解决上述技术问题，本专利技术提供了一种基于多模态数据技术的解决停车占位问题的管理系统和方法，
2、一种基于多模态数据融合的车辆占位智能告警管理系统，该系统包括数据存储模块、车辆识别检测模块、和占位问题警示模块，其中，所述车辆检测模块、占位警示模块与数据存储模块相互关联。
3、数据存储模块；用于存储社区车辆信息数据、社区停车位置数据和违停车辆数据。
4、车辆检测模块：用于进行车辆图片识别、文字识别和音频识别，并进行多模态融合识别数据，判断车辆的停车状态。
5、占位警示模块；所述违章警示模块用于向车主推送语音占位问题警示。
6、一种基于多模态数据融合的车辆占位智能告警管理方法，通过多模态技术，捕获文本数据、图像数据和音频数据，将从多种渠道收集到的数据信息进行处理归纳，进一步获得更加准确和符合应用要求的技术；对进入区域内的车辆进行图片识别、车牌识别、音频识别等技术算法，实现技术研究，通过图片收集、音频采集、车辆识别、多模态融合和提供停车指挥决策来避免因停车占位、按喇叭产生噪音行为而导致纠纷等问题，最后通过短信告知车主解决方案形成完整的停车管理系统，以此来减少社区纠纷的产生。
7、一种基于多模态数据融合的车辆占位智能告警管理方法，所述方法具体包括如下步骤：
8、(1)构建车辆信息数据库：构建结构化数据库、非结构化数据库和停车占位决策行为方案库，捕获车辆行驶、停车的文本、图像、视频和音频数据；
9、(2)建立车辆图像识别模型：基于深度学习技术对采集到的车辆行驶或停车的视频和图像数据进行分析，识别环境，并对车牌进行识别，转化成为车牌的文本特征信息，将车牌与管辖区内车位车主登记信息进行匹配，对陌生车辆进行登记；
10、(3)构建音频识别模型：通过采集音频数据，对停车位置处的音频进行识别，将车辆图像信号和声源信息叠加处理，从而检测到违法鸣笛的机动车辆；
11、(4)建立多模态车辆纠纷信息匹配模型，对车辆是否为会产生停车纠纷进行评估：将采集到的图像数据、视频数据和音频数据进行融合，构建多模态车辆行为识别模型，并根据多模态的车辆停车识别的结果，对是否会产生停车占位纠纷进行评估，确定是否需要对停车行为进行人工干预或短信通知。
12、进一步的，所述的人工干预或短信通知是根据车辆状态发出禁止停车、禁止鸣笛、重新停车和人工操作等语音操作指令，并根据车辆的停车行为向车主手机发送车辆状态，对车辆停车信誉积分进行扣除作为警告。
13、进一步的，所述结构化数据库收集车主登记在管理区域的车辆信息内容，其中包括车辆信息、车主信息、停车记录、出入信息。
14、进一步的，所述非结构化数据库的构建包括：
15、步骤1.2、构建车辆图片数据：通过摄像头录像或图像采集设备获取车辆进出的车辆类型、车牌、颜色、形状等车辆的多级特征；
16、步骤1.3、构建车辆周围环境数据：通过摄像头录像或图像采集设备获取车辆停车车位区域的场景图像；
17、步骤1.4、收集的语言文本，包括停车过程中产生的纠纷记录和口头交流，使用扫描仪将文本转化为文本数据；
18、步骤1.5、构建音频数据：通过采集不同种类车辆的鸣笛音频数据进行分析，每个音频数据样本由波形图和频谱图组成，用于后续实验中神经网络模型的训练和学习。
19、进一步的，所述图像数据进行分析具体为：通过摄像机设备抓拍的图像或实时视频流中采集车辆信息,将采集到的车辆的信息基于卷积神经网络进行分类识别：
20、步骤2.1通过图像采集设备获取实时图像数据，对采集到的图像进行滤波、增强和光线补偿预处理操作，采用卷积神经网络与lstm网络相结合的方法实现视频图像分类识别，在不损失性能的前提下对网络进行了优化和改进；
21、步骤2.2.1，首先在input层输入车辆视频图片数据后，经过三次conv卷积层的计算；卷积的公式如式(1)所示,将得到的结果交由max pool池化操作；
22、
23、公式中l代表层数，代表第1层第j个特征图，mj代表感受野，k代表卷积核，b代表偏置，∫代表激励函数；
24、步骤2.2.2，其次再进行两次conv卷积计算和一次max pool池化操作，对得到的图片数据进行dropout处理，再进行一次conv卷积计算，公式如式(2)所示；
25、
26、公式中的down()表示下采样，max pooling每次只取指定大小为n×n的滤子的最大值，构成新特征图；
27、步骤2.2.3最后通过全连接层和softmax完成对图片数据的识别，输出output层，输出车辆外观特征信息以及环境特征，如式(3)所示，
28、
29、公式中si代表第i个神经元的输出，输出向量就是各分类的概率。
30、进一步的，所述对车牌进行识别，转化成为车牌的文本特征信息具体包括：
31、步骤2.2图像预处理，包括将车牌图像转换为灰度图像、去噪本文档来自技高网...
【技术保护点】
1.一种基于多模态数据融合的车辆占位智能告警管理系统，其特征在于，该系统包括数据存储模块、车辆识别检测模块、和占位问题警示模块，其中，所述车辆检测模块、占位警示模块与数据存储模块相互关联；
2.一种基于多模态数据融合的车辆占位智能告警管理方法，其特征在于，使用权利要求1所述的系统，所述方法具体包括如下步骤：
3.根据权利要求2所述基于多模态数据融合的车辆占位智能告警管理方法，其特征在于，所述的人工干预或短信通知是根据车辆状态发出禁止停车、禁止鸣笛、重新停车和人工操作等语音操作指令，并根据车辆的停车行为向车主手机发送车辆状态，对车辆停车信誉积分进行扣除作为警告。
4.根据权利要求2所述基于多模态数据融合的车辆占位智能告警管理方法，其特征在于，所述结构化数据库收集车主登记在管理区域的车辆信息内容，其中包括车辆信息、车主信息、停车记录、出入信息。
5.根据权利要求2所述基于多模态数据融合的车辆占位智能告警管理方法，其特征在于，所述非结构化数据库的构建包括：
6.根据权利要求2所述基于多模态数据融合的车辆占位智能告警管理方法，其
7.根据权利要求2所述基于多模态数据融合的车辆占位智能告警管理方法，其特征在于，所述对车牌进行识别，转化成为车牌的文本特征信息具体包括：
8.根据权利要求2所述基于多模态数据融合的车辆占位智能告警管理方法，其特征在于，所述对停车位置处的音频进行识别，具体包括以下步骤：
9.根据权利要求2所述基于多模态数据融合的车辆占位智能告警管理方法，其特征在于，所述多模态车辆纠纷信息匹配模型的构建具体包括以下步骤：
10.根据权利要求9所述基于多模态数据融合的车辆占位智能告警管理方法，其特征在于，所述多模态检测的方法包括：
...【技术特征摘要】
1.一种基于多模态数据融合的车辆占位智能告警管理系统，其特征在于，该系统包括数据存储模块、车辆识别检测模块、和占位问题警示模块，其中，所述车辆检测模块、占位警示模块与数据存储模块相互关联；
2.一种基于多模态数据融合的车辆占位智能告警管理方法，其特征在于，使用权利要求1所述的系统，所述方法具体包括如下步骤：
3.根据权利要求2所述基于多模态数据融合的车辆占位智能告警管理方法，其特征在于，所述的人工干预或短信通知是根据车辆状态发出禁止停车、禁止鸣笛、重新停车和人工操作等语音操作指令，并根据车辆的停车行为向车主手机发送车辆状态，对车辆停车信誉积分进行扣除作为警告。
4.根据权利要求2所述基于多模态数据融合的车辆占位智能告警管理方法，其特征在于，所述结构化数据库收集车主登记在管理区域的车辆信息内容，其中包括车辆信息、车主信息、停车记录、出入信息。
5.根据权利要求2所述基于多模态数据融合的车辆占位...
【专利技术属性】
技术研发人员：黄卫东，郑杏冉，周泽慧，孙殿臣，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。