【技术实现步骤摘要】
本专利技术涉及一种风险扰动下的多尺度跨模态数据增强方法及系统，属于大数据与数据增强处理交叉应用领域。
技术介绍
1、风险扰动主要分为三种类型：1）突发性扰动，如突发天气事件、重大社会活动、突发交通事件等；2）周期性扰动，如重要节假日、开学季、早晚高峰等；3）长期趋势性扰动，如社会演变、气候变化、产业调整等。风险扰动下的多尺度跨模态数据需要进行数据增强，才能够更好地使用。
2、数据增强是一种通过对原始数据进行变换和处理来生成新的数据样本的技术，旨在扩展数据集、提升模型性能和泛化能力。通过分析数据特征分布，能够针对性地对原始数据进行扩充。因此，数据特征的一致性和稳定性是实现数据有效增强的基础。然而城市数据模态多样、分布广泛，并存在大量不可控的噪声干扰，造成数据质量下降、异常样本、信息缺失、时序错乱等问题。目前，时空预测补偿和跨模态融合是两类常见的抗扰动数据增强方法。
3、基于时空预测补偿的数据增强方法：这类方法旨在利用时空域数据的特征分布与序列趋势从而实现数据增强的方法。针对异常样本问题，目前有超网络卡尔曼滤波器用于跟踪跨模态数据变化，其提升了融合特征的泛化性和鲁棒性；也存在一种时空去噪图自动编码模型，实现了环境扰动下丢失数据的复原与增强。针对信息缺失的问题，有人提出了一种具有自学习能力的平方根卡尔曼滤波器，能够在 gps 数据失效时提供连续地导航观测值；有人提出了长期多维时空图卷积网络 lmstgcn，其利用多维图卷积模块同时对空间和短期时间信息进行建模，并在此基础上设计了一种时空邻接矩阵构造方法，基于门控
4、基于跨模态融合的数据增强方法：这类方法旨在利用多模数据的互补性实现交叉验证与特征融合。针对数据质量下降问题，目前技术可以通过级联多源矢量化特征，对低级特征和高级特征实现了串联组合。有人将神经体系结构搜索与渐进探索结合使用，提出了融合函数的构建方法，能够自适应选择融合层以及串联权重；注意力模型也是跨模态融合技术的常用方法。为克服异常样本导致的特征扰动问题，可以使用堆叠注意力网络，通过多层注意力模型实现多次查询，根据查询结果动态融合跨模态特征，目前的双重注意力网络同时考虑了各个模态的特征分布，构建了特征向量的注意力分布和记忆向量模型。随后，当前技术利用高维卷积算子捕获局部特征，进一步丰富了数据多样性。目前技术采用贝叶斯深度学习方法来缓解单模态偏差问题，构建了跨模态似然公式和粒子滤波器，提升了融合特征的抗干扰能力。有人提出了一种多尺度融合泛化模块来聚合全局参考信息，利用全局感知元和位置感知映射对噪声环境中的城市交通流量进行了预测。
5、上述方法虽然从各个角度实现了数据增强，然而其所代表的传统的数据增强方法均未考虑风险扰动下对多尺度跨模态数据增强的影响，往往无法有效应对风险扰动带来的挑战，存在各种缺点和不足。在实际城市群的环境中，各种类型的风险扰动在叠加作用后，会对现代化城市群的运营与管理造成极大的挑战。
技术实现思路
1、本专利技术技术解决问题：克服现有技术的不足，提供一种风险扰动下的多尺度跨模态数据增强方法及系统，综合利用风险扰动因素，提高数据增强的鲁棒性和稳定性，使得数据增强更加全面和准确，能够更好地应对风险扰动的挑战。
2、本专利技术技术解决方案：
3、第一方面，本专利技术提供一种风险扰动下的多尺度跨模态数据增强方法，包括基于多时空尺度耦合的数据增强步骤和基于跨模态关联网络的数据代偿步骤，其中：
4、所述基于多时空尺度耦合的数据增强步骤：在风险扰动下，采集城市中人-车-物的移动行为在时间上和空间上的多尺度单模态数据，对所述多尺度单模态数据进行建模，构建时空耦合关系图；所述风险扰动指遇到的突发性、周期性或长期趋势性扰动现象；基于所述时空耦合关系图，利用特征融合网络系统处理时空耦合关系图，生成插补后的数据，形成增强后的单模态数据，多个增强后的单模态数据耦合成跨模态数据；
5、所述的跨模态关联网络的数据代偿步骤：利用特征对齐技术，将所述跨模态数据中的特征维度与尺度进行调整，消除跨模态数据之间的差异，得到特征对齐后的跨模态数据；对所述特征对齐后的跨模态数据采用特征迁移技术得到跨模态数据之间各个单模态数据的特征关联关系；使用图融合的特征构建技术处理跨模态数据之间各个单模态数据的特征关联关系，得到跨模态数据之间的关联性和互补性；最终基于增强跨模态数据之间的关联性和互补性，实现多尺度跨模态数据增强，完成跨模态数据代偿。
6、特别地，所述基于多时空尺度耦合的数据增强步骤中，对所述多尺度单模态数据进行建模，构建时空耦合关系图实现如下：
7、将一个人-车-物移动行为的多尺度单模态数据记为一个数据源，将数据源的关系图记为一张图，同一时刻内，多个数据源构成图 的节点集合 , 数据源在城市空间中的关联关系构成图 的边集合 ，由此体现数据源之间的空间关联性；数据源在不同时刻的历史数据不同，将其在时刻的历史数据记作 ，则一个的集合就能够体现该数据源的时间关联性；
8、利用数据源和图完成对多尺度单模态数据进行跨模态复杂网络建模，构建时空耦合关系图，实现为：沿着图中的相连边，读取每对相邻节点，定义 为一个节点的交通流特征, 为另一个节点的交通流特征，所述交通流特征指人流、车流在不同条件下变化规律及其相互关系的定量， 为滑动时间窗口；在取足够短的情况下，图中同一时刻内相邻节点之间的同类行为状态被认为是线性关联的，使用皮尔逊相关系数定义相邻节点的关系，计算相邻节点之间的交通流特征的皮尔逊相关性，并对相关性取绝对值，基于得到的相关性，通过阈值高斯核函数构造时空耦合关系图，计算并得到时空耦合关系图的邻接矩阵，该邻接矩阵随着滑动时间窗口 的移动随时间动态变化。
9、特别地，所述基于多时空尺度耦合的数据增强步骤中，所述特征融合网络系统包含图卷积神经网络（gcn）模块、双向长短期记忆神经网络（bilstm）模块、特征融合模块以及自编码网络模块；
10、先由图卷积神经网络模块提取时空耦合关系图中的拓扑关系，得到每个人-车-物移动行为与其它人-车-物移动行为之间的空间依赖性，根据所述空间依赖性生成人-车-物移动行为的空间特征；
11、再由双向长短期记忆神经网络提取时空耦合关系图中的时序关系，得到每个人-车-物移动行为与其它人-车-物移动行为的时间依赖性，根据所述时间依赖性生成人-车-物移动行为的时序特征；
12、之后，特征融合模块融合每个人-车-物移动行为的空间特征和时序特征，得到融合后的跨模态特征；
13、将融合后的跨模态特征和原始的人-车-物的移动行为在时间上和空间上的多尺度单模态数据按序列形式输入到自编码网络模块中；
14、在自编码网络模块内的编码器和解码器之间的神经网络层中插入时间和空间的注意力层，实现注意力机制，该注意力机制根据输入序列的数据及其上下文数据，计算强时空相关性数据的注意力权重，判断缺失数据位置，对所述本文档来自技高网...
【技术保护点】
1.一种风险扰动下的多尺度跨模态数据增强方法，其特征在于：包括基于多时空尺度耦合的数据增强步骤和基于跨模态关联网络的数据代偿步骤，其中：
2.根据权利要求1所述的一种风险扰动下的多尺度跨模态数据增强方法，其特征在于：所述基于多时空尺度耦合的数据增强步骤中，对所述多尺度单模态数据进行建模，构建时空耦合关系图实现如下：
3.根据权利要求1所述的一种风险扰动下的多尺度跨模态数据增强方法，其特征在于：所述基于多时空尺度耦合的数据增强步骤中，所述特征融合网络系统包含图卷积神经网络模块、双向长短期记忆神经网络模块、特征融合模块以及自编码网络模块；
4.根据权利要求1所述的一种风险扰动下的多尺度跨模态数据增强方法，其特征在于：所述跨模态关联网络的数据代偿步骤中，所述特征对齐技术采用基于无监督的显示跨模态特征对齐技术，实现为：采用无监督方法，使用基于动态贝叶斯网络的显式对齐算法处理跨模态数据，实现跨模态数据的特征对齐；所述基于动态贝叶斯网络的显式对齐算法利用组成动态贝叶斯网络的多个时间片存储跨模态数据，再利用贝叶斯网络的联合概率，自动得到当前时间片状态的条件概
5.根据权利要求1所述的一种风险扰动下的多尺度跨模态数据增强方法，其特征在于：所述跨模态关联网络的数据代偿步骤中，所述特征迁移技术实现为：
6.根据权利要求1所述的一种风险扰动下的多尺度跨模态数据增强方法，其特征在于：所述跨模态关联网络的数据代偿步骤中，基于图融合的跨模态特征构建技术为：
7.一种风险扰动下的多尺度跨模态数据增强系统，其特征在于：包括基于多时空尺度耦合的数据增强模块和基于跨模态关联网络的数据代偿模块，其中：
8.一种电子设备，其特征在于，包括处理器和存储器，其中：
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序执行时，实现权利要求1-6中任意之一所述的方法，或权利要求7所述的系统。
...【技术特征摘要】
1.一种风险扰动下的多尺度跨模态数据增强方法，其特征在于：包括基于多时空尺度耦合的数据增强步骤和基于跨模态关联网络的数据代偿步骤，其中：
2.根据权利要求1所述的一种风险扰动下的多尺度跨模态数据增强方法，其特征在于：所述基于多时空尺度耦合的数据增强步骤中，对所述多尺度单模态数据进行建模，构建时空耦合关系图实现如下：
3.根据权利要求1所述的一种风险扰动下的多尺度跨模态数据增强方法，其特征在于：所述基于多时空尺度耦合的数据增强步骤中，所述特征融合网络系统包含图卷积神经网络模块、双向长短期记忆神经网络模块、特征融合模块以及自编码网络模块；
4.根据权利要求1所述的一种风险扰动下的多尺度跨模态数据增强方法，其特征在于：所述跨模态关联网络的数据代偿步骤中，所述特征对齐技术采用基于无监督的显示跨模态特征对齐技术，实现为：采用无监督方法，使用基于动态贝叶斯网络的显式对齐算法处理跨模态数据，实现跨模态数据的特征对齐；所述基于动态...
【专利技术属性】
技术研发人员：盛浩，张德法，沈嘉浩，王帅，杨大智，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。