【技术实现步骤摘要】
本专利技术属于智能环境评估/环境行为学评估，具体涉及基于多模态学习的校园绿色空间具身感知评估方法及系统。
技术介绍
1、校园空间感官环境的改善已成为空间品质提升的重要途径，也是环境感知领域的重要研究课题。然而，当前该领域的技术发展存在局限性，一定程度影响了对校园空间环境科学评估的准确性和有效性。
2、一方面，现有的环境评价系统大多采用单模态数据分析模式。这种模式有仅依赖主观问卷来评估个体的心理感受，也有单纯使用心率变异性等生理指标来反映环境压力。然而，这种方法忽略了视听环境特征与多维度心理和生理参数之间的复杂关系。视听环境特征与人的心理反应和生理状态之间存在着密切的关联。目前，缺乏对这种关联的综合分析，导致现有评价系统无法全面、准确地评估空间环境对人的感知影响。
3、另一方面，传统多模态融合方法在处理多源异构数据时存在明显不足。这些方法通常采用简单的特征拼接或加权平均来融合不同模态的数据，未能有效捕捉视听环境时序特征与生理信号动态响应间的非线性关联。这种简单的融合方式忽略了不同模态数据之间的复杂交互关系，导致融合后的数据无法准确反映空间环境对人具身感知的影响。
技术实现思路
1、本专利技术的目的在于提供基于多模态学习的校园绿色空间具身感知评估方法及系统，实现了对校园绿色空间具身感知的全面评估，提高了评估的准确性和科学性，为优化校园空间设计提供了决策支持，以解决上述现有技术问题的至少之一。
2、第一方面，本专利技术提供了基于多模态学习的校园绿色空间
3、获取环境感知数据集、生理响应数据集和心理评估数据集，所述环境感知数据集包括视觉指标量化矩阵和声学时序张量；
4、将所述视觉指标量化矩阵输入至视觉特征编码网络进行处理，将所述声学时序张量输入至听觉特征编码网络进行处理，并将视觉特征编码网络和听觉特征编码网络各自的输出结果输入到视听模态特征融合模块进行融合处理，获得环境联合表征；
5、将所述生理响应数据集和所述心理评估数据集输入至生理心理协同编码器进行处理，获得生理心理联合表征；
6、将所述环境联合表征和所述生理心理联合表征输入至全局融合模块进行深度融合，获得最终融合特征；
7、将所述最终融合特征输入至多任务预测通道进行处理，并结合损失函数训练优化，获得环境舒适度综合评分结果和解释性决策依据。
8、第二方面，本专利技术提供了基于多模态学习的校园绿色空间具身感知评估系统，所述系统具体包括：
9、数据采集模块，用于获取环境感知数据集、生理响应数据集和心理评估数据集，所述环境感知数据集包括视觉指标量化矩阵和声学时序张量；
10、视听处理模块，用于将所述环境感知数据集分别输入至视觉特征编码网络和听觉特征编码网络进行处理，并将视觉特征编码网络和听觉特征编码网络各自的输出结果输入到视听模态特征融合模块进行融合处理，获得环境联合表征；
11、生理心理处理模块，用于将所述生理响应数据集和所述心理评估数据集输入至生理心理协同编码器进行处理，获得生理心理联合表征；
12、全局融合模块，用于将所述环境联合表征和所述生理心理联合表征输入至全局融合模块进行深度融合，获得最终融合特征；
13、评估输出模块，用于将所述最终融合特征输入至多任务预测通道进行处理，并结合损失函数训练优化，获得环境舒适度综合评分结果和解释性决策依据。
14、第三方面，本专利技术提供了一种计算机设备，包括：存储器和处理器及存储在存储器上的计算机程序，当所述计算机程序在处理器上被执行时，实现如上述方法中所述的基于多模态学习的校园绿色空间具身感知评估方法。
15、第四方面，本专利技术提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时，实现如上述方法中所述的基于多模态学习的校园绿色空间具身感知评估方法。
16、与现有技术相比，本专利技术具有以下技术效果的至少之一：
17、1、本专利技术通过整合环境感知、生理响应和心理评估等多模态数据，实现了对校园绿色空间具身感知的全面评估，提高了评估的准确性和科学性，为优化校园空间设计提供了决策支持。
18、2、本专利技术创新性地构建了多模态动态感知与可解释评估体系，在环境舒适度智能评估领域展现出显著技术优势。通过自适应权重分配机制实现环境参数与生理反馈的动态耦合，有效捕捉复杂场景中多源信息的非线性关联特征；多任务联合推理架构突破传统模型的语义解耦瓶颈，同步输出综合评估指数及多维可解释分量，显著提升决策依据的可追溯性；分层归一化融合策略攻克了跨模态特征对齐难题，确保物理环境量化指标与主观感知评价在统一语义空间的高精度映射。该技术体系通过闭环反馈优化，为优化校园空间设计提供智能化的决策支持。
19、3、本专利技术基于双通道神经网络的实时权重分配机制，通过环境物理参数与人体生理指标的协同分析，构建动态特征融合框架。该技术突破传统静态加权模式，采用环境感知置信度与生理反馈敏感度的联合度量机制，实现视听特征与生物信号贡献度的自主调节。在极端环境参数条件下强化物理特征主导性，而在显著生理应激状态时优先考量人体反馈信息，有效平衡环境客观属性与主观感知的交互影响，显著提升复杂场景下的评估鲁棒性。
20、4、本专利技术构建三级注意力驱动的特征交互体系，实现从微观特征匹配到宏观语义关联的渐进式融合。通过细粒度跨模态点积注意力捕捉视觉参数与瞳孔动态的局部关联规律，利用多头交叉注意力建模声学特征与心理评分的非线性映射关系，最终通过门控残差网络实现决策级特征优化。该架构突破传统单尺度融合的局限性，在保留原始数据时空特性的同时消除模态间特征冲突，为多源异构数据的深度协同提供统一表达空间。
21、5、本专利技术设计解耦式联合训练框架，将环境舒适度评估分解为主决策网络与多维度解释网络并行的拓扑结构。通过特征空间解离技术实现视觉贡献度、声学舒适度与生理适应度的独立建模，结合互信息约束机制确保各解释因子的正交性。该体系在保持预测精度的同时，为智慧环境调控提供具有物理可解释性的决策依据。
22、6、本专利技术利用局部特征提取层和lstm时序层，从声学时序张量中提取了多尺度声学特征，并捕获了时间依赖关系，形成了准确的声学嵌入，为环境联合表征的构建提供了重要信息。
23、7、本专利技术通过跨模态transformer编码器和动态权重门控单元，实现了视觉嵌入和声学嵌入的有效融合，形成了包含视听环境信息的环境联合表征，提高了对环境特征的全面理解。
24、8、本专利技术将心理评估数据集和生理响应数据集进行协同编码，形成了包含个体心理和生理状态的生理心理联合表征，为评估环境对人体感知的影响提供了关键依据。
25、9、本专利技术通过膨胀时序卷积层和门控注意力池化层，从生理响应数据集中提取了多尺度生理时序特征，并计算了各时间步的重要性得分，形成了准确的生理状态嵌入。
26、1本文档来自技高网...
【技术保护点】
1.基于多模态学习的校园绿色空间具身感知评估方法，其特征在于，所述方法具体包括：
2.根据权利要求1所述的方法，其特征在于，所述视觉特征编码网络包括第一输入层、第一全连接层、自注意力层和第一输出层；所述将所述视觉指标量化矩阵输入至视觉特征编码网络进行处理，具体包括：
3.根据权利要求2所述的方法，其特征在于，所述听觉特征编码网络包括第二输入层、局部特征提取层、LSTM时序层和第二输出层；所述将所述声学时序张量输入至听觉特征编码网络进行处理，具体包括：
4.根据权利要求3所述的方法，其特征在于，所述视听模态特征融合模块包括跨模态Transformer编码器和动态权重门控单元；所述将视觉特征编码网络和听觉特征编码网络各自的输出结果输入到视听模态特征融合模块进行融合处理，获得环境联合表征，具体包括：
5.根据权利要求1所述的方法，其特征在于，所述生理心理协同编码器包括心理特征投影层、生理时序编码网络和协同注意力融合层；所述将所述生理响应数据集和所述心理评估数据集输入至生理心理协同编码器进行处理，获得生理心理联合表征，具体包括：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。