一种室内空间温度和湿度调控方法及系统技术方案

本发明专利技术提供一种室内空间温度和湿度调控方法及系统，以温湿度状态参数作为状态空间，以恒温恒湿机出风口风速档位作为动作空间，通过在源空间训练预训练得到源域深度强化学习模型；在目标空间中，每个执行器与其周边设定范围内的温湿度传感器构成局部控制组件，每个局部控制组件由独立的目标域智能体控制，每个目标智能体分别迁移学习源域深度强化学习模型进行参数微调和控制，以目标空间所有温湿度传感器采集的温度值和湿度值共同计算目标空间观测奖励值，以最大化未来多步目标空间观测奖励值为目标分别对各目标域智能体的源域深度强化学习模型进行训练，以快速适应对目标空间环境对温湿度的实现精准控制。间环境对温湿度的实现精准控制。间环境对温湿度的实现精准控制。

【技术实现步骤摘要】
一种室内空间温度和湿度调控方法及系统


[0001]本专利技术涉及电子设备控制
，尤其涉及一种室内空间温度和湿度调控方法及系统。

技术介绍

[0002]室内温湿度的状态对室内的居住人员的舒适度有极大的影响，在一些特定环境中，如博物馆、高端数控机床等对室内的温湿度的要求更为严格，精准均匀的温湿度分布更利于文物的保存与精密零部件的加工生产。因此，对室内温湿度控制进行研究具有很大意义。基于传统的控制方法监测范围有限，易造成室内温湿度分布不均匀的问题。目前，大多数的室内温湿度的方法没有将室内温湿度的精准度以及均匀度结合进行考虑，而主要针对于室内整体的舒适效果，忽略了环境内局部的分布情况。基于AI的室内温湿度技术也在不断被研究，如基于预测的控制，基于深度强化学习控制等。然而当应用场景发生变化时，已训练的控制模型不仅不一定适用于新的应用场景，甚至可能出现控制效果更差的情况。而在新的场景中训练新的控制模型需要耗费大量的时间和计算资源。
[0003]现在随着科技发展，各行业对温湿度的环境要求不断提高，研究人员也提出了一系列调控方法。如采用气液分离的冷冻除湿机系统和保障建筑空间的空气正压的溶液除湿新风机来实现室内环境的温湿度控制。然而传统的温湿度控制过度依赖人力，在低效率的同时控制精度不高。基于机器学习的室内温湿度自动控制系统具有较高的智能性和实用性，能够在无人值守的情况下完成对于温湿度的自动控制。然而现有方法对于房间的具体环境依赖性较大，需要针对每个房间进行单独训练与控制，算法对房间的传感和风口设施要求较高，难以做到快速大量地部署实践应用。

技术实现思路

[0004]鉴于此，本专利技术实施例提供了一种室内空间温度和湿度调控方法及系统，以消除或改善现有技术中存在的一个或更多个缺陷，解决人工智能模型受环境影响，无法快速高效部署在新环境中进行室内温湿度控制的问题。
[0005]一个方面，本专利技术提供一种室内空间温度和湿度调控方法，所述方法用于在目标空间的中心控制器上运行，所述中心控制器连接云端服务器，所述中心控制器通过物联网连接所述目标空间内的多个温湿度传感器和多个执行器，所述执行器为恒温恒湿机的出风口，每个执行器与其周边设定范围内的温湿度传感器构成局部控制组件，所述中心控制器上运行多个目标域智能体，每个目标域智能体用于控制目标空间内一个局部控制组件，该方法包括以下步骤：
[0006]从所述云端服务器上获取基于源空间预训练得到的源域深度强化学习模型，所述源域深度强化学习模型以源空间内多个温湿度传感器按照指定间隔时间采集的温度值和湿度值作为状态参数构成源空间状态空间，源空间内以源空间设定湿度和源空间设定温度运行的各执行器的风速档位作为动作参数构成源空间动作空间；根据所述状态参数计算源
空间观测奖励值；所述源域深度强化学习模型以最大化未来多步源空间观测奖励值之和为优化目标对所述初始强化学习模型进行训练和参数更新直至收敛得到。
[0007]将所述源域深度强化学习模型迁移分发至目标空间内的各目标域智能体，在深度强化学习过程中，每个目标域智能体以其控制的局部控制组件中多个温湿度传感器按照指定间隔时间采集的温度值和湿度值作为状态参数构成目标域局部状态空间，以目标空间设定湿度和目标空间设定温度运行的各执行器的风速档位作为动作参数构成目标域局部动作空间；计算目标空间内所有温湿度传感器的实际湿度值与所述目标空间设定湿度的第一湿度精度偏差，以及各实际湿度值之间的第一湿度均匀度偏差；计算目标空间内所有温湿度传感器的实际温度值与所述目标空间设定温度的第一温度精度偏差，以及各实际温度值之间的第一温度均匀度偏差；根据每个时间步对应的所述第一湿度精度偏差、所述第一湿度均匀度偏差、所述第一温度精度偏差和所述第一温度均匀度偏差计算目标空间观测奖励值；每个目标域智能体以最大化未来多步目标空间观测奖励值之和优化目标对所述源域深度强化学习模型进行训练和参数更新直至收敛。
[0008]在一些实施例中，所述源域深度强化学习模型的训练步骤包括：
[0009]获取源空间内多个温湿度传感器按照指定间隔时间采集的温度值和湿度值作为状态参数，以源空间作为整体构成整体状态空间；
[0010]获取源空间内以所述源空间设定湿度和所述源空间设定温度运行的各执行器的风速档位作为动作参数，构建整体动作空间；
[0011]计算源空间内所有湿度传感器的实际湿度值与所述源空间设定湿度的第二湿度精度偏差，以及各实际湿度值之间的第二湿度均匀度偏差；计算源空间内所有温度传感器的实际温度值与所述源空间设定温度的第二温度精度偏差，以及各实际温度值之间的第二温度均匀度偏差；
[0012]根据每个时间步对应的所述第二湿度精度偏差、所述第二湿度均匀度偏差、所述第二温度精度偏差和所述第二温度均匀度偏差计算源空间观测奖励值；
[0013]以最大化未来多步源空间观测奖励值之和为优化目标对所述初始强化学习模型进行训练和参数更新直至收敛，得到所述源域深度强化学习模型。
[0014]在一些实施例中，所述源域深度强化学习模型的训练步骤包括：
[0015]将所述源域深度强化学习模型分别发送至多个源域智能体，每个源域智能体用于控制一个执行器及其周边设定范围内的温湿度传感器；每个源域智能体以其控制的多个温湿度传感器按照指定间隔时间采集的温度值和湿度值作为状态参数构成源域局部状态空间；
[0016]每个源域智能体以其控制的执行器的风速档位作为动作参数构成源域局部动作空间；
[0017]计算源空间内所有温湿度传感器的实际湿度值与所述源空间设定湿度的第三湿度精度偏差，以及各实际湿度值之间的第三湿度均匀度偏差；计算源空间内所有温湿度传感器的实际温度值与所述源空间设定温度的第三温度精度偏差，以及各实际温度值之间的第三温度均匀度偏差；
[0018]根据每个时间步对应的所述第三湿度精度偏差、所述第三湿度均匀度偏差、所述第三温度精度偏差和所述第三温度均匀度偏差计算源空间观测奖励值；
[0019]每个源域智能体端到端地获取整个源空间的源空间观测奖励值，以最大化未来多步源空间观测奖励值之和为优化目标对每个源域智能体的初始强化学习模型进行训练和参数更新直至收敛，并将各源域智能体更新后的模型参数进行聚合，得到所述源域深度强化学习模型。
[0020]在一些实施例中，将各源域智能体更新后的模型参数进行聚合，包括：将各源域智能体更新后的参数按照设定权重融合，得到源域深度强化学习模型的参数。
[0021]在一些实施例中，计算目标空间内所有温湿度传感器的实际湿度值与所述目标空间设定湿度的第一湿度精度偏差，以及各实际湿度值之间的第一湿度均匀度偏差，其中，所述第一湿度精度偏差的计算式为：
[0022][0023]H
sc
表示所述第一湿度精度偏差，表示第i个温湿度传感器在t时刻检测到的湿度，H
set
表示目标空间设定湿度，β表示温湿度传感器数量；
[0024]所述第一湿度均匀度偏差的计算式为：
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种室内空间温度和湿度调控方法，其特征在于，所述方法用于在目标空间的中心控制器上运行，所述中心控制器连接云端服务器，所述中心控制器通过物联网连接所述目标空间内的多个温湿度传感器和多个执行器，所述执行器为恒温恒湿机的出风口，每个执行器与其周边设定范围内的温湿度传感器构成局部控制组件，所述中心控制器上运行多个目标域智能体，每个目标域智能体用于控制目标空间内一个局部控制组件，该方法包括以下步骤：从所述云端服务器上获取基于源空间预训练得到的源域深度强化学习模型，所述源域深度强化学习模型以源空间内多个温湿度传感器按照指定间隔时间采集的温度值和湿度值作为状态参数构成源空间状态空间，源空间内以源空间设定湿度和源空间设定温度运行的各执行器的风速档位作为动作参数构成源空间动作空间；根据所述状态参数计算源空间观测奖励值；所述源域深度强化学习模型以最大化未来多步源空间观测奖励值之和为优化目标对所述初始强化学习模型进行训练和参数更新直至收敛得到；将所述源域深度强化学习模型迁移分发至目标空间内的各目标域智能体，在深度强化学习过程中，每个目标域智能体以其控制的局部控制组件中多个温湿度传感器按照指定间隔时间采集的温度值和湿度值作为状态参数构成目标域局部状态空间，以目标空间设定湿度和目标空间设定温度运行的各执行器的风速档位作为动作参数构成目标域局部动作空间；计算目标空间内所有温湿度传感器的实际湿度值与所述目标空间设定湿度的第一湿度精度偏差，以及各实际湿度值之间的第一湿度均匀度偏差；计算目标空间内所有温湿度传感器的实际温度值与所述目标空间设定温度的第一温度精度偏差，以及各实际温度值之间的第一温度均匀度偏差；根据每个时间步对应的所述第一湿度精度偏差、所述第一湿度均匀度偏差、所述第一温度精度偏差和所述第一温度均匀度偏差计算目标空间观测奖励值；每个目标域智能体以最大化未来多步目标空间观测奖励值之和优化目标对所述源域深度强化学习模型进行训练和参数更新直至收敛。2.根据权利要求1所述的室内空间温度和湿度调控方法，其特征在于，所述源域深度强化学习模型的训练步骤包括：获取源空间内多个温湿度传感器按照指定间隔时间采集的温度值和湿度值作为状态参数，以源空间作为整体构成整体状态空间；获取源空间内以所述源空间设定湿度和所述源空间设定温度运行的各执行器的风速档位作为动作参数，构建整体动作空间；计算源空间内所有湿度传感器的实际湿度值与所述源空间设定湿度的第二湿度精度偏差，以及各实际湿度值之间的第二湿度均匀度偏差；计算源空间内所有温度传感器的实际温度值与所述源空间设定温度的第二温度精度偏差，以及各实际温度值之间的第二温度均匀度偏差；根据每个时间步对应的所述第二湿度精度偏差、所述第二湿度均匀度偏差、所述第二温度精度偏差和所述第二温度均匀度偏差计算源空间观测奖励值；以最大化未来多步源空间观测奖励值之和为优化目标对所述初始强化学习模型进行训练和参数更新直至收敛，得到所述源域深度强化学习模型。3.根据权利要求1所述的室内空间温度和湿度调控方法，其特征在于，所述源域深度强化学习模型的训练步骤包括：
将所述初始强化学习模型分别发送至多个源域智能体，每个源域智能体用于控制一个执行器及其周边设定范围内的温湿度传感器；每个源域智能体以其控制的多个温湿度传感器按照指定间隔时间采集的温度值和湿度值作为状态参数构成源域局部状态空间；每个源域智能体以其控制的执行器的风速档位作为动作参数构成源域局部动作空间；计算源空间内所有温湿度传感器的实际湿度值与所述源空间设定湿度的第三湿度精度偏差，以及各实际湿度值之间的第三湿度均匀度偏差；计算源空间内所有温湿度传感器的实际温度值与所述源空间设定温度的第三温度精度偏差，以及各实际温度值之间的第三温度均匀度偏差；根据每个时间步对应的所述第三湿度精度偏差、所述第三湿度均匀度偏差、所述第三温度精度偏差和所述第三温度均匀度偏差计算源空间观测奖励值；每个源域智能体端到端地获取整个源空间的源空间观测奖励值，以最大化未来多步源空间观测奖励值之和为优化目标对每个源域智能体的初始强化学习模型进行训练和参数更新直至收敛，并将各源域智能体更新后的模型参数进行聚合，得到所述源域深度强化学习模型。4.根据权利要求3所述的室内空间温度和湿度调控方法，其特征在于，将各源域智能体更新后的模型参数进行聚合，包括：将各源域智能体更新后的参数按照设定权重融合，得到源域深度强化...

【专利技术属性】
技术研发人员：张勇，孙蕴琪，李怡萱，张修勇，郭达，柴玉昊，柴前进，
申请(专利权)人：北京鹏通高科科技有限公司，
类型：发明
国别省市：