基于HadoopMapReduce的智慧城市大数据分析及系统技术方案

本发明专利技术提供一种基于Hadoop MapReduce的智慧城市大数据分析及系统，方法包括：获取入库易涝点的历史降雨量数据和历史积涝深度数据；基于MapReduce分布式计算框架对历史降雨量数据和历史积涝深度数据进行处理，并根据处理结果确定入库易涝点的降雨量与积涝深度的对应关系。本发明专利技术借助MapReduce强大的分布式计算网络来从历史降雨量数据和历史积涝深度数据当中快速提取有效关键信息，并从处理结果当中确定入库易涝点的降雨量与积涝深度的对应关系，从而可以针对该对应关系来对入库易涝点未来是否发生内涝、以及发生内涝程度进行有效预测，并能够给用户提供可靠的定制化的入库易涝点是否建议通过的推送信息。易涝点是否建议通过的推送信息。易涝点是否建议通过的推送信息。

【技术实现步骤摘要】
基于Hadoop MapReduce的智慧城市大数据分析及系统


[0001]本专利技术涉及智慧城市大数据
，特别涉及一种基于Hadoop MapReduce的智慧城市大数据分析及系统。

技术介绍

[0002]智慧城市起源于传媒领域，是指在城市规划、设计、建设、管理与运营等领域中，通过物联网、云计算、大数据、空间地理信息集成等智能计算技术的应用，使得城市管理、教育、医疗、房地产、交通运输、公用事业和公众安全等城市组成的关键基础设施组件和服务更互联、高效和智能，从而为市民提供更美好的生活和工作服务、为企业创造更有利的商业发展环境、为政府赋能更高效的运营与管理机制。
[0003]城市内涝一直是当下无法避免的一种城市现象，城市内涝是指由于强降水或连续性降水超过城市排水能力致使城市内产生积水灾害的现象，而容易发生内涝的地点称之为易涝点，城市内涝现象无疑会对市民生活特别是交通出行造成不可避免的影响。
[0004]现有技术当中，在目前智慧城市大数据方面，已经能够做到将城市当中的所有易涝点进行掌握，但是即便是将所有易涝点位置面向公众进行公布，由于无法对易涝点未来是否发生内涝、以及发生内涝程度进行有效预测，依然无法成功帮助市民在出行时避开内涝点，经常出现市民驾驶车辆已经到达易涝点才发现已经出现内涝现象，导致交通受阻，部分市民强行驾车通过还容易导致车辆发生涉水事故。同时目前也有通过视频监控来识别内涝的研究，但是这种技术还不成熟，并且这种研究的目的也是对已经发生的内涝现象进行图像识别，也无法做到预测效果。
专利
技术实现思路

[0005]基于此，本专利技术的目的是提供一种基于Hadoop MapReduce的智慧城市大数据分析及系统，以解决
技术介绍
当中的至少一技术问题。
[0006]根据本专利技术实施例的一种基于Hadoop MapReduce的智慧城市大数据分析方法，所述方法包括：
[0007]获取入库易涝点的历史降雨量数据和历史积涝深度数据，所述历史降雨量数据和所述历史积涝深度数据在时间维度上对应；
[0008]基于Hadoop的MapReduce分布式计算框架对所述入库易涝点的历史降雨量数据和历史积涝深度数据进行处理，并根据处理结果确定所述入库易涝点的降雨量与积涝深度的对应关系；
[0009]当预测到目标车辆会经过所述入库易涝点时，获取所述目标车辆的底盘高度信息以及所述入库易涝点在所述目标车辆到达所述入库易涝点的过程当中的目标降雨量；
[0010]根据所述目标降雨量和所述降雨量与积涝深度的对应关系，确定积涝上涨深度，并根据所述积涝上涨深度和所述入库易涝点的当前积涝深度，确定所述目标车辆到达所述入库易涝点时的所述入库易涝点的目标积涝深度；
[0011]根据所述目标积涝深度以及所述入库易涝点的预设路面信息，确定所述目标车辆到达所述入库易涝点时的所述入库易涝点的每条车道的车道积涝深度；
[0012]根据所述目标车辆的底盘高度信息以及所述入库易涝点的每条车道的车道积涝深度，向所述目标车辆发出是否可以通过所述入库易涝点的推送信息。
[0013]另外，根据本专利技术上述实施例的一种基于Hadoop MapReduce的智慧城市大数据分析方法，还可以具有如下附加的技术特征：
[0014]进一步地，基于Hadoop的MapReduce分布式计算框架对所述入库易涝点的历史降雨量数据和历史积涝深度数据进行处理的步骤包括：
[0015]将所述入库易涝点的历史降雨量数据和历史积涝深度数据提交到Hadoop的HDFS上，并按小时为单位对所述入库易涝点的历史降雨量数据和历史积涝深度数据进行切分，得到若干历史小时降雨量数据和若干历史小时积涝深度数据；
[0016]通过MapReduce分布式计算框架的多个Map函数分别对每个所述历史小时降雨量数据和每个所述历史小时积涝深度数据进行Map作业，其中所述历史小时降雨量数据Map作业后输出由时间和小时降雨量组成的中间键值对，所述历史小时积涝深度数据通过Map函数作业后输出由时间和小时积涝深度组成的中间键值对；
[0017]通过MapReduce分布式计算框架的Shuffle函数对Map作业后得到的若干中间键值对按预设规则进行转换，并通过MapReduce分布式计算框架的Reduce函数对转换后的中间键值对进行处理，输出由小时降雨量和小时积涝深度组成的目标键值对。
[0018]进一步地，根据处理结果确定所述入库易涝点的降雨量与积涝深度的对应关系的步骤包括：
[0019]以小时降雨量为横坐标、小时积涝深度为纵坐标，将处理得到的若干所述目标键值对映射到预设坐标系当中，以在所述预设坐标系当中得到若干目标坐标点；
[0020]对所述若干目标坐标点进行曲线拟合，得到所述入库易涝点的降雨量与积涝深度的对应关系。
[0021]进一步地，通过MapReduce分布式计算框架的Shuffle函数对Map作业后得到的若干中间键值对按预设规则进行转换，并通过MapReduce分布式计算框架的Reduce函数对转换后的中间键值对进行处理，输出由小时降雨量和小时积涝深度组成的目标键值对的步骤包括：
[0022]通过MapReduce分布式计算框架的Shuffle函数对Map作业后得到的若干中间键值对按键值相同聚为一组的规则进行转换，得到多个中间键值对组；
[0023]通过MapReduce分布式计算框架的Reduce函数对每个所述中间键值对组进行处理转换，输出由小时降雨量和小时积涝深度组成的目标键值对。
[0024]进一步地，通过MapReduce分布式计算框架的Shuffle函数对Map作业后得到的若干中间键值对按键值相同聚为一组的规则进行转换，得到多个中间键值对组的步骤包括：
[0025]通过MapReduce分布式计算框架的Shuffle函数对Map作业后得到的若干中间键值对按相同时间键值进行一次聚类；
[0026]通过MapReduce分布式计算框架的Shuffle函数对所述一次聚类结果按相同小时降雨量或相同小时积涝深度进行二次聚类，得到多个所述中间键值对组。
[0027]进一步地，通过MapReduce分布式计算框架的Reduce函数对每个所述中间键值对
组进行处理转换，输出由小时降雨量和小时积涝深度组成的目标键值对的步骤包括：
[0028]判断所述中间键值对组当中的中间键值对数量是否大于2；
[0029]若否，通过MapReduce分布式计算框架的Reduce函数将所述中间键值对组当中的时间键值相同的中间键值对进行组成，得到由小时降雨量和小时积涝深度组成的目标键值对；
[0030]若是，则通过MapReduce分布式计算框架的Reduce函数将所述中间键值对组当中的时间键值相同的中间键值对进行一级组合，得到由小时降雨量和小时积涝深度组成的多个一级键值对；
[0031]从所述多个一级键值对当中确定小时降雨量均值和小时积涝深度均值，并根据所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Hadoop MapReduce的智慧城市大数据分析方法，其特征在于，所述方法包括：获取入库易涝点的历史降雨量数据和历史积涝深度数据，所述历史降雨量数据和所述历史积涝深度数据在时间维度上对应；基于Hadoop的MapReduce分布式计算框架对所述入库易涝点的历史降雨量数据和历史积涝深度数据进行处理，并根据处理结果确定所述入库易涝点的降雨量与积涝深度的对应关系；当预测到目标车辆会经过所述入库易涝点时，获取所述目标车辆的底盘高度信息以及所述入库易涝点在所述目标车辆到达所述入库易涝点的过程当中的目标降雨量；根据所述目标降雨量和所述降雨量与积涝深度的对应关系，确定积涝上涨深度，并根据所述积涝上涨深度和所述入库易涝点的当前积涝深度，确定所述目标车辆到达所述入库易涝点时的所述入库易涝点的目标积涝深度；根据所述目标积涝深度以及所述入库易涝点的预设路面信息，确定所述目标车辆到达所述入库易涝点时的所述入库易涝点的每条车道的车道积涝深度；根据所述目标车辆的底盘高度信息以及所述入库易涝点的每条车道的车道积涝深度，向所述目标车辆发出是否可以通过所述入库易涝点的推送信息。2.根据权利要求1所述的基于Hadoop MapReduce的智慧城市大数据分析方法，其特征在于，基于Hadoop的MapReduce分布式计算框架对所述入库易涝点的历史降雨量数据和历史积涝深度数据进行处理的步骤包括：将所述入库易涝点的历史降雨量数据和历史积涝深度数据提交到Hadoop的HDFS上，并按小时为单位对所述入库易涝点的历史降雨量数据和历史积涝深度数据进行切分，得到若干历史小时降雨量数据和若干历史小时积涝深度数据；通过MapReduce分布式计算框架的多个Map函数分别对每个所述历史小时降雨量数据和每个所述历史小时积涝深度数据进行Map作业，其中所述历史小时降雨量数据Map作业后输出由时间和小时降雨量组成的中间键值对，所述历史小时积涝深度数据通过Map函数作业后输出由时间和小时积涝深度组成的中间键值对；通过MapReduce分布式计算框架的Shuffle函数对Map作业后得到的若干中间键值对按预设规则进行转换，并通过MapReduce分布式计算框架的Reduce函数对转换后的中间键值对进行处理，输出由小时降雨量和小时积涝深度组成的目标键值对。3.根据权利要求2所述的基于Hadoop MapReduce的智慧城市大数据分析方法，其特征在于，根据处理结果确定所述入库易涝点的降雨量与积涝深度的对应关系的步骤包括：以小时降雨量为横坐标、小时积涝深度为纵坐标，将处理得到的若干所述目标键值对映射到预设坐标系当中，以在所述预设坐标系当中得到若干目标坐标点；对所述若干目标坐标点进行曲线拟合，得到所述入库易涝点的降雨量与积涝深度的对应关系。4.根据权利要求2所述的基于Hadoop MapReduce的智慧城市大数据分析方法，其特征在于，通过MapReduce分布式计算框架的Shuffle函数对Map作业后得到的若干中间键值对按预设规则进行转换，并通过MapReduce分布式计算框架的Reduce函数对转换后的中间键值对进行处理，输出由小时降雨量和小时积涝深度组成的目标键值对的步骤包括：
通过MapReduce分布式计算框架的Shuffle函数对Map作业后得到的若干中间键值对按键值相同聚为一组的规则进行转换，得到多个中间键值对组；通过MapReduce分布式计算框架的Reduce函数对每个所述中间键值对组进行处理转换，输出由小时降雨量和小时积涝深度组成的目标键值对。5.根据权利要求4所述的基于Hadoop MapReduce的智慧城市大数据分析方法，其特征在于，通过MapReduce分布式计算框架的Shuffle函数对Map作业后得到的若干中间键值对按键值相同聚为一组的规则进行转换，得到多个中间键值对组的步骤包括：通过MapReduce分布式计算框架的Shuffle函数对Map作业后得到的若干中间键值对按相同时间键值进行一次聚类；通过MapReduce分布式计算框架的Shuffle函数对所述一次聚类结果按...

【专利技术属性】
技术研发人员：秦辉，纪良文，姜涛，黄伟，邓丁华，
申请(专利权)人：上饶高投智城科技有限公司，
类型：发明
国别省市：