城市区域人流实时监测计算方法技术

本发明专利技术公开了一种城市区域人流实时监测计算方法，将获取的城市任意区域边界信息分为生产端、消费端、任务补录，其中：生产端，主要实现时空信息数据实时接入功能，完成数据清洗，判断数据质量，对高质量数据实时生成排期，对低质量数据提取特征生成中间表，存储到数据缓存池；消费端，读取缓存池数据，判断数据质量，对高质量数据实时生成排期，根据排期标记的各任务状态、执行顺序、重启次数，进行任务调度，任务调度主要包括计算任务和预测任务；任务补录，读取离线数据，判断数据质量，计算区域人流情况。解决了基于时空大数据的千万级运动对象实时计算问题，具有高度灵活的流式时间窗口、高吞吐量等优势，计算结果更准确，支持离线补录结果。录结果。录结果。

【技术实现步骤摘要】
城市区域人流实时监测计算方法


[0001]本专利技术属于计算机
，涉及利用大数据技术来监测城市区域人流的计算，特别涉及一种城市区域人流实时监测计算方法。

技术介绍

[0002]大数据技术带来了数据与信息处理方式的根本性变革，城市管理应走向“智慧治理”模式，它强调以大数据为代表的知识与技术的广泛性应用，为国家与政府应对城市管理事务时提供数据支撑，提高事务处理的事先预测力、事中掌控力、事后监测力。在城市人群聚集度高的公共场所中，如：景区、商场、体育馆、会场等，实时掌握区域人流情况，预测未来人流趋势，为政府部门相关工作提供及时、有效地支撑。
[0003]当前，大数据实时计算方法主要强调消费及时性，但是，从业务角度出发，更要考虑计算结果的准确性，考虑如何更真实的反映现实情况。由于管控等需实时或准实时推送的业务依赖于数据推送质量，而数据由于本身不完全连续性及前端环节处理的延迟性，需要设计方法弥补数据不完整带来的业务服务结果不准确问题。

技术实现思路

[0004]针对现有技术中存在的缺陷或不足，本专利技术的目的在于，提供一种城市区域人流实时监测计算方法。
[0005]为了实现上述任务，本专利技术采用以下的技术解决方案：
[0006]一种城市区域人流实时监测计算方法，其特征在于，该方法将获取的城市任意区域边界信息分为生产端、消费端、任务补录，其中：
[0007]生产端，主要实现时空信息数据实时接入功能，完成数据清洗，判断数据质量，对高质量数据实时生成排期，对低质量数据提取特征生成中间表，存储到数据缓存池；
[0008]消费端，读取缓存池数据，判断数据质量，对高质量数据实时生成排期，根据排期标记的各任务状态、执行顺序、重启次数，进行任务调度，任务调度主要包括计算任务和预测任务；
[0009]任务补录，读取离线数据，判断数据质量，计算区域人流情况。
[0010]根据本专利技术，所述计算区域人流情况分为区域人流实时计算和区域人流预测；其中：
[0011]区域人流实时计算：主要指实时计算区域流入人口数量、流出人口数量、实时人数，计算区域当前人口中常驻人口、路过人口、游客的数量，计算当前人口来源地分布、进入区域方向分布以及离开区域方向分布。其中，关于区域人口数量的定义如图3所示；关于区域当前人口类型的定义如图4所示；关于当前人口来源地计算示意图如图5所示；
[0012]区域人流预测：主要指研究区域历史人流数量变化规律，预测区域未来流入人口数量、流出人口数量、实时人数。
[0013]进一步地，在区域人流实时计算中，考虑到个体行为应该具有时序性、持续性、连
续性，同时个体的行为存在不确定性，根据个体的以上特征建立基于区域内人员运动情况的马尔可夫链动静状态判断模型(如图2所示)；照时间顺序计算个体运动状态，实时分析区域内人流情况；
[0014]对一个个体的在区域内的历史运动状态可以表示为：
[0015]一个随机过程{X
n
,n∈T}，同时对于任意是一个时间粒度t
i
下都满足条件概率P{X
n+1
＝i
n+1
|X0＝i0,X1＝i1,
…
,X
n
＝i
n
}＝P{X
n+1
＝i
n+1
|X
n
＝i
n
}的状态转移过程，该过程可以完成根据历史的运动状态来判断现在与将来时刻个体动静情况，从而来判断个体是否离开区域。
[0016]具体地，所述生产端实现时空信息数据实时接入功能，还包含如下步骤：
[0017]1)为了解决在大数据背景下的数据的完整性和及时性，同时满足是计算要求，提出了基于spark的amc的任务调度机制与任务排期算法及缓冲池机制，用来作用与spark流实时任务的生产端的数据质量判断和任务调度的初始化；
[0018]2)基于大数据平台的实时计算框架的实时性都会存在一个最小更新时间粒度t
i
，当前时间粒度下内预期接收到的数据量实际接收数据量为了度量数据质量r
i
，建立缓冲池R，生成排期调度序列数组将数组中的值等于
‑
999；
[0019]中数字代表的意义为：
[0020]就绪状态；等待状态；完成状态；重发状态；
[0021]数据评判与任务调度机制算法为：
[0022][0023]3)完成了数据质量r
i
判断和任务调度中对于排期算法的初始化，在此保证数据的完整性和及时性的要求。
[0024]优选地，所述消费端读取缓存池数据，判断数据质量，对高质量数据实时生成排期，还包含如下步骤：
[0025]1)对于数据暂时没有达到要求部分数据，连同当前接入的数据合并，进行计算和排期调度算法设计：对数据按时间粒度t
i
进行分组存入缓存池R中；此时调度序列处于阻塞状态即：等待状态，记在缓存池中R中按t
i
进行分组的数据集对缓冲池中数据与当前数据流中进行合并有如下关于缓冲池的调度算法：
[0026][0027]2)对于调度序列当执行spark任务，其他的情况进行等待或重发；将整套任务调度机制算法，同时也完成对数据补录工作，最后封装成为amc任务调度方案自动运行的spark环境中；
[0028]3)如果当前调度任务中处于状态时，实时接入预测任务；在上述调度机制保证下，对实时下发数据的数据质量、数据连续性都得到充足的保证，使得实时计算人流数量的准确性和及时性都有充足的保障。
[0029]进一步优选地，所述区域人流实时计算还包括：
[0030]1)建立个体画像，计算人多方面标签，具体包括：白天常驻地、夜间常驻地、来源地；其中：
[0031]白天常驻地：对个体白天时序行为抽取运动状态，分析每个人的停留位置及时长，连续统计一段时间，分析出个体白天常驻地；
[0032]夜间常驻地：对个体夜间时序行为抽取运动状态，分析每个体夜间常驻地；来源地，根据用户历史通话记录计算得到其来源地，来源地可能是其家乡、主要业务往来地；
[0033]2)在实时任务计算中，考虑到个体行为应该具有时序性、持续性、连续性，对区域中每一个人建立马尔可夫模型，按照时间顺序计算个体状态，实时分析区域内人流情况；
[0034]3)实时计算区域流入人口数量、流出人口数量、实时人数；
[0035]4)计算区域当前人口中常驻人口、路过人口、游客的数量，计算当前人口来源地分布、进入区域方向分布以及离开区域方向分布。
[0036]所述区域人流预测还包括：
[0037]1)根据区域历史人流的时空数据，利用深度神经网络中长短期记忆网络算法，实现基于区域人口流量的历史数据，按时间生成时间序列X
k
＝{x1,x2,x3,
…
,x
k
}作为输入，构本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种城市区域人流实时监测计算方法，其特征在于，该方法将获取的城市任意区域边界信息分为生产端、消费端、任务补录，其中：生产端，主要实现时空信息数据实时接入功能，完成数据清洗，判断数据质量，对高质量数据实时生成排期，对低质量数据提取特征生成中间表，存储到数据缓存池；消费端，读取缓存池数据，判断数据质量，对高质量数据实时生成排期，根据排期标记的各任务状态、执行顺序、重启次数，进行任务调度，任务调度主要包括计算任务和预测任务；任务补录，读取离线数据，判断数据质量，计算区域人流情况。2.如权利要求1所述的方法，其特征在于，所述计算区域人流情况分为区域人流实时计算和区域人流预测；其中：区域人流实时计算：主要指实时计算区域流入人口数量、流出人口数量、实时人数，计算区域当前人口中常驻人口、路过人口、游客的数量，计算当前人口来源地分布、进入区域方向分布以及离开区域方向分布；区域人流预测：主要指研究区域历史人流数量变化规律，预测区域未来流入人口数量、流出人口数量、实时人数。3.如权利要求2所述的方法，其特征在于，在区域人流实时计算中，考虑到个体行为应该具有时序性、持续性、连续性，同时个体的行为存在不确定性，根据个体的以上特征建立基于区域内人员运动情况的马尔可夫链动静状态判断模型；照时间顺序计算个体运动状态，实时分析区域内人流情况；对一个个体的在区域内的历史运动状态可以表示为：一个随机过程{X
n
,n∈T}，同时对于任意是一个时间粒度t
i
下都满足条件概率P{X
n+1
＝i
n+1
|X0＝i0,X1＝i1,
…
,X
n
＝i
n
}＝P{X
n+1
＝i
n+1
|X
n
＝i
n
}的状态转移过程，该过程可以完成根据历史的运动状态来判断现在与将来时刻个体动静情况，从而来判断个体是否离开区域。4.如权利要求2所述的方法，其特征在于，所述生产端实现时空信息数据实时接入功能，还包含如下步骤：1)为了解决在大数据背景下的数据的完整性和及时性，同时满足是计算要求，提出了基于spark的amc的任务调度机制与任务排期算法及缓冲池机制，用来作用与spark流实时任务的生产端的数据质量判断和任务调度的初始化；2)基于大数据平台的实时计算框架的实时性都会存在一个最小更新时间粒度t
i
，当前时间粒度下内预期接收到的数据量实际接收数据量为了度量数据质量r
i
，建立缓冲池R，生成排期调度序列数组将数组中的值等于
‑
999；中数字代表的意义为：就绪状态；等待状态；完成状态；重发状态；数据评判与任务调度机制算法为：
3)完成了数据质量r
i
判断和任务调度中对于排期算法的初始化，在此保证数据的完整性和及时性的要求。5.如权利要求1所述的方法，其特征在于，所述消费端读取缓存池数据，判断数据质量，对高质量数据实时生成排期，还包含如下步骤：1)对于数据暂时没有达到要求部分数据，连同当前接入的数据合并，进行计算和排期调度算法设计：对数据按时间粒度t
i
进行分组存入缓存池R中；此时调度序列处于阻塞状态即：等待状态，记在缓存池中R中按t
i
进行分组的数据集对缓冲池中数据与当前数据流中进行合并有如下关于缓冲池的调度算法：2)对于调度序列当执行spark任务，其他的情况进行等待或重发；将整套任务调度机制算法，同时也完成对数据补录工作，最后封装成为amc任务调度方案自动运行的spark环境中；3)如果当前调度任务中处于状态时，实时接入预测任务；在上述调度机制保证下，对实时下发数据的数据质量、数据连续性都得到充足的保证，使得实时计算人流数量的准确性和及时性都有充足的保障。6.如权利要求1所述的方法，其...

【专利技术属性】
技术研发人员：程鹏飞，何芳，徐承会，刘明，张翔，刘敏，
申请(专利权)人：西安九索数据技术股份有限公司，
类型：发明
国别省市：