【技术实现步骤摘要】
本专利技术涉及数据处理，具体来说是一种适用于证券交易监控业务的流式数据业务时间计算方法。
技术介绍
1、证券交易监控算法（以下简称证券监控），作为证券市场监督和管控的核心工具，对于保障市场的公正性和稳定性发挥着至关重要的作用。它主要负责对全市场、账户、证券和跨品种的交易行为进行监控。这些监控活动涉及多个证券市场的多种证券业务（如股票、期权、债券等），每类业务有不同的主题数据（如订单、成交、行情等，以下称为业务主题数据），各业务主题间的数据互相独立。
2、证券监控的业务主题数据来源于多个实时证券交易平台，具备流式数据顺序、大量、快速和连续到达的特点，经过清洗、排序等加工形成唯一且有序的数据，持久化至监控平台，提供给监控算法使用。各业务主题的实时交易数据携带产品、账户、交易量、交易时间等信息，以产品划分为多个独立的数据区域向下游传输，即数据通道{di|i∈[1, n]}。监控平台对接上游所有主题的数据通道，按时间、交易编号进行排序，确保每个通道数据以严格有序的方式进行持久化。
3、证券监控具有时效性、周期执行的特点。证券监控结合周期性自然时间，形成证券监控实例（以下简称监控实例），监控平台以特定周期调度监控实例执行，即以自然时间驱动算法运行，计算指定自然时间范围的数据，并要求尽快得到分析结果。证券监控从监控对象角度可分为产品监控和账户监控，产品监控针对分布在多个业务主题通道的产品交易数据{ seci|i∈[1, n]}进行分析，由于通道间产品独立，仅单通道数据便可进行监控，即自然时间到达监控运行时刻立即触发执
4、由于业务数据分布在不同的通道，且每个通道在数据量、传输延迟和持久化时延等方面存在差异，导致证券账户监控在运行时刻的数据很难在同一自然时间点完全就绪，影响账户监控结果的准确性。
5、为了解决这个问题，证券监控需引入适用于证券流式业务数据的业务时间，即根据业务主题所有通道计算已就绪的最新数据时间，确保监控运行时刻依赖的数据均已就绪。证券监控实例的调度依赖于多个通道数据的就绪状态，一旦数据就绪，就会触发监控实例的运行。监控实例的执行直接与业务时间挂钩，因此需要一个精确的业务时间计算方法，以确保算法的准确性和及时性。
6、为了确保监控实例在触发时能够处理所有已就绪的证券交易数据，必须根据当前数据的就绪情况来计算业务时间。这样，监控实例就可以在正确的时间点被触发，从而保证其结果的准确性。
7、现有证券监控以业务主题的成交、申报数据的最新时间作为业务时间，以此触发监控实例执行。由于业务主题各通道的数据活跃度、持久化耗时等方面不同，可能出现业务时间与数据持久化不匹配问题。另一方，随着监控业务发展，监控算法需要更多的实时数据源，单主题的业务时间已无法满足监控要求。
技术实现思路
1、本专利技术的目的在于克服现有技术的不足，解决现有业务时间计算方法导致监控算法结果不准确，提供一种适用于证券交易监控业务的流式数据业务时间计算方法，用以通过与证券监控平台的监控实例调度配合，提高监控算法准确性。
2、为了实现上述目的，设计一种适用于证券交易监控业务的流式数据业务时间计算方法，所述方法步骤包括：s1业务数据持久化，订阅上游交易平台的实时交易数据主题，对接主题的各通道数据并进行分批次持久化，记录各通道的最新数据时间；s2业务时间计算，业务时间计算以数据持久化后的信息记录为基础，周期性进行计算获取业务时间，并存储业务时间明细，所述的业务时间计算方法包括：s2.1单主题业务时间计算，业务数据按批次持久化，每批次持久化时间、主题、来源通道等信息记录于存储区域，通过业务时间计算方法，获取主题通道最新的业务时间，并对不活跃的数据通道进行过滤，汇总取得主题数据已就绪的最新时间，即主题的业务时间，并持久化该数据；s2.2多主题业务时间计算，基于单主题业务时间的持久化数据，汇总计算多个主题数据均已就绪的业务时间，即多主题业务时间，并持久化主题业务时间数据；s3监控平台根据最新的主题业务时间，触发监控实例执行。
3、本专利技术提供的适用于证券交易监控业务的流式数据业务时间计算方法，还有更多技术特征，其中，所述步骤s1具体如下：证券监控平台对接上游交易平台的业务主题数据通道，对每个通道数据独立处理；业务主题数据按批次持久化，并记录每批次的时间、主题通道信息，用于业务时间计算，具体步骤包括：s1.1构建业务数据持久化批次存储块，所述批次存储块用于记录每个持久化批次明细，所述批次存储块包括批次发生时间t、通道id、业务主题、批次号；s1.2证券监控平台接收上游交易平台业务主题的通道数据，所述数据包含数据发生时间t、序列号、来源主题通道、交易相关信息，对数据按通道、序列号、时间字段进行排序；s1.3将有序数据按固定条数分为多个批次，记为数据集dataset，持久化每批次数据，并记录每批次数据交易发生时间，形成集合记为d = { ti | i∈dataset }，遍历集合d获取本批次的最小交易发生时间t=min(ti)；s1.4业务主题数据持久化同时，将每批次最小数据发生时间t、通道id、业务主题、批次号信息持久化至批次存储块。
4、本专利技术提供的适用于证券交易监控业务的流式数据业务时间计算方法，还有更多技术特征，其中，所述步骤s2.1单主题业务时间计算具体如下：s2.1.1构建主题业务时间存储块，用于记录业务主题的最新时间明细，包含业务主题、最新业务时间tp；s2.1.2以固定频率轮询读取批次存储块，从该存储块获取业务主题p下n个通道的业务时间t，形成业务时间集合记为dt = { ti | i∈[1, n] }，该时间表示相应通道i在ti前的业务数据已完成持久化并对外提供服务；s2.1.3获取所有通道的最新业务时间，从业务时间集合dt计算主题每个通道的最新业务时间集合记为tcur = { max(ti) | i∈[1, n]}，计算本轮次各通道最新业务时间与上一轮最新业务时间tpre的滞后时间差，形成集合记为{ max(ti) - tpre| i∈[1, n] }；s2.1.4剔除不活跃的主题通道，滞后时间差阈值记为s1，若max(ti)-tpre>= s1，通道i的业务时间ti不纳入本轮次计算，记为剔除通道集合{j | j∈(不纳入计算的通道)}，本轮次业务时间计算的主题通道集合ct = { max(ti) | i∈[1, n] ∩ i≠j }；s2.1.5获取已就绪数据的最新时间,从本轮次参与业务时间计算的集合ct取最小值，即所有通道最新时间集合中取最小时间，记为拟业务时间，该时间表示当前时刻主题的所有通道数据已完成持久化，记为本文档来自技高网...
【技术保护点】
1.一种适用于证券交易监管业务的流式数据业务时间计算方法，其特征在于，所述方法步骤包括：
2.如权利要求1所述的一种适用于证券交易监管业务的流式数据业务时间计算方法，其特征在于，所述步骤S1具体如下：证券监控平台对接上游交易平台的业务主题数据通道，对每个通道数据独立处理；业务主题数据按批次持久化，并记录每批次的时间、主题通道信息，用于业务时间计算，具体步骤包括：
3.如权利要求1所述的一种适用于证券交易监管业务的流式数据业务时间计算方法，其特征在于，所述步骤S2.1单主题业务时间计算具体如下：
4.如权利要求1所述的一种适用于证券交易监管业务的流式数据业务时间计算方法，其特征在于，所述步骤S2.2多主题业务时间计算具体如下：
5.如权利要求1所述的一种适用于证券交易监管业务的流式数据业务时间计算方法，其特征在于，所述步骤S3具体如下：
【技术特征摘要】
1.一种适用于证券交易监管业务的流式数据业务时间计算方法，其特征在于，所述方法步骤包括：
2.如权利要求1所述的一种适用于证券交易监管业务的流式数据业务时间计算方法，其特征在于，所述步骤s1具体如下：证券监控平台对接上游交易平台的业务主题数据通道，对每个通道数据独立处理；业务主题数据按批次持久化，并记录每批次的时间、主题通道信息，用于业务时间计算，具体步骤包括：
3.如...
【专利技术属性】
技术研发人员：何贤国，薛明乾，何冠洋，楼晓鸿，
申请(专利权)人：上交所技术有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。