交易系统异常诊断方法、装置及计算机设备制造方法及图纸

本发明专利技术涉及数据处理技术领域，公开了一种交易系统异常诊断方法、装置及计算机设备，该方法包括：实时抓取各个客户请求流经请求链路中各个交易系统对应的交换机的镜像流量数据包，并获取各个应用组件的应用打点数据；根据各个交易系统对应的解码逻辑对镜像流量数据包进行解析，得到解码截面数据；通过指标数据异常预测模型对各个交易系统对应的交换机的解码截面数据实时分析，得到截面指标数据异常的目标交易系统；根据标识信息对客户请求的各个解码截面数据及应用打点数据进行串联得到客户请求的全链数据；根据时延分析模型对全链数据进行时延分析得到时延异常检测结果。本发明专利技术实现了对链路中各交易系统请求量及时延的实时异常告警及异常定位。实时异常告警及异常定位。实时异常告警及异常定位。

【技术实现步骤摘要】
交易系统异常诊断方法、装置及计算机设备


[0001]本专利技术实施例涉及数据处理
，具体涉及一种交易系统异常诊断方法、装置及计算机设备。

技术介绍

[0002]目前，证券交易系统的异常诊断方法比较多样，除了对系统本身进行异常监控外，也可通过对客户请求数据进行解析，输出相关指标，对比经验阈值，从而发现偏离基线的异常情况。目前针对客户请求进行数据分析主要有三种方法：第一种是基于系统落地日志的数据分析，解析程序根据日志内客户请求的具体字段进行数据串联、数据聚合、时延计算等，从而数据客户请求的各项指标；第二种是基于应用打点数据的数据分析，解析程序读取时序数据库中存储的交易类请求的交易时延数据以供分析；第三种是基于网络解码数据的数据分析，解析程序根据网络解码数据中的具体字段进行数据串联、数据聚合、时延计算等，从而数据客户请求的各项指标。
[0003]针对证券交易系统的异常诊断场景分为对系统本身的异常监控和对客户请求数据解析后的异常监控。对系统本身的异常监控是基础的监控手段，通常这类监控告警需要其他信息进一步辅助问题排查；对客户请求数据的异常监控则包含更多业务及运维信息，一方面可进行数据分析，为故障定位提供支持，另一方面也非常适合作为监控指标输入，补充监控告警，增加系统可监控性。
[0004]目前，许多对客户请求数据各项指标的监控告警通常使用对比经验阈值的方法来发现偏离基线的异常，由于客户请求与交易时间有极大关联，因此不适合使用统一的经验阈值来进行判断，不然容易在特定时间段发生误告警、漏告警的问题；即使按照分段阈值的方式进行监控，仍然存在需配置的阈值过多、过于依赖经验的问题，无法对误告警、漏告警进行有效防范。
[0005]应用打点数据通常用于量化交易系统交易时延分析，通过交易系统的某专用时延计算组件记录客户交易数据经过交易系统中各组件的时间戳，从而计算出应用组件之间的时延指标，该方式的优点是可以获得更精细的时延数据，缺点是通常只包含交易类请求，且会对服务器性能造成一定影响，因此某些追求极致交易性能的量化交易系统不通过应用打点进行时延统计，或者打点数据仅记录交易类请求的唯一标识和时间戳，而不记录其他业务字段，以减少时延计算组件的运算量，降低对服务器性能的影响。应用打点数据分析由于仅记录交易类请求的唯一标识和时间戳，因此包含的信息有限，一方面无法对非交易类请求进行数据分析，另一方面对交易类请求也无法从业务维度进行聚合分析。旁路镜像数据依赖于交换机抓包，优点是对应用所在的服务器无侵入，不影响交易系统性能，且镜像流量中包含较多业务信息，便于根据业务维度进行时延的聚合分析，缺点是旁路镜像数据包中本身没有统一的唯一标识，且在时延度量上仅能对两个交换机之间的时延进行度量，无法细化至应用组件之间的时延度量。
[0006]因此，现有的异常诊断方法无法对链路中各交易系统进行准确快速的异常分析，
且无法从业务维度进行分析。

技术实现思路

[0007]鉴于上述问题，本专利技术实施例提供了一种交易系统异常诊断方法、装置及计算机设备，用于解决现有技术中存在的对链路中各交易系统的异常分析效率较低且不准确的问题。
[0008]根据本专利技术实施例的一个方面，提供了一种交易系统异常诊断方法，所述方法基于多个业务相互关联的交易系统；所述方法包括：
[0009]实时抓取各个客户请求流经请求链路中各个交易系统对应的交换机的镜像流量数据包，并获取各个应用组件的应用打点数据；所述镜像流量数据包括所述客户请求的标识信息及对应的抓取时间戳；所述应用打点数据中包括所述客户请求的标识信息及打点时间戳；
[0010]根据各个交易系统对应的解码逻辑对所述镜像流量数据包进行解析，得到解码截面数据；一个所述解码截面数据包括单位时间内经过一个交换机截面的请求数量、请求内容及所述交换机截面内所有客户请求的时延信息；
[0011]通过预设的指标数据异常预测模型对各个交易系统对应的交换机的所述解码截面数据实时进行截面指标数据分析，截面指标数据异常的目标交易系统；所述截面指标数据包括每秒事务处理量；
[0012]根据所述标识信息，对所述客户请求的各个解码截面数据及所述应用打点数据进行串联，得到所述客户请求的全链数据；所述全链数据包括所述客户请求经过各个交换机及各个应用组件的请求数据及时间戳信息；
[0013]根据预设的时延分析模型对所述客户请求的全链数据进行时延分析，得到时延异常检测结果。
[0014]在一种可选的方式中，所述客户请求包括交易请求，所述标识信息包括请求标识及交易标识；
[0015]所述根据所述标识信息，对所述客户请求的各个解码截面数据及所述应用打点数据进行串联，得到所述客户请求的全链数据，包括：
[0016]根据所述交易标识，对所述交易请求的各个解码截面数据及所述应用打点数据进行串联，得到所述交易请求的全链数据；
[0017]所述根据预设的时延分析模型对所述客户请求的全链数据进行时延分析，得到时延异常检测结果，包括：
[0018]根据预设的时延分析模型对所述交易请求的全链数据进行时延分析，得到所述交易请求在各个交换机及应用组件中的时延异常检测结果。
[0019]在一种可选的方式中，所述预设的指标数据异常预测模型包括长短期记忆神经网络及异常检测模型；所述通过预设的指标数据异常预测模型对各个交易系统对应的交换机的所述解码截面数据实时进行截面指标数据分析，截面指标数据异常的目标交易系统之前，所述方法还包括：
[0020]获取各个交易系统对应的交换机的历史截面数据；
[0021]对所述历史截面数据进行预处理后，进行特征选择，得到所述历史截面数据的历
史特征组数据；
[0022]将所述历史特征组数据输入所述长短期记忆神经网络进行预测训练，得到历史特征组数据对应的预测指标值；
[0023]将所述历史特征组数据对应的预测指标值及所述历史特征组数据对应的原始指标值的差绝对值输入所述异常检测模型进行异常检测训练，得到异常检测结果，从而训练得到预设的指标数据异常预测模型。
[0024]在一种可选的方式中，所述解码截面数据还包括所述客户请求的多个业务字段；所述方法还包括：
[0025]从异常的截面指标数据中选取所述客户请求的多个业务字段；
[0026]对所述业务字段进行业务维度分析，得到业务分析结果并展示。
[0027]在一种可选的方式中，所述客户请求中包括请求标识；所述根据各个交易系统对应的解码逻辑对所述镜像流量数据包进行解析，得到解码截面数据，包括：
[0028]根据所述镜像流量数据包的来源服务器IP，识别所述镜像流量数据的所属交易系统及所属组件；
[0029]确定所述所属组件对应的解码逻辑；
[0030]根据所述所属组件对应的解码逻辑解码逻辑对所述镜像流量数据进行解析，得到解码截面数据。
[0031]在一种可选的方式中，所述根据所述所属组件对应的解码逻辑解码逻辑对所述镜像流量数据进行本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种交易系统异常诊断方法，其特征在于，所述方法基于多个业务相互关联的交易系统；所述方法包括：实时抓取各个客户请求流经请求链路中各个交易系统对应的交换机的镜像流量数据包，并获取各个应用组件的应用打点数据；所述镜像流量数据包括所述客户请求的标识信息及对应的抓取时间戳；所述应用打点数据中包括所述客户请求的标识信息及打点时间戳；根据各个交易系统对应的解码逻辑对所述镜像流量数据包进行解析，得到解码截面数据；一个所述解码截面数据包括单位时间内经过一个交换机截面的请求数量、请求内容及所述交换机截面内所有客户请求的时延信息；通过预设的指标数据异常预测模型对各个交易系统对应的交换机的所述解码截面数据实时进行截面指标数据分析，得到截面指标数据异常的目标交易系统；所述截面指标数据包括每秒事务处理量；根据所述标识信息，对所述客户请求的各个解码截面数据及所述应用打点数据进行串联，得到所述客户请求的全链数据；所述全链数据包括所述客户请求经过各个交换机及各个应用组件的请求数据及时间戳信息；根据预设的时延分析模型对所述客户请求的全链数据进行时延分析，得到时延异常检测结果。2.根据权利要求1所述的方法，其特征在于，所述客户请求包括交易请求，所述标识信息包括请求标识及交易标识；所述根据所述标识信息，对所述客户请求的各个解码截面数据及所述应用打点数据进行串联，得到所述客户请求的全链数据，包括：根据所述交易标识，对所述交易请求的各个解码截面数据及所述应用打点数据进行串联，得到所述交易请求的全链数据；所述根据预设的时延分析模型对所述客户请求的全链数据进行时延分析，得到时延异常检测结果，包括：根据预设的时延分析模型对所述交易请求的全链数据进行时延分析，得到所述交易请求在各个交换机及应用组件中的时延异常检测结果。3.根据权利要求1所述的方法，其特征在于，所述预设的指标数据异常预测模型包括长短期记忆神经网络及异常检测模型；所述通过预设的指标数据异常预测模型对各个交易系统对应的交换机的所述解码截面数据实时进行截面指标数据分析，截面指标数据异常的目标交易系统之前，所述方法还包括：获取各个交易系统对应的交换机的历史截面数据；对所述历史截面数据进行预处理后，进行特征选择，得到所述历史截面数据的历史特征组数据；将所述历史特征组数据输入所述长短期记忆神经网络进行预测训练，得到历史特征组数据对应的预测指标值；将所述历史特征组数据对应的预测指标值及所述历史特征组数据对应的原始指标值的差绝对值输入所述异常检测模型进行异常检测训练，得到异常检测结果，从而训练得到预设的指标数据异常预测模型。
4.根据权利要求1所述的方法，其特征在于，所述解码截面数据还包括所述客户请求的多个业务字段；所述方法还包括：从异常的截面指标数据中选取所述客户请求的多个业务字段；对所述业务字段进行业务维度分析，得到业务分析结果并展示。5.根据权利要求1所述的方法，其特征在于，所述客户请求中包括请求标识；所述根据各个交易系统对应的解码逻辑对所述镜像流量数据包进行解析，得到解码截面数据，包括：根据所述镜像流量数据包的来源服务器IP，识别所述镜像流量数据的所属交易系统及所属组件；确定所述所...

【专利技术属性】
技术研发人员：陈荆晶，杨阳，关平，李全，曾广，夏达，张其力，李雪斌，杨文人，陆建团，方泷斌，肖振鹏，
申请(专利权)人：国信证券股份有限公司，
类型：发明
国别省市：