【技术实现步骤摘要】
本专利技术属于数据分析，具体涉及一种通过监控探针进行数据分析的方法。
技术介绍
1、近年来，微服务架构已成为主流技术框架，在微服务治理过程中，数据监控、数据治理场景大多采用istio技术，确保监控获取到服务数据。
2、istio是开源服务网格平台，可以控制微服务之间数据的共享方式，通过在环境中部署sidecar代理，即可为服务添加istio支持。istio提供建立网络，具有负载均衡、服务间认证、监控等功能，使用istio控制平面功能配置和管理代理，拦截微服务之间的所有网络通信。
3、istio虽可对微服务进行管控，但对k8s的平台版本有较高要求，需要平台k8s版本为1.18及以上方可使用，且仅支持微服务架构层面的弱管控场景，无法满足对数据模型级的强管控，istio需要劫持服务流量，所以存在影响服务正常功能的风险。
4、在使用istio进行监控时，出现无法获取服务的性能指标情况，为了解决该问题，首先检查prometheus的配置，确保prometheus正确地收集了服务的性能指标，可以在prometheus的配置文件中查看收集规则。其次检查grafana的配置，确保grafana正确地展示了服务的性能指标。最后可在grafana的仪表板中查看性能指标。
5、在当前的云计算和分布式系统环境下，随着服务架构的日益复杂，系统可观测性成为保障服务质量、提升故障排查效率及优化系统性能的关键因素。传统的监控和追踪解决方案往往受限于技术栈的多样性、底层环境的不统一、数据格式的不一致性以及集成难度，
技术实现思路
1、针对上述传统的监控和追踪解决方案往往受限于技术栈的多样性、底层环境的不统一、数据格式的不一致性以及集成难度的技术问题，本专利技术提供了一种通过监控探针进行数据分析的方法。
2、为了解决上述技术问题，本专利技术采用的技术方案为：
3、一种通过监控探针进行数据分析的方法，包括下列步骤：
4、s1、借助otel apis组件的能力，将otel的api嵌入进所开发的应用，使应用程序有收集观测数据的能力，设置应该收集哪些数据；
5、s2、对数据进行清洗数据操作；
6、s3、将exporter中产出的数据，流入到collector组件中进行进一步的过滤、聚合处理；
7、s4、从后端服务中获取到的数据，再由算法模块完成数据分析。
8、所述s2对数据进行清洗数据操作的方法为：采用与otel apis紧密相关的otelsdks组件提供暂存和传输数据的能力，对数据进行打散、重组、取样、过滤操作，来清洗数据，将不同数据源但相同上下文的数据结合起来使数据更丰满，最终借助otlp将数据转化成标准格式，发往外部。
9、所述s3中的collector组件具有批处理能力，数据被集中处理过后再次借助exporter的能力，将数据发向预先准备好的后端服务。
10、所述s4中的算法模块采用健康度算法模型，核算服务的健康权重，通过建立健康度的指标直观反映出系统的健康度，对健康度进行建模，实现微服务的健康度呈现出动态化状态，解决微服务的监控配置繁琐和指标复杂问题，实现服务健康度的实时监测。
11、所述核算服务的健康权重的方法为：依据服务的调用次数、访问次数、故障次数，核算该服务的健康权重。
12、所述数据分析的结果由vue3框架执行数据图表渲染，完成前端展示。
13、所述exporter位于otel library中，采用应用和数据后端分离的方式，进而使用户具备选择和切换后端的能力。
14、所述collector组件处在整个otel library的进程之外，collector组件负责接收和进一步过滤、聚合、批处理数据的工作。
15、所述otel sdks组件为api和exporter的中间桥梁，通过增加额外的配置来完成数据的过滤、事件的取样的工作。
16、本专利技术与现有技术相比，具有的有益效果是：
17、1、本专利技术根据服务的实时负载、错误率、新出现的热点路径等因素智能调整采样率。对于频繁出错的请求或新上线的功能模块，自动增加采样比例以获得更多诊断信息，而在系统平稳运行时降低采样率以节省资源。
18、2、本专利技术通过跨追踪id、日志时间戳、服务标签等多个维度自动关联不同来源的数据，实现跨数据类型(追踪、度量、日志)的实时关联分析。
19、3、本专利技术针对大规模分布式系统中的数据处理延迟问题，otel可以在数据生成的边缘节点上进行初步处理和过滤，仅将关键或聚合后的数据传输至中心化分析平台，提升数据分析的实时性。
20、4、本专利技术通过otel collector接收的数据进行分类与标记，结合统计算法以及vue3框架渲染在前台页面实现平台能力数据的全方位可视化展示。为平台在日常的运营使用中，提供便捷的可视化数据展示，为平台使用者的决策提供详细的数据支撑。
本文档来自技高网...【技术保护点】
1.一种通过监控探针进行数据分析的方法，其特征在于，包括下列步骤：
2.根据权利要求1所述的一种通过监控探针进行数据分析的方法，其特征在于，所述S2对数据进行清洗数据操作的方法为：采用与OTel APIs紧密相关的OTel SDKs组件提供暂存和传输数据的能力，对数据进行打散、重组、取样、过滤操作，来清洗数据，将不同数据源但相同上下文的数据结合起来使数据更丰满，最终借助OTLP将数据转化成标准格式，发往外部。
3.根据权利要求1所述的一种通过监控探针进行数据分析的方法，其特征在于，所述S3中的Collector组件具有批处理能力，数据被集中处理过后再次借助Exporter的能力，将数据发向预先准备好的后端服务。
4.根据权利要求1所述的一种通过监控探针进行数据分析的方法，其特征在于，所述S4中的算法模块采用健康度算法模型，核算服务的健康权重，通过建立健康度的指标直观反映出系统的健康度，对健康度进行建模，实现微服务的健康度呈现出动态化状态，解决微服务的监控配置繁琐和指标复杂问题，实现服务健康度的实时监测。
5.根据权利要求4所述的一种
6.根据权利要求4所述的一种通过监控探针进行数据分析的方法，其特征在于：所述数据分析的结果由VUE3框架执行数据图表渲染，完成前端展示。
7.根据权利要求1所述的一种通过监控探针进行数据分析的方法，其特征在于：所述Exporter位于OTel Library中，采用应用和数据后端分离的方式，进而使用户具备选择和切换后端的能力。
8.根据权利要求1所述的一种通过监控探针进行数据分析的方法，其特征在于：所述Collector组件处在整个OTel Library的进程之外，Collector组件负责接收和进一步过滤、聚合、批处理数据的工作。
9.根据权利要求2所述的一种通过监控探针进行数据分析的方法，其特征在于：所述OTel SDKs组件为API和Exporter的中间桥梁，通过增加额外的配置来完成数据的过滤、事件的取样的工作。
...【技术特征摘要】
1.一种通过监控探针进行数据分析的方法，其特征在于，包括下列步骤：
2.根据权利要求1所述的一种通过监控探针进行数据分析的方法，其特征在于，所述s2对数据进行清洗数据操作的方法为：采用与otel apis紧密相关的otel sdks组件提供暂存和传输数据的能力，对数据进行打散、重组、取样、过滤操作，来清洗数据，将不同数据源但相同上下文的数据结合起来使数据更丰满，最终借助otlp将数据转化成标准格式，发往外部。
3.根据权利要求1所述的一种通过监控探针进行数据分析的方法，其特征在于，所述s3中的collector组件具有批处理能力，数据被集中处理过后再次借助exporter的能力，将数据发向预先准备好的后端服务。
4.根据权利要求1所述的一种通过监控探针进行数据分析的方法，其特征在于，所述s4中的算法模块采用健康度算法模型，核算服务的健康权重，通过建立健康度的指标直观反映出系统的健康度，对健康度进行建模，实现微服务的健康度呈现出动态化状态，解决微服务的监控配置繁琐和指标复杂问题，实现服务健康度的实时监测。
【专利技术属性】
技术研发人员：赵世琛，王奇侠，张洁，李晓宇，肖晋飞，崔巍，孙凯凯，姚玉峰，薛凯伦，张亚松，张晓毅，赵伟庚，霍威，
申请(专利权)人：山西省信息产业技术研究院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。