【技术实现步骤摘要】
本专利技术属于车载日志数据采集与处理领域，特别涉及一种基于车联网数据的数据解析和数据清洗的低代码系统。
技术介绍
1、目前，随着车载信息系统和车云通信系统的广泛应用，设备端采集并上报的日志数据类型日益多样化，涵盖了运行状态日志、安全事件记录、资源使用情况等关键数据。这些数据通过上传到云端进行集中处理，为设备健康监测、异常事件告警、车况路况分析等业务提供了有力支撑，帮助企业实现智能化、数据驱动的运维和管理。
2、在日志采集过程中，设备端通常采用tcp、mqtt等网络协议传输数据。然而，由于mqtt等轻量级协议缺乏持久化存储和高级消息管理等功能，不具备企业级数据管理的可靠性，因此大多数企业会将日志数据从mqtt等协议转换并转发至内部熟悉的消息中间件系统（如kafka、rabbitmq等）中，以便实现更稳定的消息传输和持久化存储。与此同时，第三方服务提供商需要兼容不同的协议类型，确保日志流的无缝对接和稳定传输。
3、在日志解析方面，为减少车载设备和云端系统间的流量消耗、提高数据传输效率，日志数据通常采用二进制格式或protocol buffer（protobuf）编码格式。云端系统必须根据数据格式定义相应的解析规则，进行解码和数据提取。此外，由于不同的企业或系统可能采用定制化的中间件和协议格式，如json、xml等，云端系统还需要支持多种协议和格式，以灵活适应不同的数据输入和输出需求。这种多样化的需求显著增加了系统对协议转换和格式解析的适应能力要求。
4、上述复杂需求导致在新项目中，系统通常需要进行
技术实现思路
1、本专利技术提出一种基于车联网数据的数据解析和数据清洗的低代码系统，解析和清洗过程中的复杂性和灵活性不足的问题，通过提供图形化界面和多协议支持，降低了数据处理的技术门槛，提高了处理效率。
2、本专利技术的技术方案是这样实现的：一种基于车联网数据的数据解析和数据清洗的低代码系统，包括多协议适配器、自定义解析规则编写接口、拖拽式规则配置界面、数据处理模块、转发机制单元、监控与日志追踪单元和消息标签化与指纹生成单元；
3、其中多协议适配器用于支持多种网络协议的日志数据采集；所述自定义解析规则编写接口允许用户根据数据格式和业务需求编写特定的解析逻辑；并同时对于多种数据编码和格式的兼容，提供规则模板和示例，以指导用户编写解析规则，通过集成相应的错误检测和调试工具，帮助用户快速定位和修正解析规则中的问题；用户通过拖拽式规则配置界面进行图形化操作组合输入、输出和解析规则节点；界面还具备规则节点的实时预览和编辑功能，用户即时查看和调整配置，同时进行规则配置的版本控制，在拖拽式规则配置界面中允许多个版本的保存、回滚和比较；在界面中提供定制的配置工具；所述数据处理模块用于执行字段映射、计算和过滤操作；所述转发机制单元根据用户配置的输出规则将处理后的数据转发至指定模块；所述监控与日志追踪系统用于跟踪日志数据的采集、解析和处理状态，并记录系统运行指标；所述消息标签化与指纹生成单元为每条消息生成类型标签和唯一消息指纹，通过唯一消息指纹进行数据溯源。
4、传统的数据解析和清洗工具往往依赖于专业的编程知识，用户需要编写复杂的代码来实现数据处理逻辑，这对于非技术用户来说是一项巨大的挑战，限制了数据处理的普及和应用。而本系统通过引入低代码理念，使得用户能够通过拖拽式规则配置界面进行图形化操作，显著降低了数据解析和清洗的技术门槛，使得更多的用户能够参与到数据处理过程中。
5、本系统的多协议适配器功能允许用户支持多种网络协议的日志数据采集，这在现有技术中并不普遍。传统系统往往只能处理特定协议的数据，导致在车联网环境中，不同设备和系统之间的数据整合变得复杂和低效。通过多协议适配器的设计，本系统能够灵活应对各种数据来源，增强了系统的兼容性和适用性，使其能够更好地适应车联网环境的多样化需求。
6、在自定义解析规则编写方面，传统工具通常缺乏有效的指导，用户在编写解析逻辑时容易出现错误或遗漏，导致数据处理不准确。而本系统提供了自定义解析规则编写接口，允许用户根据数据格式和业务需求编写特定的解析逻辑，并同时提供规则模板和示例，以指导用户编写解析规则。这种设计不仅提高了用户的便捷性，也有效减少了因规则编写错误导致的数据处理问题。
7、系统集成了错误检测和调试工具，帮助用户快速定位和修正解析规则中的问题。这一功能在现有技术中较为少见，通常用户需要手动调试代码，耗费大量时间和精力。而本系统通过智能化的错误检测机制，大幅提升了数据解析的效率和准确性。
8、在数据处理模块方面，传统系统往往仅提供基本的字段映射和过滤功能，而本系统则增强了计算和过滤操作的能力，使得用户可以灵活地对数据进行多维度的处理，满足复杂的业务需求。同时，转发机制单元根据用户配置的输出规则将处理后的数据转发至指定模块，实现了数据处理后的高效流转。这种高效的转发机制在传统工具中常常需要复杂的配置和编程，而本系统通过图形化界面简化了这一过程，提升了用户体验。
9、监控与日志追踪单元的引入，使得用户能够实时跟踪日志数据的采集、解析和处理状态，并记录系统运行指标。这一功能在现有技术中常常缺乏，用户难以了解系统的实时运行状态。而本系统通过监控与日志追踪功能，提供了全面的可视化反馈，帮助用户及时发现和解决问题，提升了系统的可靠性和稳定性。
10、消息标签化与指纹生成单元为每条消息生成类型标签和唯一消息指纹，支持数据溯源。这一功能在车联网应用场景中尤为重要，能够有效追踪数据来源和处理历史，为后续的数据分析和问题排查提供了重要支持。相比之下，传统系统往往缺乏有效的数据溯源能力，导致在数据分析和处理过程中难以追踪数据的真实来源和变更历史。本低代码系统通过图形化操作、多协议支持和智能化功能集成，克服了传统数据解析和清洗工具的诸多不足，展现了更高的灵活性和易用性，为车联网数据处理提供了更为高效和可靠的解决方案。
11、作为一优选的实施方式，所述的数据处理模块能够进行字段映射，通过用户定义字段之间的对应关系；用户在执行复杂的数据转换和计算时，对字段数据进行映射对应计算；同时通过对数据进行过滤，根据用户定义的条件筛选日志数据确保数据处理的准确高效。
12、作为一优选的实施方式，所述的转发机制单元具备多种输出目标，同时对数据库、消息队列、文件系统进行同步转发；同时具备动态路由规则，根据数据属性和业务逻辑智能地选择最佳输出路径组合；采用负载均衡和故障转移策略，在最佳输出路径组合内进行平衡选择确保数据转发的稳定性。<本文档来自技高网...
【技术保护点】
1.一种基于车联网数据的数据解析和数据清洗的低代码系统，其特征在于，包括多协议适配器、自定义解析规则编写接口、拖拽式规则配置界面、数据处理模块、转发机制单元、监控与日志追踪单元和消息标签化与指纹生成单元；
2.如权利要求1所述的一种基于车联网数据的数据解析和数据清洗的低代码系统，其特征在于：所述的数据处理模块能够进行字段映射，通过用户定义字段之间的对应关系；用户在执行复杂的数据转换和计算时，对字段数据进行映射对应计算；同时通过对数据进行过滤，根据用户定义的条件筛选日志数据确保数据处理的准确高效。
3.如权利要求1所述的一种基于车联网数据的数据解析和数据清洗的低代码系统，其特征在于：所述的转发机制单元具备多种输出目标，同时对数据库、消息队列、文件系统进行同步转发；同时具备动态路由规则，根据数据属性和业务逻辑智能地选择最佳输出路径组合；采用负载均衡和故障转移策略，在最佳输出路径组合内进行平衡选择确保数据转发的稳定性。
4.如权利要求1所述的一种基于车联网数据的数据解析和数据清洗的低代码系统，其特征在于：所述的监控与日志追踪单元包括监控面板，通过监控
5.如权利要求1所述的一种基于车联网数据的数据解析和数据清洗的低代码系统，其特征在于，所述的消息标签化与指纹生成单元，自动生成基于消息内容和属性的类型标签，所述消息内容包括时间戳、来源地址和目标地址；通过类型标签增强数据的可读性和查询效率；并根据上述内容生成唯一的消息指纹，并且采用标签和指纹的查询与筛选功能，用于用户追踪和分析消息，从而增强日志追踪，保证消息的完整性和可追踪性。
...【技术特征摘要】
1.一种基于车联网数据的数据解析和数据清洗的低代码系统，其特征在于，包括多协议适配器、自定义解析规则编写接口、拖拽式规则配置界面、数据处理模块、转发机制单元、监控与日志追踪单元和消息标签化与指纹生成单元；
2.如权利要求1所述的一种基于车联网数据的数据解析和数据清洗的低代码系统，其特征在于：所述的数据处理模块能够进行字段映射，通过用户定义字段之间的对应关系；用户在执行复杂的数据转换和计算时，对字段数据进行映射对应计算；同时通过对数据进行过滤，根据用户定义的条件筛选日志数据确保数据处理的准确高效。
3.如权利要求1所述的一种基于车联网数据的数据解析和数据清洗的低代码系统，其特征在于：所述的转发机制单元具备多种输出目标，同时对数据库、消息队列、文件系统进行同步转发；同时具备动态路由规则，根据数据属性和业务逻辑智能地选择最佳输出路径组合；采用负载均衡和故障转移策略...
【专利技术属性】
技术研发人员：安亚飞，要永浩，张茜菡，郑祥宇，李功伦，
申请(专利权)人：北京云驰未来科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。