本申请公开了一种数据处理方法、装置，属于数据处理技术领域。该方法包括：获取配置文件，所述配置文件包括数据采集层的第一配置信息，数据解析层的第二配置信息以及数据发送层的第三配置信息；对所述配置文件进行解析，以得到所述第一配置信息，所述第二配置信息以及所述第三配置信息；根据所述第一配置信息采集预设路径下的文件，并根据所述文件生成第一事务；将所述第一事务发送给所述数据解析层，以使所述数据解析层根据所述第二配置信息对所述第一事务进行解析，得到第二事务；将所述第二事务发送给数据发送层，以使所述数据发送层根据所述第三配置信息将所述第二事务发送给预设的数据网关。本申请可以提高数据采集组件的可扩展性。的可扩展性。的可扩展性。
【技术实现步骤摘要】
数据处理方法、装置及计算机设备
[0001]本申请涉及数据处理
，尤其涉及一种数据处理方法、装置及计算机设备。
技术介绍
[0002]数据采集组件作为一个独立的进程运行于服务器上，用于对服务器上数据进行采集、解析与发送。然而，现有技术中单个数据采集组件往往只能针对单一的数据采集场景进行数据处理，当开发人员如果想增加额外的功能，往往面临着复杂的代码改动，即现有的数据采集组件的可扩展性较差。
技术实现思路
[0003]有鉴于此，现提供一种数据处理方法、装置、算机设备及计算机可读存储介质，以解决现有的数据采集组件的可扩展性较差的问题。
[0004]本申请提供了一种数据处理方法，包括：
[0005]获取配置文件，所述配置文件包括数据采集层的第一配置信息，数据解析层的第二配置信息以及数据发送层的第三配置信息；
[0006]对所述配置文件进行解析，以得到所述第一配置信息，所述第二配置信息以及所述第三配置信息；
[0007]根据所述第一配置信息采集预设路径下的文件，并根据所述文件生成第一事务；
[0008]将所述第一事务发送给所述数据解析层，以使所述数据解析层根据所述第二配置信息对所述第一事务进行解析，得到第二事务；
[0009]将所述第二事务发送给数据发送层，以使所述数据发送层根据所述第三配置信息将所述第二事务发送给预设的数据网关。
[0010]可选地，所述第一配置信息包括数据采集插件的第一标识信息以及采集所述文件的路径信息，所述根据所述第一配置信息采集预设路径下的文件，并根据所述文件生成第一事务包括：
[0011]根据所述第一标识信息启动与所述第一标识信息对应的数据采集插件，并通过所述数据采集插件根据所述路径信息采集所述文件；
[0012]对采集到的文件进行封装生成所述第一事务。
[0013]可选地，所述数据解析层包括数据解析插件，所述第二配置信息包括所述数据解析插件的第二标识信息以及所述数据解析插件对应的解析类型信息，所述数据解析层根据所述第二配置信息对所述第一事务进行解析，得到第二事务包括：
[0014]根据所述第二标识信息启动与所述第二标识信息对应的数据解析插件；
[0015]所述数据解析插件根据所述解析类型信息对所述第一事务进行解析，得到所述第二事务。
[0016]可选地，所述数据解析层包括至少两个数据解析插件，所述第二配置信息还包括所述数据解析插件的层级信息，所述根据所述第二标识信息启动与所述第二标识信息对应
的数据解析插件包括：
[0017]根据所述层级信息与所述第二标识信息依次启动与所述第二标识信息对应的数据解析插件。
[0018]可选地，所述数据发送层包括数据发送插件，所述第三配置信息包括所述数据发送插件的第三标识信息及所述数据网关的地址信息，所述数据发送层根据所述第三配置信息将所述第二事务发送给预设的数据网关包括：
[0019]根据所述第三标识信息启动与所述第三标识信息对应的数据发送插件；
[0020]所述数据发送插件根据所述地址信息将所述第二事务发送给预设的数据网关。
[0021]可选地，所述数据发送层包括至少两个数据发送插件，所述数据发送插件根据所述地址信息将所述第二事务发送给预设的数据网关包括：
[0022]所述至少两个数据发送插件根据所述地址信息，采用并行的方式将所述第二事务发送给预设的数据网关。
[0023]可选地，所述数据处理方法还包括：
[0024]创建所述配置文件。
[0025]本申请还提供了一种数据处理装置，包括：
[0026]获取模块，用于获取配置文件，所述配置文件包括数据采集层的第一配置信息，数据解析层的第二配置信息以及数据发送层的第三配置信息；
[0027]解析模块，用于对所述配置文件进行解析，以得到所述第一配置信息，所述第二配置信息以及所述第三配置信息；
[0028]采集模块，用于根据所述第一配置信息采集预设路径下的文件，并根据所述文件生成第一事务；
[0029]第一发送模块，用于将所述第一事务发送给所述数据解析层，以使所述数据解析层根据所述第二配置信息对所述第一事务进行解析，得到第二事务；
[0030]第二发送模块，用于将所述第二事务发送给数据发送层，以使所述数据发送层根据所述第三配置信息将所述第二事务发送给预设的数据网关。
[0031]本申请还提供了一种计算机设备，所述计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
[0032]本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。
[0033]上述技术方案的有益效果：
[0034]本申请实施例中，通过获取配置文件，所述配置文件包括数据采集层的第一配置信息，数据解析层的第二配置信息以及数据发送层的第三配置信息；对所述配置文件进行解析，以得到所述第一配置信息，所述第二配置信息以及所述第三配置信息；根据所述第一配置信息采集预设路径下的文件，并根据所述文件生成第一事务；将所述第一事务发送给所述数据解析层，以使所述数据解析层根据所述第二配置信息对所述第一事务进行解析，得到第二事务；将所述第二事务发送给数据发送层，以使所述数据发送层根据所述第三配置信息将所述第二事务发送给预设的数据网关。在本申请实施例中，通过使用配置文件定义数据采集组件的数据采集层、数据解析层以及数据发送层的规范，并根据所述配置文件
以插件化的方式进行编排组合数据采集组件的各层的功能模块，从而实现数据采集组件可以根据用户的需求进行插件化的配置，进而提高数据采集组件的可扩展性。
附图说明
[0035]图1为本申请所述数据处理方法的系统框架图的一种实施例的框架图；
[0036]图2为本申请所述的数据处理方法的一种实施例的流程图；
[0037]图3为本申请一实施方式中数据解析层根据所述第二配置信息对所述第一事务进行解析，得到第二事务的步骤细化流程图；
[0038]图4为本申请一实施方式中数据发送层根据所述第三配置信息将所述第二事务发送给预设的数据网关的步骤细化流程图；
[0039]图5为本申请数据采集插件的配置文件的样例；
[0040]图6为本申请所述的数据处理装置的一种实施例的模块图；
[0041]图7为本申请实施例提供的执行数据处理方法的计算机设备的硬件结构示意图。
具体实施方式
[0042]以下结合附图与具体实施例进一步阐述本申请的优点。
[0043]这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取配置文件，所述配置文件包括数据采集层的第一配置信息，数据解析层的第二配置信息以及数据发送层的第三配置信息；对所述配置文件进行解析，以得到所述第一配置信息，所述第二配置信息以及所述第三配置信息；根据所述第一配置信息采集预设路径下的文件，并根据所述文件生成第一事务；将所述第一事务发送给所述数据解析层，以使所述数据解析层根据所述第二配置信息对所述第一事务进行解析，得到第二事务；将所述第二事务发送给数据发送层，以使所述数据发送层根据所述第三配置信息将所述第二事务发送给预设的数据网关。2.根据权利要求1所述的数据处理方法，其特征在于，所述第一配置信息包括数据采集插件的第一标识信息以及采集所述文件的路径信息，所述根据所述第一配置信息采集预设路径下的文件，并根据所述文件生成第一事务包括：根据所述第一标识信息启动与所述第一标识信息对应的数据采集插件，以使所述数据采集插件根据所述路径信息采集所述文件，并对采集到的文件进行封装生成所述第一事务。3.根据权利要求1所述的数据处理方法，其特征在于，所述数据解析层包括数据解析插件，所述第二配置信息包括所述数据解析插件的第二标识信息以及所述数据解析插件对应的解析类型信息，所述数据解析层根据所述第二配置信息对所述第一事务进行解析，得到第二事务包括：根据所述第二标识信息启动与所述第二标识信息对应的数据解析插件；所述数据解析插件根据所述解析类型信息对所述第一事务进行解析，得到所述第二事务。4.根据权利要求3所述的数据处理方法，其特征在于，所述数据解析层包括至少两个数据解析插件，所述第二配置信息还包括所述数据解析插件的层级信息，所述根据所述第二标识信息启动与所述第二标识信息对应的数据解析插件包括：根据所述层级信息与所述第二标识信息依次启动与所述第二标识信息对应的数据解析插件。5.根据权利要求1所述的数据处理方法，其特征在于，所述数据发送...
【专利技术属性】
技术研发人员：王翔宇，
申请(专利权)人：上海哔哩哔哩科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。