采集工具配置文件生成方法及装置制造方法及图纸

本发明专利技术提供了一种采集工具配置文件生成方法及装置，涉及大数据技术领域，该方法包括：获取采集配置信息；采集配置信息用于确定配置文件的配置项；根据配置项和数据库中目标版本的配置模板确定变动项，并根据变动项调整配置项；利用调整后的配置项获取日志采集信息；根据日志采集信息生成采集工具配置文件。本发明专利技术利用调整后的配置项获取日志采集信息，方便后续生成配置文件的时候降低出错概率；可实现当采集工具有所更新的时候，配置文件也会随着会有新增或删除的配置项，用户可及时感知配置文件的变化，有助于最终配置文件的正确生成。有助于最终配置文件的正确生成。有助于最终配置文件的正确生成。

【技术实现步骤摘要】
采集工具配置文件生成方法及装置


[0001]本专利技术涉及大数据
，尤其是涉及一种采集工具配置文件生成方法及装置。

技术介绍

[0002]本部分旨在为权利要求书中陈述的本专利技术实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
[0003]在一些常用的开源日志采集工具中，像Flume采集工具，如果要采集文件信息，需要用户填写配置文件，很多配置项比较长也很难理解，并且配置文件更新后，一些新增或减少的配置项很难识别出来，这都给正确填写配置文件增加了障碍。现有的配置文件生成方案包括如下步骤：识别配置文件中的必填项，以页面的形式展示给用户，将较难理解的配置项以简单的描述让用户理解含义，配置模板的动态变化也实时在页面上增加或减少配置项，通过用户输入的信息，最终生成正确的符合用户预期的采集配置文件。现有技术的主要缺点包括两个方面：一些自定义的符合特定采集场景的配置项的含义较难理解，用户会将配置项填错导致采集工具启动不正常；另外就是，配置模板发生更新后，有些配置项增加或删除，用户敏感度较低，不能及时感知。

技术实现思路

[0004]本专利技术提供了一种采集工具配置文件生成方法及装置，可以降低生产配置文件过程的出错概率。
[0005]第一方面，本专利技术实施例提供了一种采集工具配置文件生成方法，该方法包括：
[0006]获取采集配置信息；所述采集配置信息用于确定配置文件的配置项；
[0007]根据所述配置项和数据库中目标版本的配置模板确定变动项，并根据所述变动项调整所述配置项；
[0008]利用调整后的配置项获取日志采集信息；
[0009]根据所述日志采集信息生成采集工具配置文件。
[0010]第二方面，本专利技术实施例还提供一种采集工具配置文件生成装置，该装置包括：
[0011]获取模块，用于获取采集配置信息；所述采集配置信息用于确定配置文件的配置项；
[0012]对比模块，用于根据所述配置项和数据库中目标版本的配置模板确定变动项，并根据所述变动项调整所述配置项；
[0013]日志采集模块，用于利用调整后的配置项获取日志采集信息；
[0014]生成模块，用于根据所述日志采集信息生成采集工具配置文件。
[0015]第三方面，本专利技术实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述采集工具配置文件生成方法。
[0016]第四方面，本专利技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述采集工具配置文件生成方法的计算机程序。
[0017]本专利技术实施例带来了以下有益效果：本专利技术实施例提供了一种采集工具配置文件生成方案，该方案包括：获取采集配置信息；采集配置信息用于确定配置文件的配置项；根据配置项和数据库中目标版本的配置模板确定变动项，并根据变动项调整配置项；利用调整后的配置项获取日志采集信息；根据日志采集信息生成采集工具配置文件。本专利技术实施例利用调整后的配置项获取日志采集信息，用简单、易于理解的信息将配置项展示给用户，根据这些信息，用户可以很轻松的将配置项填写正确，方便后续生成配置文件的时候降低出错概率；根据配置项和数据库中目标版本的配置模板确定变动项，并根据变动项调整配置项，从而实现当采集工具有所更新的时候，配置文件也会随着会有新增或删除的配置项，用户可及时感知配置文件的变化，有助于最终配置文件的正确生成。
[0018]本专利技术的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
[0019]为使本专利技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
[0020]为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0021]图1为本专利技术实施例提供的采集工具配置文件生成方法流程图；
[0022]图2为本专利技术实施例提供的采集工具配置文件生成方法实施流程示意图；
[0023]图3为本专利技术实施例提供的获取日志采集信息界面示意图；
[0024]图4为本专利技术实施例提供的采集工具配置文件生成装置结构框图；
[0025]图5为本专利技术实施例提供的生成模块结构框图；
[0026]图6为本专利技术实施例提供的根据日志采集信息生成采集工具配置文件步骤示意图；
[0027]图7为本专利技术实施例提供的电子设备结构框图；
[0028]图8为本专利技术实施例提供的另一种采集工具配置文件生成装置结构框图。
具体实施方式
[0029]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0030]随着人工智能技术不断进步，日志数据采集更倾向于简单化、智能化发展，在日志数据采集的过程中，优秀的日志采集工具可以接收较少的配置项来达到较好的采集效果。
自动生成配置文件可以有效减少人工配置采集工具的步骤，以最少的配置项，最快的配置速度，生成有效配置文件来完成采集工具的配置，并达到预期数据采集需求。
[0031]针对不同的数据采集场景，所需配置文件的配置项不尽相同，配置文件的生成规则也会有变化，如何利用现有的配置项生成正确的符合数据采集场景的配置文件以及如何处理配置文件模板更新引发的配置项的变化是自动化生成配置文件需求下需要解决的问题。
[0032]目前，现有解决方案的主要缺点包括如下两个方面：
[0033]第一、配置项较难理解，填错导致采集工具启动不正确。
[0034]例如，historyFileNameLength、dateSite、growthPoint、timeOutDay等参数，但从参数命名来看，用户很难直观的看出每个参数所代表的含义，不理解参数的含义就会导致参数值配置错误，进而影响采集工具配置文件的正确性，配置文件的错误就会导致采集工具启动错误，数据不能正常被采集。
[0035]第二、配置模板更新后，用户不能及时感知。
[0036]采集工具的版本更新后，配置参数会发生变化，势必配置文件的配置项有所改变，用户因为不了解采集机制，因此对配置文件的变化也不是很敏感，经常会使用旧版本的配置文件去启动新版本的采集工具程序，如果配置项有增加或减少，旧版本的配置文件已经不适用于新版本的采集程序，会导致采本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种采集工具配置文件生成方法，其特征在于，包括：获取采集配置信息；所述采集配置信息用于确定配置文件的配置项；根据所述配置项和数据库中目标版本的配置模板确定变动项，并根据所述变动项调整所述配置项；利用调整后的配置项获取日志采集信息；根据所述日志采集信息生成采集工具配置文件。2.根据权利要求1所述的方法，其特征在于，根据所述变动项调整所述配置项，包括：若所述变动项为新增项，则在前端页面增加所述新增项；若所述变动项为删除项，则在前端页面减少所述删除项。3.根据权利要求1所述的方法，其特征在于，利用调整后的配置项获取日志采集信息，包括：利用调整后的配置项获取流水日志的采集信息或获取监控日志的采集信息。4.根据权利要求1所述的方法，其特征在于，所述日志采集信息至少包括日志类型信息、日志文件清理策略信息和采集路径信息；根据所述日志采集信息生成采集工具配置文件，包括：根据所述日志类型信息和日志文件清理策略信息确定采集源数量；根据所述采集路径信息确定采集路径编号；根据所述采集源数量和所述采集路径编号生成采集工具配置文件。5.根据权利要求1
‑
4任一项所述的方法，其特征在于，还包括：更新所述数据库中采集工具的版本。6.一种采集工具配置文件生成装置，其特征在于，包括：获取模块，用于获取采集配置信息；所述采集配置信息用于确定配置文件的配置项；对比模块，用于根据所述配置项和数据库中目标版本的配置模板确定变动项，并根据所...

【专利技术属性】
技术研发人员：朱梦，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：