一种基于文件采集业务数据的方法技术

本发明专利技术提供了一种基于文件采集业务数据的方法，包括以下步骤：S1、由管理人员创建模型指定要采集的变量名称并存储到数据；S2、管理人员根据对接方提供的文件类型，选择创建数据采集规则；S3、启动文件采集程序，读取文件采集规则，根据文件采集周期创建定时任务，定时触发对应目录文件的读取；S4、当操作人员进行文件采集规则变更时通过发送消息至消息队列，采集程序接收到消息后更新采集规则，重复步骤S3进行读取。本发明专利技术有益效果：通过对工业系统中对接文件并进行数据采集分析的需求提供了一种技术方案，支持较常用的的文件格式及解析规则，支持规则变更等，并根据自定义时间字段记录上次读取行数等方式满足数据准确及性能上的需要。的需要。的需要。

【技术实现步骤摘要】
一种基于文件采集业务数据的方法


[0001]本专利技术属于云数据领域，尤其是涉及一种基于文件采集业务数据的方法。

技术介绍

[0002]在一些依赖第三方提供数据并以一定形式提供的系统，特别是一些政务类系统或工业云领域，文件也是一种较为常见的数据接入方式，现有技术中缺少用于解决上述问题的方法，因此亟需一种基于文件采集业务数据的方法。

技术实现思路

[0003]有鉴于此，本专利技术旨在提出一种基于文件采集业务数据的方法，以至少解决
技术介绍
中的至少一个问题。
[0004]为达到上述目的，本专利技术的技术方案是这样实现的：
[0005]一种基于文件采集业务数据的方法，包括以下步骤：
[0006]S1、由管理人员创建模型指定要采集的变量名称并存储到数据；
[0007]S2、管理人员根据对接方提供的文件类型，选择创建数据采集规则；
[0008]S3、启动文件采集程序，读取文件采集规则，根据文件采集周期创建定时任务，定时触发对应目录文件的读取；
[0009]S4、当操作人员进行文件采集规则变更时通过发送消息至消息队列，采集程序接收到消息后更新采集规则，重复步骤S3进行读取；
[0010]S5、当采集程序完成步骤S3后，基于业务系统进行数据格式统一转换并进行存储，格式化后的数据即可用于业务系统进行内容展示、数据分析结果展示。
[0011]进一步的，在步骤S2中，文件类型包括CVS、Excel、Txt格式。
[0012]进一步的，在步骤S2中，采集规则包括采集文件类型、采集按行读取或按列读取、从第几行或第几列开始读取、数据采取追加还是覆盖、要采集的数据时间对应字段、数据时间格式、文件同步后存放的目录、文件采集周期。
[0013]进一步的，在步骤S3中，具体步骤如下：解析文件，根据步骤S1定义的变量名称读取文件对应行或列的数据，并记录最近一条数据的时间及数据所在的行数列数，下次数据采集时跳过上次记录最后一条数据所在的行或列。
[0014]进一步的，本方案公开了一种电子设备，包括处理器以及与处理器通信连接，且用于存储所述处理器可执行指令的存储器，所述处理器用于执行一种基于文件采集业务数据的方法。
[0015]进一步的，本方案公开了一种服务器，包括至少一个处理器，以及与所述处理器通信连接的存储器，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述处理器执行，以使所述至少一个处理器执行一种基于文件采集业务数据的方法。
[0016]进一步的，本方案公开了一种计算机可读取存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现一种基于文件采集业务数据的方法。
[0017]相对于现有技术，本专利技术所述的一种基于文件采集业务数据的方法具有以下有益效果：
[0018]本专利技术所述的一种基于文件采集业务数据的方法，通过对工业系统中对接文件并进行数据采集分析的需求提供了一种技术方案，支持较常用的的文件格式及解析规则，支持规则变更等，并根据自定义时间字段记录上次读取行数等方式满足数据准确及性能上的需要。
附图说明
[0019]构成本专利技术的一部分的附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：
[0020]图1为本专利技术实施例所述的一种基于文件采集业务数据的方法示意图。
具体实施方式
[0021]需要说明的是，在不冲突的情况下，本专利技术中的实施例及实施例中的特征可以相互组合。
[0022]下面将参考附图并结合实施例来详细说明本专利技术。
[0023]如图1所示，本方案公开了一种基于文件采集业务数据的方法，具体步骤如下：
[0024]步骤1、由管理人员创建模型指定要采集的变量名称并存储到数据。
[0025]步骤2、管理人员根据对接方提供的文件类型如CVS、Excel、Txt等格式选择创建数据采集规则：采集文件类型、采集按行读取或按列读取、从第几行或第几列开始读取、数据采取追加还是覆盖、要采集的数据时间对应字段、数据时间格式、文件同步后存放的目录、文件采集周期等规则；
[0026]步骤3、启动文件采集程序，读取文件采集规则，根据文件采集周期创建定时任务，定时触发对应目录文件的读取：解析文件，根据步骤1定义的变量名称读取文件对应行或列的数据，并记录最近一条数据的时间及数据所在的行数列数，下次数据采集时跳过上次记录最后一条数据所在的行或列；
[0027]步骤4、当操作人员进行文件采集规则变更时通过发送消息至消息队列，采集程序接收到消息后更新采集规则，重复步骤3进行读取。
[0028]步骤5、当采集程序完成步骤3后，基于业务系统进行数据格式统一转换并进行存储，格式化后的数据即可用于业务系统进行内容展示、数据分析结果展示等。
[0029]本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本专利技术的范围。
[0030]在本申请所提供的几个实施例中，应该理解到，所揭露的方法和系统，可以通过其它的方式实现。例如，以上所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征
可以忽略，或不执行。上述单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本专利技术实施例方案的目的。
[0031]最后应说明的是：以上各实施例仅用以说明本专利技术的技术方案，而非对其限制；尽管参照前述各实施例对本专利技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本专利技术各实施例技术方案的范围，其均应涵盖在本专利技术的权利要求和说明书的范围当中。
[0032]以上所述仅为本专利技术的较佳实施例而已，并不用以限制本专利技术，凡在本专利技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本专利技术的保护范围之内。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于文件采集业务数据的方法，其特征在于，包括以下步骤：S1、由管理人员创建模型指定要采集的变量名称并存储到数据；S2、管理人员根据对接方提供的文件类型，选择创建数据采集规则；S3、启动文件采集程序，读取文件采集规则，根据文件采集周期创建定时任务，定时触发对应目录文件的读取；S4、当操作人员进行文件采集规则变更时通过发送消息至消息队列，采集程序接收到消息后更新采集规则，重复步骤S3进行读取；S5、当采集程序完成步骤S3后，基于业务系统进行数据格式统一转换并进行存储，格式化后的数据即可用于业务系统进行内容展示、数据分析结果展示。2.根据权利要求1所述的一种基于文件采集业务数据的方法，其特征在于，在步骤S2中，文件类型包括CVS、Excel、Txt格式。3.根据权利要求1所述的一种基于文件采集业务数据的方法，其特征在于，在步骤S2中，采集规则包括采集文件类型、采集按行读取或按列读取、从第几行或第几列开始读取、数据采取追加还是覆盖、要采集的数据时间对应字段、数据时间格式、文件同步后存放的目录、文件采集周期。4...

【专利技术属性】
技术研发人员：王鹏凯，
申请(专利权)人：紫光云技术有限公司，
类型：发明
国别省市：