一种数据接入方法、装置、计算机设备及存储介质制造方法及图纸

本发明专利技术涉及软件工程技术领域，尤其涉及一种数据接入方法、装置、计算机设备及存储介质，获取用户对待接入数据的配置信息，根据配置信息对待接入数据进行消费处理，得到待接入数据的主题，确定主题的数据格式，根据数据格式从配置信息选取对应的计算程序对待接入数据进行解析计算，得到解析后的数据，在配置信息对应的存储介质中建立存储表，将解析后的数据存储至存储表。本发明专利技术中，通过配置界面配置消费信息，解析信息与存储信息，启动数据接入程序进行数据接入，直接根据配置信息进行将任意待接入数据进行配置化接入，无需根据不同的数据源设置多套代码，提高了数据接入的效率。提高了数据接入的效率。提高了数据接入的效率。

【技术实现步骤摘要】
一种数据接入方法、装置、计算机设备及存储介质


[0001]本专利技术涉及软件工程
，尤其涉及一种数据接入方法、装置、计算机设备及存储介质。

技术介绍

[0002]随着互联网技术的快速发展，在目前的网络技术应用中，通过接入不同产品的数据，以对各种数据进行大数据分析，实现各种指数和数据的运算，已经是互联网运用的一项重要内容。为了能够进行大数据分析，从各个产品接入相关的基础数据，成为其中的一项重要内容，而接入基础数据的效率，直接影响到后续的分析处理等过程的效率。
[0003]目前的接入各产品的基础数据的方式，通常是针对各产品的数据源分别接入，即针对各数据源，分别编写对应的程序代码，对各数据源分别采用其对应的程序代码进行文件验证、数据读取、数据检验、数据写入、数据告警等各种编码分析处理过程。或者是直接统一各个数据源的数据格式，使得整个过程只需要一套代码就可以进行批量处理。然而，在采用对各产品的数据源分别接入的情况下，每个数据源都需要有对应的程序代码，不仅需要增加很多重复性的工作，导致开发、测试等成本高，而且随着接入的数据源或者数据量的加大，代码量会持续增大，需要增加的模块也越来越多，造成数据接入的效率越来越低，因此，如何提高数据接入效率成为亟待解决的问题。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种数据接入方法、装置、计算机设备及存储介质，以解决数据接入效率较低的问题。
[0005]本申请实施例的第一方面提供了一种数据接入方法，所述数据接入包括：
[0006]获取用户对待接入数据的配置信息，根据所述配置信息对所述待接入数据进行消费处理，得到所述待接入数据的主题，确定所述主题的数据格式；
[0007]根据所述数据格式从所述配置信息选取对应的计算程序对所述待接入数据进行解析计算，得到解析后的数据；
[0008]在所述配置信息对应的存储介质中建立存储表，将所述解析后的数据存储至所述存储表。
[0009]本申请实施例的第二方面提供了一种数据接入装置，所述装置包括：
[0010]获取模块，用于获取用户对待接入数据的配置信息，根据所述配置信息对所述待接入数据进行消费处理，得到所述待接入数据的主题，确定所述主题的数据格式；
[0011]解析模块，用于根据所述数据格式从所述配置信息选取对应的计算程序对所述待接入数据进行解析计算，得到解析后的数据；
[0012]存储模块，用于在所述配置信息对应的存储介质中建立存储表，将所述解析后的数据存储至所述存储表。
[0013]第三方面，本专利技术实施例提供一种计算机设备，所述计算机设备包括处理器、存储
器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的数据接入方法。
[0014]第四方面，本专利技术实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的数据接入方法。
[0015]本专利技术与现有技术相比存在的有益效果是：
[0016]获取用户对待接入数据的配置信息，根据配置信息对待接入数据进行消费处理，得到待接入数据的主题，确定主题的数据格式，根据数据格式从配置信息选取对应的计算程序对待接入数据进行解析计算，得到解析后的数据，在配置信息对应的存储介质中建立存储表，将解析后的数据存储至存储表。本专利技术中，通过配置界面配置消费信息，解析信息与存储信息，启动数据接入程序进行数据接入，直接根据配置信息进行将任意待接入数据进行配置化接入，无需根据不同的数据源设置多套代码，提高了数据接入的效率。
附图说明
[0017]为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0018]图1是本专利技术一实施例提供的一种数据接入方法的一应用环境示意图；
[0019]图2是本专利技术一实施例提供的一种数据接入方法的流程示意图；
[0020]图3是本专利技术一实施例提供的一种数据接入装置的结构示意图；
[0021]图4是本专利技术一实施例提供的一种计算机设备的结构示意图。
具体实施方式
[0022]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0023]应当理解，当在本专利技术说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
[0024]还应当理解，在本专利技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
[0025]如在本专利技术说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
[0026]另外，在本专利技术说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0027]在本专利技术说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本专利技术的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
[0028]应理解，以下实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本专利技术实施例的实施过程构成任何限定。
[0029]为了说明本专利技术的技术方案，下面通过具体实施例来进行说明。
[0030]本专利技术一实施例提供的一种数据接入方法，可应用在如图1的应用环境中，其中，客户端与服务端进行通信。其中，客户端包括但不限于掌上电脑、桌上型计算机、笔记本电脑、超级移动个人计算机(ultra
‑
mobile personal computer，UMPC)、上网本、个人数字助理本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据接入方法，其特征在于，所述数据接入方法包括：获取用户对待接入数据的配置信息，根据所述配置信息对所述待接入数据进行消费处理，得到所述待接入数据的主题，确定所述主题的数据格式；根据所述数据格式从所述配置信息选取对应的计算程序对所述待接入数据进行解析计算，得到解析后的数据；在所述配置信息对应的存储介质中建立存储表，将所述解析后的数据存储至所述存储表。2.如权利要求1中的数据接入方法，其特征在于，所述获取用户对待接入数据的配置信息，包括：获取所述待接入数据的信息配置界面；接收用户通过信息配置界面输入的与所述配置项目对应的待配置数据；根据所述待配置数据，获取用户对所述待接入数据的配置信息。3.如权利要求1中的数据接入方法，其特征在于，所述根据所述配置信息对所述待接入数据进行消费处理，得到所述待接入数据的主题，确定所述主题的数据格式，包括：根据所述配置信息，确定读取所述待接入数据的消费起始位置；根据所述消费起始位置，得到所述消费起始位置对应的所述待接入数据的主题；监控所述待接入数据的主题，确定所述主题中的数据格式。4.如权利要求1中的数据接入方法，其特征在于，所述根据所述数据格式从所述配置信息选取对应的计算程序对所述待接入数据进行解析计算，得到解析后的数据，包括：基于所述计算程序识别所述待接入数据的字段名称；对所述待接入数据进行分隔处理，得到分隔符列表；根据所述分隔符列表以及所述字段名称对所述待接入数据进行解析处理，得到解析后的数据。5.如权利要求4中的数据接入方法，其特征在于，所述根据所述分隔符列表以及所述字段名称对待接入数据进行解析处理，得到解析后的数据，包括：将所述字段名称与所述分隔符...

【专利技术属性】
技术研发人员：余辉，
申请(专利权)人：深圳市酷开网络科技股份有限公司，
类型：发明
国别省市：