一种基于数据灵活接入标准化输出方法技术

本发明专利技术提出了一种基于数据灵活接入标准化输出方法，包括：步骤S1，接收用户选择的数据类型；步骤S2，根据用户选择的数据类型，设置接入方式；步骤S3，根据选择的接入方式，将用户需要的数据源接口接入，以接入对应的数据；步骤S4，对接入的数据格式进行判断识别；步骤S5，将识别得到的多种格式的原始数据，按照预设的数据格式进行标准化转换；步骤S6，生成预设的数据格式的接口，输出转换后的数据，以得到符合预设的数据格式的数据。本发明专利技术提供数据接口管理可灵活配置，是实现数据调用的一个重要节省成本的功能，提供数据范围可配置，实现调用范围的可控，将会节省企业调用数据的成本以及精力。

A standard output method based on data flexible access

【技术实现步骤摘要】
一种基于数据灵活接入标准化输出方法
本专利技术涉及数据管理
，特别涉及一种基于数据灵活接入标准化输出方法。
技术介绍
随着互联网发展，各种各样的数据不断充斥着我们的生活，现如今已经有越来越多的公司和机构需要接入各种各样的数据，以满足该公司、机构对其他公司、其他团体的了解以及筛选。例如济南农村商业银行需要接入政府公积金数据对客户进行评级，新华保险需要接入社保中心的数据为其进行服务，武汉银行需要接入省建委的数据进行分析等等，而且一般情况下企业用户都是要接入多种数据才能满足其自身的需求。具体来说，支撑这些场景需求的数据调用系统，面临大致相同的技术挑战：1.由于各种数据协议拥有的优势不同，各企业应用的数据格式也是非常多样的，企业用户在接入其他机构数据的时候，首先面临的问题就是数据格式的转换，企业用户可能会遇到的不同类型的数据格式包括：Jdbc、SOAP、xml、json、FTP、RestfulAPI。一个企业只有将其他企业的数据格式转换成自己常用的格式才能进行出具处理等工作。然而将各个企业不同格式的数据进行转换并且对接的工作错综复杂，传统的做法是针对不同格式的数据进行定制化开发，这种方式大大延长了数据传输的周期。另外，数据传输方式也存在多样性问题，包括并行传输、串行传输、异步传输、同步传输、单工传输、半双工数据传输、全双工数据传输等类别，不同的数据传输方式的不同必定会影响数据传输的时间、周期等要素。传统的数据格式转换是需要开发人员通过程序进行处理，需要过多的研发人员参入和过程繁琐费事。2.数据库协议类型多样性，导致各个数据库之间的数据不能交互处理，在表面上看：企业能拿到数据，但是不能处理数据。一般情况下企业会单独开发数据库协议接口使各个数据之间实现数据交互，但是需要其针对每种数据源需要定制化开发对接应用系统，开发过程存在周期长、程繁琐等问题，已经远远不能满足现在快速发展的需要。3.企业调用数据需要支付一定费用，通常调用多种数据才能满足企业的需要，但是一些情况下，企业不需要调用全部接入的数据也可满足需求，为解决这样的困难，企业只能靠人为操作提高某些数据调用的优先级，存在不灵活、耗费人力资源的现象。4.容错机制，在数据调用过程中存在数据源或者网络不稳定的特殊情况，在出现特殊情况的时候(如：断网、调用数据不成功)，如何将数据调用工作进行下去成为一个亟待解决的问题。5.在调用数据过程中，企业对需要的各个数据使用范围的控制也是一个企业比较节省成本的一个功能，企业使用一项数据往往是这项数据的一部分，不会全部使用，如何实现调用范围可控是当前需要解决的技术问题。
技术实现思路
本专利技术的目的旨在至少解决所述技术缺陷之一。为此，本专利技术的目的在于提出一种基于数据灵活接入标准化输出方法为了实现上述目的，本专利技术的实施例提供一种基于数据灵活接入标准化输出方法，包括：步骤S1，接收用户选择的数据类型；步骤S2，根据用户选择的数据类型，设置接入方式；步骤S3，根据选择的接入方式，将用户需要的数据源接口接入，以接入对应的数据；步骤S4，对接入的数据格式进行判断识别；步骤S5，将识别得到的多种格式的原始数据，按照预设的数据格式进行标准化转换；步骤S6，生成预设的数据格式的接口，输出转换后的数据，以得到符合预设的数据格式的数据。进一步，在所述步骤S2中，所述接入方式包括：(1)数据源管理：接入用户授权管理的数据，管理第三方数据源接入，支持用户登录验证，支持连接时长控制，支持参数配置，支持系统参数和在线联调测试；(2)源接口管理：接入软件拥有公司已经授权管理的数据，管理数据源下的数据接口接入，配置数据源下各种数据接口，支持多种请求方式，数据接口返回代码及代码值，支持数据加密、数据接口在线热插拔，支持接口联调测试。进一步，在所述步骤S4中，所述数据格式包括：RestfulAPI、JDBC、FTP、Socket、WebService、ESB。进一步，在所述步骤S6中，将原始数据转换为一种或多种预设的数据格式。进一步，在所述步骤S6中，对接口进行优先级配置，以实现接口的优先调用。进一步，将费用较低的接口优先级调高，费用较高的接口调低，当费用较低的接口成功返回数据时，将不再调用费用较高的接口；当优先级较高的接口故障时，进行容错处理，如果该接口无响应，再继续顺序调用，依次类推直到最后一层。进一步，在数据调用中，设置缓存机制，设置原始接口的缓存天数，缓存主键是接口名+KeyID，当该KeyID的接口在有效性期内，直接调用上次的缓存，否则调用数据源；当在有效期内，使用缓存速度远高于原始接口的速度。进一步，还包括如下步骤：向用户提供在线查看使用日志，查看用户在各时间调用的具体接口的数据格式、输入参数、输出参数和当时调用状态。进一步，还包括如下步骤：统计展示以下数据：(1)当日调用的源接口总次数、成功次数和失败次数；(2)数据源各时间调用情况和排名；(3)源接口调用占比，分别从成功、失败维度统计和总调用量统计。根据本专利技术实施例的基于数据灵活接入标准化输出方法,可以支持多种类型的数据协议接入配置，这些数据协议的类型包括RestfulAPI、JDBC、FTP、Socket、WebService、ESB；实现接口管理，将多种格式的原始数据，按照用户的自定义的数据项标准化输出；用户可配置输出数据范围，并集或者交集可由用户自行配置。本专利技术能满足用户多种个性化开发场景，使得用户不用进行研发介入即可实现转换数据格式的目的，并且能同时接入用户需要的多个数据，并根据用户的个性化需求，而产生用户需要的数据接口，将数据进行高效地输出。本专利技术提供数据接口管理可灵活配置，是实现数据调用的一个重要节省成本的功能。本专利技术提供数据范围可配置，实现调用范围的可控，将会节省企业调用数据的成本以及精力。本专利技术可以使企业在调用数据过程中清除数据格式多样化带来的障碍，打通不同类型数据库之间的交互通道，满足企业在调用数据过程中的节省成本、容错、数据范围可配置等需求。本专利技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明本专利技术的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：图1为根据本专利技术实施例的基于数据灵活接入标准化输出方法的流程图；图2为根据本专利技术实施例的基于数据灵活接入标准化输出方法的示意图；图3为根据本专利技术实施例的整个数据在“数据源管理”、“源接口管理”、“接口管理”三个模块间流转的示意图；图4为根据本专利技术实施例的“计费中心”、“监控中心”、“用户管理”三模块之间的关系；图5为根据本专利技术实施例的数据源管理的示意图；图6为根据本专利技术实施例的源接口管理的示意图；图7为根据本专利技术实施例的接口管理的示意图；图8a本文档来自技高网...

【技术保护点】
1.一种基于数据灵活接入标准化输出方法，其特征在于，包括：/n步骤S1，接收用户选择的数据类型；/n步骤S2，根据用户选择的数据类型，设置接入方式；/n步骤S3，根据选择的接入方式，将用户需要的数据源接口接入，以接入对应的数据；/n步骤S4，对接入的数据格式进行判断识别；/n步骤S5，将识别得到的多种格式的原始数据，按照预设的数据格式进行标准化转换；/n步骤S6，生成预设的数据格式的接口，输出转换后的数据，以得到符合预设的数据格式的数据。/n

【技术特征摘要】
1.一种基于数据灵活接入标准化输出方法，其特征在于，包括：
步骤S1，接收用户选择的数据类型；
步骤S2，根据用户选择的数据类型，设置接入方式；
步骤S3，根据选择的接入方式，将用户需要的数据源接口接入，以接入对应的数据；
步骤S4，对接入的数据格式进行判断识别；
步骤S5，将识别得到的多种格式的原始数据，按照预设的数据格式进行标准化转换；
步骤S6，生成预设的数据格式的接口，输出转换后的数据，以得到符合预设的数据格式的数据。


2.如权利要求1所述的基于数据灵活接入标准化输出方法，其特征在于，在所述步骤S2中，所述接入方式包括：
(1)数据源管理：接入用户授权管理的数据，管理第三方数据源接入，支持用户登录验证，支持连接时长控制，支持参数配置，支持系统参数和在线联调测试；
(2)源接口管理：接入软件拥有公司已经授权管理的数据，管理数据源下的数据接口接入，配置数据源下各种数据接口，支持多种请求方式，数据接口返回代码及代码值，支持数据加密、数据接口在线热插拔，支持接口联调测试。


3.如权利要求1所述的基于数据灵活接入标准化输出方法，其特征在于，在所述步骤S4中，所述数据格式包括：RestfulAPI、JDBC、FTP、Socket、WebService、ESB。


4.如权利要求1所述的基于数据灵活接入标准化输出方法，其特征在于，在所述步骤S6中，将原始数...

【专利技术属性】
技术研发人员：崔晶晶，段国伟，
申请(专利权)人：集奥聚合北京人工智能科技有限公司，
类型：发明
国别省市：北京;11