数据组件管理方法、装置、系统、电子设备及存储介质制造方法及图纸

本申请提供一种数据组件管理方法、装置、系统、电子设备及存储介质，接收业务方基于认证信息登录大数据平台时发送的数据操作请求，其中认证信息为业务方在云管理平台申请目标数据采集组件时生成的；采用目标数据采集组件进行数据采集，利用目标数据传输组件将数据传输到目标数据处理组件，使目标数据处理组件对数据进行处理；对接收到的业务方发送的数据组件下线请求对应的目标数据组件的目标资源信息进行备份，将目标资源信息进行删除，将生成的下线信息发送给云管理平台，其中目标资源信息为业务方在云管理平台上申请目标数据组件时生成的。本发明专利技术，能够让业务方快速、便捷地申请、使用数据组件，以及对过期的数据组件注销下线为目的。

【技术实现步骤摘要】
数据组件管理方法、装置、系统、电子设备及存储介质
本专利技术涉及计算机
，更具体地说，涉及数据组件管理方法、装置、系统、电子设备及存储介质。
技术介绍
随着信息技术的不断发展，当今世界已进入“大数据时代”。每个行业领域的数据呈现指数级增长，传统的数据库已经无法满足当前大数据量的存储、分析、检索的需求，从而催生出许多大数据组件，形成了hadoop生态。因此，在当前的业务需求的不断增加和大数据领域的不断发展的情况下，如何提供一种让业务方快速、便捷地申请、使用大数据组件资源，并对过期的大数据组件资源实现注销下线操作，是本申请亟需解决的问题。
技术实现思路
有鉴于此，本专利技术提供一种数据组件资源管理方法、装置、系统、电子设备及存储介质，以实现让业务方快速、便捷地申请、使用数据组件，以及对过期的数据组件注销下线为目的。本专利技术第一方面公开一种数据组件管理方法，应用于大数据平台，所述方法包括：接收业务方基于认证信息登录所述大数据平台时发送的数据操作请求，其中，所述数据操作请求包括所述业务方选择的目标数据采集组件，所述认证信息为所述业务方在云管理平台申请所述目标数据采集组件时生成的；采用所述目标数据采集组件进行数据采集，并利用目标数据传输组件将所述数据传输到目标数据处理组件，使所述目标数据处理组件对所述数据进行处理，其中，所述目标数据传输组件为与所述目标数据采集组件进行绑定的数据传输组件，所述目标数据处理组件为与所述目标数据传输组件进行绑定的数据处理组件；当接收到所述业务方发送的数据组件下线请求时，对所述数据组件下线请求对应的目标数据组件的目标资源信息进行备份，将所述目标资源信息进行删除，并将生成的下线信息发送给所述云管理平台，其中，所述目标资源信息为所述业务方在所述云管理平台上申请所述目标数据组件时生成的。本专利技术第二方面公开一种数据组件管理方法，应用于云管理平台，所述方法包括：接收业务方发送的项目申请请求申请相应的数据组件，其中，所述项目申请请求至少包括项目名称，所述项目名称为所述业务方在申请业务名称时申请的，所述数据组件为数据采集组件、数据传输组件或者数据处理组件；基于所述项目名称申请相应的数据组件，将所述数据组件与其他数据组件进行绑定，并生成与所述数据组件相关的认证信息和资源信息，其中，若所述数据组件为所述数据采集组件，所述其他数据组件为所述业务方权限下的与所述数据采集组件相关的所述数据传输组件；若所述数据组件为所述数据传输组件，所述其他数据组件为所述业务方权限下的与所述数据传输组件相关的所述数据采集组件或者所述数据处理组件；若所述数据组件为所述数据处理组件，所述其他数据组件为所述业务方权限下的与所述数据处理组件相关的所述数据传输组件；将所述认证信息和所述资源信息发送给大数据平台，以及将所述认证信息和所述资源信息返回给所述业务方，使所述业务方基于所述认证信息登录所述大数据平台对所述数据组件进行数据操作。本专利技术第三方面公开一种数据组件管理装置，应用于大数据平台，所述装置包括：第一接收单元，用于接收业务方基于认证信息登录所述大数据平台时发送的数据操作请求，其中，所述数据操作请求包括所述业务方选择的目标数据采集组件，所述认证信息为所述业务方在云管理平台申请所述数据采集组件时生成的；处理单元，用于采用所述目标数据采集组件进行数据采集，并利用目标数据传输组件将所述数据传输到目标数据处理组件，使所述目标数据处理组件对所述数据进行处理，其中，所述目标数据传输组件为与所述目标数据采集组件进行绑定的数据传输组件，所述目标数据处理组件为与所述目标数据传输组件进行绑定的数据处理组件；第一下线单元，当接收到所述业务方发送的数据组件下线请求时，对所述数据组件下线请求对应的目标数据组件的目标资源信息进行备份，将所述目标资源信息进行删除，并将生成的下线信息发送给所述云管理平台，其中，所述目标资源信息为所述业务方在所述云管理平台上申请所述目标数据组件时生成的。本专利技术第四方面公开一种数据组件管理装置，应用于云管理平台，所述装置包括：第二接收单元，用于接收业务方发送的项目申请请求申请相应的数据组件，其中，所述项目申请请求至少包括项目名称，所述项目名称为所述业务方在申请业务名称时申请的，所述数据组件为数据采集组件、数据传输组件或者数据处理组件；申请单元，用于基于所述项目名称申请相应的数据组件，将所述数据组件与其他数据组件进行绑定，并生成与所述数据组件相关的认证信息和资源信息，其中，若所述数据组件为所述数据采集组件，所述其他数据组件为所述业务方权限下的与所述数据采集组件相关的所述数据传输组件；若所述数据组件为所述数据传输组件，所述其他数据组件为所述业务方权限下的与所述数据传输组件相关的所述数据采集组件或者所述数据处理组件；若所述数据组件为所述数据处理组件，所述其他数据组件为所述业务方权限下的与所述数据处理组件相关的所述数据传输组件；发送单元，用于将所述认证信息和所述资源信息发送给大数据平台，以及将所述认证信息和所述资源信息返回给所述业务方，使所述业务方基于所述认证信息登录所述大数据平台对所述数据组件进行数据操作。本专利技术第五方面公开一种数据组件管理系统，所述系统包括：云管理平台，用于接收业务方发送的项目申请请求申请相应的数据组件；基于所述项目名称申请相应的数据组件，将所述数据组件与其他数据组件进行绑定，并生成与所述数据组件相关的认证信息和资源信息；将所述认证信息和所述资源信息发送给大数据平台，以及将所述认证信息和所述资源信息返回给所述业务方，使所述业务方基于所述认证信息登录所述大数据平台对所述数据组件进行数据操作；其中，所述项目申请请求至少包括项目名称，所述项目名称为所述业务方在申请业务名称时申请的，所述数据组件为数据采集组件、数据传输组件或者数据处理组件，若所述数据组件为所述数据采集组件，所述其他数据组件为所述业务方权限下的与所述数据采集组件相关的所述数据传输组件；若所述数据组件为所述数据传输组件，所述其他数据组件为所述业务方权限下的与所述数据传输组件相关的所述数据采集组件或者所述数据处理组件；若所述数据组件为所述数据处理组件，所述其他数据组件为所述业务方权限下的与所述数据处理组件相关的所述数据传输组件；大数据平台，用于接收所述业务方基于所述认证信息登录所述大数据平台时发送的数据操作请求；采用所述目标数据采集组件进行数据采集，并利用目标数据传输组件将所述数据传输到目标数据处理组件，使所述目标数据处理组件对所述数据进行处理；当接收到所述业务方发送的数据组件下线请求时，对所述数据组件下载请求对应的目标数据组件的目标资源信息进行备份，将所述目标资源信息进行删除，并将生成的下线信息发送给所述云管理平台，其中，所述数据操作请求包括所述业务方选择的目标数据采集组件所述认证信息为所述业务方在云管理平台申请所述目标数据采集组件时生成的，所述目标数据传输组件为与所述目标数据采集组件进行绑定的数据传输组件，所述目标数据处理组件为与所本文档来自技高网...

【技术保护点】
1.一种数据组件管理方法，其特征在于，应用于大数据平台，所述方法包括：/n接收业务方基于认证信息登录所述大数据平台时发送的数据操作请求，其中，所述数据操作请求包括所述业务方选择的目标数据采集组件，所述认证信息为所述业务方在云管理平台申请所述目标数据采集组件时生成的；/n采用所述目标数据采集组件进行数据采集，并利用目标数据传输组件将所述数据传输到目标数据处理组件，使所述目标数据处理组件对所述数据进行处理，其中，所述目标数据传输组件为与所述目标数据采集组件进行绑定的数据传输组件，所述目标数据处理组件为与所述目标数据传输组件进行绑定的数据处理组件；/n当接收到所述业务方发送的数据组件下线请求时，对所述数据组件下线请求对应的目标数据组件的目标资源信息进行备份，将所述目标资源信息进行删除，并将生成的下线信息发送给所述云管理平台，其中，所述目标资源信息为所述业务方在所述云管理平台上申请所述目标数据组件时生成的。/n

【技术特征摘要】
1.一种数据组件管理方法，其特征在于，应用于大数据平台，所述方法包括：
接收业务方基于认证信息登录所述大数据平台时发送的数据操作请求，其中，所述数据操作请求包括所述业务方选择的目标数据采集组件，所述认证信息为所述业务方在云管理平台申请所述目标数据采集组件时生成的；
采用所述目标数据采集组件进行数据采集，并利用目标数据传输组件将所述数据传输到目标数据处理组件，使所述目标数据处理组件对所述数据进行处理，其中，所述目标数据传输组件为与所述目标数据采集组件进行绑定的数据传输组件，所述目标数据处理组件为与所述目标数据传输组件进行绑定的数据处理组件；
当接收到所述业务方发送的数据组件下线请求时，对所述数据组件下线请求对应的目标数据组件的目标资源信息进行备份，将所述目标资源信息进行删除，并将生成的下线信息发送给所述云管理平台，其中，所述目标资源信息为所述业务方在所述云管理平台上申请所述目标数据组件时生成的。


2.根据权利要求1所述的方法，其特征在于，所述当接收到所述业务方发送的数据组件下线请求时，对所述数据组件下线请求对应的目标数据组件的目标资源信息进行备份，将所述目标资源信息进行删除，并将生成的下线信息发送给所述云管理平台，包括：
接收所述业务方发送的数据组件下线请求，所述数据组件下线请求包括请求下线的目标数据组件；
将所述目标数据组件的目标资源信息备份至预设数据表中，并将所述预设数据表中所述目标数据组件的请求类型设置为下线类型，其中，所述预设数据表预先设置于所述大数据平台的备库中；
将所述目标资源信息进行删除，并将所述预设数据表中的所述目标资源信息进行锁定；
当锁定时间达到预设时间时，将所述预设数据表中所述目标数据组件的请求类型设置为已下线，并将生成的下线信息发送给所述云管理平台。


3.根据权利要求1所述的方法，其特征在于，若所述目标数据组件为Flink数据处理组件或者Hadoop数据存储组件，所述当接收到所述业务方发送的数据组件下线请求时，对所述数据组件下线请求对应的目标数据组件的目标资源信息进行备份，将所述目标资源信息进行删除，并将生成的下线信息发送给所述云管理平台，包括：
当接收到所述业务方发送的Flink数据处理组件下线请求时，判断所述大数据平台当前是否存在正在运行的作业；
若所述大数据平台当前不存在正在运行的作业，将所述Flink数据处理组件的目标资源信息备份至预设数据表中，将所述Flink数据处理组件的目标资源信息进行删除，并将生成的下线信息发送给所述云管理平台；
若所述大数据平台当前存在正在运行的作业，将当前正在运行的作业删除，并将所述Flink数据处理组件的目标资源信息备份至所述预设数据表中，删除所述Flink数据处理组件的目标资源信息，并将生成的下线信息发送给所述云管理平台；
相应的，
当接收到所述业务方发送的Hadoop数据存储组件下线请求时，判断所述业务方是否申请所述Flink数据处理组件；
若所述业务方申请了所述Flink数据处理组件，对所述Flink数据处理组件进行下线处理；
在所述Hadoop数据存储组件对应的目录名添加预设字段，将所述Hadoop数据存储组件中的Yarn数据存储组件删除，将删除了所述Yarn数据存储组件的所述Hadoop数据存储组件的目标资源信息备份至所述预设数据表后删除，并将生成的下线信息发送给所述云管理平台；
若所述业务方未申请所述Flink数据处理组件，在所述Hadoop数据存储组件对应的目录名添加预设字段，将所述Hadoop数据存储组件中的Yarn数据存储组件删除，将删除了所述Yarn数据存储组件的所述Hadoop数据存储组件的目标资源信息备份至所述预设数据表后删除，并将生成的下线信息发送给所述云管理平台。


4.根据权利要求1所述的方法，其特征在于，若所述目标数据组件为HBase数据存储组件，所述当接收到所述业务方发送的数据组件下线请求时，对所述数据组件下线请求对应的目标数据组件的目标资源信息进行备份，将所述目标资源信息进行删除，包括：
当接收到所述业务方发送的HBase数据存储组件下线请求时，收回所述HBase数据存储组件的namespace权限，以及收回所述业务方对所述HBase数据存储组件的namespace权限；
将所述HBase数据存储组件的目标资源信息备份至预设数据表中，删除所述HBase数据存储组件的目标资源信息，并将生成的下线信息发送给所述云管理平台。


5.一种数据组件管理方法，其特征在于，应用于云管理平台，所述方法包括：
接收业务方发送的项目申请请求申请相应的数据组件，其中，所述项目申请请求至少包括项目名称，所述项目名称为所述业务方在申请业务名称时申请的，所述数据组件为数据采集组件、数据传输组件或者数据处理组件；
基于所述项目名称申请相应的数据组件，将所述数据组件与其他数据组件进行绑定，并生成与所述数据组件相关的认证信息和资源信息，其中，若所述数据组件为所述数据采集组件，所述其他数据组件为所述业务方权限下的与所述数据采集组件相关的所述数据传输组件；若所述数据组件为所述数据传输组件，所述其他数据组件为所述业务方权限下的与所述数据传输组件...

【专利技术属性】
技术研发人员：张俊杰，李晓歌，门玉森，王文颖，杨元，吕旖旎，李勃昊，赵震，邓罡，
申请(专利权)人：中国民航信息网络股份有限公司，
类型：发明
国别省市：北京;11