【技术实现步骤摘要】
本申请计算机，具体涉及一种批量数据处理方法、装置和设备及存储介质。
技术介绍
1、金融交易中会涉及到对文件数据的批量处理，文件来自于不同的合作方，有一定的差异，在对接合作方时需要对每个合作方进行不同的编码处理，随着合作方接入的增多，这种编码方式的工作量会不断增大。针对不同合作方单独开发功能的这种方式，代码的可复用性受限，效率低，可扩展性有限、灵活性不足、系统维护成本高、让功能的上线周期变长。因此急需一种标准化的处理批量文件的方式来实现对不同合作方文件的处理，满足不断发展的业务需求，实现产品的快速上线。
技术实现思路
1、本申请提供一种批量数据处理方法、装置和设备及存储介质。
2、第一方面，本申请提供一种批量数据处理方法，包括根据批量任务调度平台编排的以下步骤：获取批量任务对应的合作方文件；将所述合作方文件进行标准化处理，转换为标准文件；使用责任链模式进行批量操作；其中，所述使用责任链模式进行批量操作的步骤包括：将所述批量任务按照进程划分为多个子任务，每个子任务单独分配处理资源，且多个子任务依次串联，其中，上一个子任务的生产者队列作为下一个子任务的消费者队列；将所述多个子任务的相关参数配置到一配置中心；根据所述配置中心配置的相关参数，获取所述多个子任务各自对应的标准文件，依次执行所述多个子任务。
3、在一些可选的实施方式中，将所述合作方文件进行标准化处理，转换为标准文件的步骤之前，还包括：对所述合作方文件进行校验；将所述合作方文件存入hive数据库。
<...【技术保护点】
1.一种批量数据处理方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，将所述合作方文件进行标准化处理，转换为标准文件的步骤之前，所述方法还包括：
3.根据权利要求2所述的方法，其特征在于，将所述合作方文件进行标准化处理，转换为标准文件的步骤包括：
4.根据权利要求3所述的方法，其特征在于，每个子任务单独分配处理资源包括：
5.一种批量数据处理装置，其特征在于，包括：
6.根据权利要求5所述的装置，其特征在于，还包括：
7.根据权利要求6所述的装置，其特征在于，所述转换模块进一步被配置成：
8.根据权利要求7所述的装置，其特征在于，所述处理模块进一步被配置成为每个子任务单独分配以下处理资源：线程池、消费者队列、生产者队列、队列大小、执行器类、执行前方法、执行方法和执行后方法。
9.一种计算机设备，其特征在于，包括：
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被一个或多个处理器执行时实现如权利要求1-4中任一所述的批
...【技术特征摘要】
1.一种批量数据处理方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，将所述合作方文件进行标准化处理，转换为标准文件的步骤之前，所述方法还包括：
3.根据权利要求2所述的方法，其特征在于，将所述合作方文件进行标准化处理，转换为标准文件的步骤包括：
4.根据权利要求3所述的方法，其特征在于，每个子任务单独分配处理资源包括：
5.一种批量数据处理装置，其特征在于，包括：
6.根据权利要求5所述的装置，其特征在于，还包括：...
【专利技术属性】
技术研发人员：郭承飞，王钰，
申请(专利权)人：中信百信银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。