本申请涉及数据处理领域，尤其涉及一种数据处理方法、装置、设备及介质。用以解决现有技术中批处理的方法导致的处理结果不准确的问题。由于本申请实施例中，电子设备在获取到待处理的每个交易数据后，先将待处理的每个交易数据存放在数据库中，为该数据库加分布式锁，并在加锁完成后对待处理的每个交易数据进行批处理，在批处理完成后释放所加的分布式锁，从而可以通过加分布式锁的方式确保其他设备或电子设备的其他线程不会对待处理的每个交易数据进行处理，进而可以准确有效地对待处理的每个交易数据进行批处理，得到准确的处理结果。果。果。
【技术实现步骤摘要】
一种数据处理方法、装置、设备及介质
[0001]本申请涉及数据处理领域，尤其涉及一种数据处理方法、装置、设备及介质。
技术介绍
[0002]随着业务增长，逐渐产生大规模的交易数据，现有技术中通常有对大规模的交易数据进行批处理的需求，例如需要在每个月固定时间对某些账户进行扣款，例如不同银行间进行交易数据交互前，需要批量转换交易数据的格式。然而现有技术中在对交易数据进行批处理时，可能存在其他设备对该批处理的交易数据中的某一交易数据进行处理，或者可能存在进行批处理的电子设备中其他功能的线程，对该批处理的交易数据中某一交易数据进行处理，导致某一交易数据受影响，使得批处理的处理结果不准确。
技术实现思路
[0003]本申请实施例提供了一种数据处理方法、装置、设备及介质，用以解决现有技术中批处理的方法导致的处理结果不准确的问题。
[0004]本申请实施例提供了一种数据处理方法，所述方法包括：
[0005]获取待处理的每个交易数据；
[0006]将所述待处理的每个交易数据存放在数据库中，为所述数据库加分布式锁，并对所述待处理的每个交易数据进行批处理，在对所述待处理的每个交易数据处理完成后，释放所述分布式锁。
[0007]进一步地，所述获取待处理的每个交易数据包括：
[0008]接收批处理请求，其中，所述批处理请求中携带有待处理的每个交易数据的存放路径及第一MD5值；所述第一MD5值为发送所述批处理请求的设备根据待处理的每个交易数据生成的；
[0009]根据所述存放路径获取待处理的每个交易数据；
[0010]所述获取待处理的每个交易数据之后，所述将所述待处理的每个交易数据存放在数据库中之前，所述方法还包括：
[0011]获取所述待处理的每个交易数据对应的第二MD5值；
[0012]根据所述第一MD5值与所述第二MD5值是否一致，判断所述待处理的每个交易数据是否完整且是否出现错误，若所述待处理的每个交易数据完整且未出现错误，则执行后续将所述待处理的每个交易数据存放在数据库中的步骤。
[0013]进一步地，所述方法还包括：
[0014]若确定所述待处理的每个交易数据不完整或出现错误，则发送预设的提醒信息。
[0015]进一步地，所述为所述数据库加分布式锁包括：
[0016]生成随机数，将所述随机数加入key的预设位置中，获取目标key，将所述目标key加入所述数据库中；并保存所述随机数；
[0017]所述释放所述分布式锁包括：
[0018]获取所述数据库中存放的目标key，获取所述目标key中所述预设位置的随机数，若获取到的随机数与保存的随机数一致，则将所述目标key从所述数据库中删除。
[0019]进一步地，所述方法还包括：
[0020]针对所述目标key对应保存有预设的过期时间间隔；
[0021]按照预设的时间间隔，判断当前时间与将所述目标key加入存放待处理的每个交易数据的数据库的时间之间的时间间隔是否超过所述过期时间间隔，若是，则释放分布式锁。
[0022]进一步地，所述方法还包括：
[0023]若接收到进度查询的请求，则获取当前批处理是否完成，并发送获取结果。
[0024]本申请实施例还提供了一种数据处理装置，所述装置包括：
[0025]获取模块，用于获取待处理的每个交易数据；
[0026]处理模块，用于将所述待处理的每个交易数据存放在数据库中，为所述数据库加分布式锁，并对所述待处理的每个交易数据进行批处理，在对所述待处理的每个交易数据处理完成后，释放所述分布式锁。
[0027]进一步地，所述获取模块，具体用于接收批处理请求，其中，所述批处理请求中携带有待处理的每个交易数据的存放路径及第一MD5值；所述第一MD5值为发送所述批处理请求的设备根据待处理的每个交易数据生成的；根据所述存放路径获取待处理的每个交易数据；
[0028]所述处理模块，还用于获取所述待处理的每个交易数据对应的第二MD5值；根据所述第一MD5值与所述第二MD5值是否一致，判断所述待处理的每个交易数据是否完整且是否出现错误，若所述待处理的每个交易数据完整且未出现错误，则执行后续将所述待处理的每个交易数据存放在数据库中的步骤。
[0029]进一步地，所述处理模块，还用于若确定所述待处理的每个交易数据不完整或出现错误，则发送预设的提醒信息。
[0030]进一步地，所述处理模块，具体用于生成随机数，将所述随机数加入key的预设位置中，获取目标key，将所述目标key加入所述数据库中；并保存所述随机数；
[0031]所述处理模块，具体用于获取所述数据库中存放的目标key，获取所述目标key中所述预设位置的随机数，若获取到的随机数与保存的随机数一致，则将所述目标key从所述数据库中删除。
[0032]进一步地，所述处理模块，还用于针对所述目标key对应保存有预设的过期时间间隔；按照预设的时间间隔，判断当前时间与将所述目标key加入存放待处理的每个交易数据的数据库的时间之间的时间间隔是否超过所述过期时间间隔，若是，则释放分布式锁。
[0033]进一步地，所述处理模块，还用于若接收到进度查询的请求，则获取当前批处理是否完成，并发送获取结果。
[0034]本申请实施例还提供了一种电子设备，所述电子设备至少包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序时实现如上述任一项所述数据处理方法的步骤。
[0035]本申请实施例还提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述数据处理方法的步骤。
[0036]本申请实施例还提供了一种计算机程序产品，其计算机程序产品包括：计算机程序代码，当所述计算机程序代码在计算机上运行时，使得计算机执行如上述任一项所述数据处理方法的步骤。
[0037]由于本申请实施例中，电子设备在获取到待处理的每个交易数据后，先将待处理的每个交易数据存放在数据库中，为该数据库加分布式锁，并在加锁完成后对待处理的每个交易数据进行批处理，在批处理完成后释放所加的分布式锁，从而可以通过加分布式锁的方式确保其他设备或电子设备的其他线程不会对待处理的每个交易数据进行处理，进而可以准确有效地对待处理的每个交易数据进行批处理，得到准确的处理结果。
附图说明
[0038]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0039]图1为本申请实施例提供的一种数据处理过程示意图；
[0040]图2为本申请实施例提供的一种batch的结构示意图；
[0041]图3为本申请实施例提供的一种批处理过程示意图；
[0042]图4为本申请实施例提本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：获取待处理的每个交易数据；将所述待处理的每个交易数据存放在数据库中，为所述数据库加分布式锁，并对所述待处理的每个交易数据进行批处理，在对所述待处理的每个交易数据处理完成后，释放所述分布式锁。2.根据权利要求1所述的方法，其特征在于，所述获取待处理的每个交易数据包括：接收批处理请求，其中，所述批处理请求中携带有待处理的每个交易数据的存放路径及第一MD5值；所述第一MD5值为发送所述批处理请求的设备根据待处理的每个交易数据生成的；根据所述存放路径获取待处理的每个交易数据；所述获取待处理的每个交易数据之后，所述将所述待处理的每个交易数据存放在数据库中之前，所述方法还包括获取所述待处理的每个交易数据对应的第二MD5值；判断所述第一MD5值与所述第二MD5值是否一致，若一致，则执行后续将所述待处理的每个交易数据存放在数据库中的步骤。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：若所述第一MD5值与所述第二MD5值不一致，则发送预设的提醒信息。4.根据权利要求1所述的方法，其特征在于，所述为所述数据库加分布式锁包括：生成随机数，将所述随机数加入key的预设位置中，获取目标key，将所述目标key加入所述数据库中；并保存所述随机数；所述释放所述分布式锁包括：获取所述数据库中存放的目标key，获取所述目标key中所述预设位置的随机数，若获取到的随机数与保存的随机数一致，则将所述目标key从所述数据库中删除。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：针对所述目标key对应保存有预设的过期时间间隔；按照预设的时间间隔，判断当前时间与将所述目标key加入存放待处理的每个交易数据的数据库的时间之间的时间间隔是否超过所述过期时间间隔，若是，则释放分布式锁。6.根据权利要求1所述的方法，其特征在于，所述方法还包括：若接收到进度查询的请求，则获取当前批处理是否完成，并发送获取结果。7.一种数据处理装置，其特征在于，所述装置包括：获取模块，用于获取待处理的每个交易数据；处理模块，用于将所述待处理的每个交易数据存放在数据库中，为所述数据库加分布式锁，并对所述待处理的每个交易数据进行批处理，在对所述待处理的每个交易数据处理完成后，释放所述分布式锁。8.根据权利要求7所述的装置，其特征在于，所述获取模...
【专利技术属性】
技术研发人员：徐华扬，张润，
申请(专利权)人：建信金融科技有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。