一种数据传输方法、设备及系统技术方案

本发明专利技术实施例公开了一种数据传输方法、设备及系统，涉及数据传输技术领域，解决了现有技术中独立存储设备间进行数据重新分布时，这部分数据在数据复制时间内不可访问的问题。所述数据传输方法包括：根据触发条件和预先配置的分片参数值创建数据分片，接收到处于传输状态的基础数据的更新请求，将所述更新请求中携带的更新操作和更新内容保存到所述数据分片，在所述数据分片的存储状态为饱和状态时，关闭所述数据分片，并将所述更新操作和更新内容发送给目的独立存储设备，以使得所述目的独立存储设备根据所述更新操作和更新内容更新所述基础数据。本发明专利技术适用于数据传输技术领域，如分布式存储系统、分布式数据库、数据库备份系统。

【技术实现步骤摘要】

本专利技术涉及数据传输
，尤其涉及一种数据传输方法、设备及系统。
技术介绍
分布式存储系统是将数据存储在多个独立存储设备的集群系统。为了保证数据的可靠性，同一份数据需要在多个独立存储设备上存储，一般会对同一份数据在系统中保存三份。如果其中任意一个独立存储设备出现问题，如故障或负载较重，则需要由另外两个独立存储设备之中任意一个将所述三个独立存储设备上共同存储的数据重新在这三个独立存储设备以外的另一个独立存储设备上分布，以使得分布式存储系统中重新形成三份同样的数据。其重新分布过程，如图1所示，与设备A存储有部分相同数据的设备出现问题后， 设备A将该部分相同数据复制传输至设备B。现有技术中，设备A复制传输该部分相同数据给设备B的过程中(时间T1-T2内)， 该部分相同数据是不可访问的，如果该部分相同数据容量较大，复制传输的过程较长，导致其不可访问时间较长。
技术实现思路
本专利技术的实施例提供一种数据传输方法、设备及系统，能够解决现有技术中由于在独立存储设备间进行基础数据的重新分布时，基础数据在数据复制传输时间内不可访问的问题。为达到上述目的，本专利技术的实施例采用如下技术方案—种数据传输方法，包括根据触发条件和预先配置的分片参数值创建数据分片，所述数据分片用于临时数据存储；接收到处于传输状态的基础数据的更新请求，将所述更新请求中携带的更新操作和更新内容保存到所述数据分片；在所述数据分片的存储状态为饱和状态时，关闭所述数据分片，并将所述更新操作和更新内容发送给目的独立存储设备，以使得所述目的独立存储设备根据所述更新操作和更新内容更新所述基础数据。一种源独立存储设备，包括创建分片单元，用于根据触发条件和预先配置的分片参数值创建数据分片，所述数据分片用于临时数据存储；数据存储单元，用于接收到处于传输状态的基础数据的更新请求，将所述更新请求中携带的更新操作和更新内容保存到所述数据分片；数据发送单元，用于在所述数据分片的存储状态为饱和状态时，关闭所述数据分片，并将所述更新操作和更新内容发送给目的独立存储设备，以使得所述目的独立存储设备根据所述更新操作和更新内容更新所述基础数据。一种数据传输系统，包括上述的源独立存储设备和目的独立存储设备，其中，所述源独立存储设备，用于根据触发条件和预先配置的分片参数值创建数据分片，接收到处于传输状态的基础数据的更新请求，将所述更新请求中携带的更新操作和更新内容保存到所述数据分片，在所述数据分片的存储状态为饱和状态时，关闭所述数据分片，并将所述更新操作和更新内容发送给目的独立存储设备；所述目的独立存储设备，用于接收源独立存储设备的更新操作和更新内容，并根据所述更新操作和更新内容更新所述基础数据。本专利技术实施例提供的数据传输方法、设备及系统，由于通过源独立存储设备创建的数据分片保存更新操作和更新内容，实现了在源独立存储设备向目的独立存储设备传输数据时，处于传输状态的数据能够访问。与现有技术相比，本专利技术实施例能够解决现有技术中由于在独立存储设备间进行数据的重新分布时，这部分数据在数据复制时间内不可访问的问题。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为现有技术提供的数据重新分布过程示意图；图2为本专利技术实施例提供的数据传输方法流程图；图3为本专利技术又一实施例提供的数据传输方法流程图；图4为本专利技术实施例提供的源独立存储设备结构示意图一；图5为本专利技术实施例提供的源独立存储设备结构示意图二 ；图6为本专利技术实施例提供的数据传输系统结构示意图。具体实施例方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。为使本专利技术技术方案的优点更加清楚，下面结合附图和实施例对本专利技术作详细说明。如图2所示，本专利技术实施例提供的数据传输方法，所述方法包括步骤101、根据触发条件和预先配置的分片参数值创建数据分片。其中，所述数据分片用于临时数据存储。在本实施例中，所述预先配置的分片参数值包括但不限于数据分片的初始大小、 数据分片的数量上限和数据分片的工作时间，所述触发条件可以是接收到向目的独立存储设备传输基础数据的请求或者当前数据分片的存储状态为饱和状态，但不仅局限于此。步骤102、接收到处于传输状态的基础数据的更新请求，将所述更新请求中携带的更新操作和更新内容保存到所述数据分片。步骤103、在所述数据分片的存储状态为饱和状态时，关闭所述数据分片，并将所述更新操作和更新内容发送给目的独立存储设备，以使得所述目的独立存储设备根据所述更新操作和更新内容更新所述基础数据。上述各个步骤的执行主体是待传输基础数据的源独立存储设备，可以是分布式存储系统中存储基础数据的独立存储设备，可以是数据库系统中存储业务表的独立存储设备，此处不作限定。本专利技术实施例提供的数据传输方法，由于通过源独立存储设备创建的数据分片保存更新操作和更新内容，实现了源独立存储设备向目的独立存储设备传输数据时，处于传输状态的基础数据能够更新。与现有技术相比，本专利技术实施例能够解决现有技术中由于在独立存储设备间进行数据的重新分布时，处于传输状态的基础数据在数据复制时间内不可访问的问题。为了使得本领域的技术人员更好的理解本专利技术实施例提供过的技术方案，下面将通过又一个具体实例来进一步介绍本专利技术实施例中提供的数据传输方法。如图3所示，本专利技术又一实施例提供的的数据传输方法，所述方法包括步骤301、源独立存储设备根据基础数据的访问频率和所述基础数据的存储容量配置数据分片的分片参数值。其中，所述分片参数值包括但不限于数据分片的初始大小、数据分片的数量上限和数据分片的工作时间。通过配置分片参数值，控制在基础数据由源独立存储设备向目的独立存储设备传输完成时，源独立存储设备创建的最后一个数据分片也达到存储状态为饱和状态，避免产生过多的数据分片而增加整个系统的传输负担，所述最后一个数据分片由所述分片参数值决定。优选的，所述分片的初始大小按照创建顺序依次减小，使得源独立存储设备创建的最后一个数据分片容量最小，进而所述最后一个数据分片存储的更新操作及更新内容最少。源独立存储设备关闭最后一个数据分片并将该数据分片发送到目的独立存储设备所占用的时间会很短。值得说明的是，所述分片参数值也可以根据经验来进行设置，此处不作限定，优选实现方式为步骤301。步骤302、源独立存储设备在接收到向目的独立存储设备传输数据的请求时，源独立存储设备根据预先配置的分片参数值创建第一个数据分片。数据分片创建完成后，执行步骤303。在本实施例中，所述请求包括但不限于基础数据的名称、地址以及目的独立存储设备的地址。并且该请求是基于事件触发的，所述事件可以是系统中独立存储设备发生故障，也可以是系统中独立存储设备负载过重。值得说明的是，在所述方法应用在分布式存储系统时，所述数据分片的逻辑结构没本文档来自技高网...

【技术保护点】

【技术特征摘要】

【专利技术属性】
技术研发人员：马苏德·莫塔扎维，陈坚，阿尔维斯·莱克，张宇，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：