一种数据存储方法、系统、装置、设备及存储介质制造方法及图纸

本发明专利技术实施例公开了一种数据存储方法、系统、装置、设备及存储介质。该方法包括：在接收到负载均衡服务器下发的写数据请求时，获取写数据请求中的对象名称进行请求处理，得到至少三个存储服务器编号；其中，每个存储服务器编号对应的存储服务器均部署在不同的服务器集群中；将写数据请求分别发送至与各存储服务器编号对应的存储服务器中，以使各存储服务器进行写数据请求中数据的写入操作。该方法可以将接口服务与数据存储服务解耦合，易于扩展实现对大量非结构化数据的存储，并且对数据进行多重备份，可以提高数据的可靠性以及容错性。

【技术实现步骤摘要】
一种数据存储方法、系统、装置、设备及存储介质
本专利技术实施例涉及数据处理
，尤其涉及一种数据存储方法、系统、装置、设备及存储介质。
技术介绍
随着计算机技术以及生物识别技术的蓬勃发展，在用户进行身份认证时产生了海量的图片、文档、音频和视频等非结构化数据，对存储的性能以及容量产生了新的挑战。在金融领域，现有技术采用网络附属存储(NetworkAttachedStorage，NAS)外置存储设备来放置非结构化数据。但随着用户数量以及对应的数据爆发式增长，单台NAS会造成用户访问时的高延时，已无法满足数据的存储。而采用多台NAS外置存储设备的方案，会导致存储管理复杂性更高，同一应用系统数据可能需要存放在不同的设备上造成数据割裂。此外，数据的维护也将变得更加复杂，系统的扩展性差。
技术实现思路
本专利技术实施例提供了一种数据存储方法、系统、装置、设备及存储介质，易于数据存储系统的扩展，实现对大量非结构化数据的存储，并可以提高数据的可靠性以及容错性。第一方面，本专利技术实施例提供了一种数据存储方法，由数据存储系统中的代理服务器执行，所述数据存储系统包括：负载均衡服务器、至少一个服务器集群，各所述服务器集群包括一个代理服务器和至少一个存储服务器，该方法包括：在接收到负载均衡服务器下发的写数据请求时，获取所述写数据请求中的对象名称进行请求处理，得到至少三个存储服务器编号；其中，每个所述存储服务器编号对应的存储服务器均部署在不同的服务器集群中；将所述写数据请求分别发送至与各所述存储服务器编号对应的存储服务器中，以使各存储服务器进行所述写数据请求中数据的写入操作。第二方面，本专利技术实施例还提供了一种数据存储系统，该系统包括：负载均衡服务器、至少一个服务器集群，各所述服务器集群包括一个代理服务器和至少一个存储服务器；所述负载均衡服务器，用于获取用户的写数据请求，并将所述写数据请求分配至一个代理服务器进行请求处理；所述代理服务器，用于在接收到所述负载均衡服务器下发的写数据请求时，获取所述写数据请求中的对象名称进行请求处理，得到至少三个存储服务器编号；并将所述写数据请求分别发送至与各所述存储服务器编号对应的存储服务器中；其中，每个所述存储服务器编号对应的存储服务器均部署在不同的服务器集群中；所述存储服务器，用于接收所述代理服务器发送的所述写数据请求时，将所述写数据请求中的数据进行存储。第三方面，本专利技术实施例还提供了一种数据存储装置，由数据存储系统中的代理服务器执行，所述数据存储系统包括：负载均衡服务器、至少一个服务器集群，各所述服务器集群包括一个代理服务器和至少一个存储服务器，该装置包括：编号获取模块，用于在接收到负载均衡服务器下发的写数据请求时，获取所述写数据请求中的对象名称进行请求处理，得到至少三个存储服务器编号；其中，每个所述存储服务器编号对应的存储服务器均部署在不同的服务器集群中；写数据请求发送模块，用于将所述写数据请求分别发送至与各所述存储服务器编号对应的存储服务器中，以使各存储服务器进行所述写数据请求中数据的写入操作。第四方面，本专利技术实施例还提供了一种电子设备，该设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本专利技术任意实施例所述的一种数据存储方法。第五方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本专利技术任意实施例所述的一种数据存储方法。本专利技术实施例的技术方案，通过在接收到负载均衡服务器下发的写数据请求时，获取写数据请求中的对象名称进行请求处理，得到至少三个存储服务器编号；其中，每个存储服务器编号对应的存储服务器均部署在不同的服务器集群中；将写数据请求分别发送至与各存储服务器编号对应的存储服务器中，以使各存储服务器进行写数据请求中数据的写入操作，解决了金融领域中非结构化数据的存储问题，实现了可以将接口服务与数据存储服务解耦合，易于扩展实现对大量非结构化数据的存储，并且对数据进行多重备份，可以提高数据的可靠性以及容错性的效果。附图说明图1a是本专利技术实施例一提供的一种数据存储方法的流程图；图1b是本专利技术实施例一提供的一种数据存储系统的结构示意图；图1c是本专利技术实施例一提供的一种确定存储服务器编号的示意图；图2是本专利技术实施例二提供的一种数据存储方法的流程图；图3是本专利技术实施例四提供的一种数据存储装置的结构示意图；图4是本专利技术实施例五提供的一种电子设备的结构示意图。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。实施例一图1a是本专利技术实施例一提供的一种数据存储方法的流程图，本实施例可适用于在金融领域中对非结构化的数据进行存储的情况，该方法可以由数据存储装置来执行，该装置可以通过软件，和/或硬件的方式实现，装置可以集成在电子设备如服务器中。具体的，该数据存储方法可以由数据存储系统中的代理服务器执行。图1b是本专利技术实施例一提供的一种数据存储系统的结构示意图。如图1b所示，数据存储系统包括：负载均衡服务器110、至少一个服务器集群120，各服务器集群120包括一个代理服务器121和至少一个存储服务器122。对于服务器集群可以进行区域的划分。区域可以是抽象概念，可以是某台机器、某个机架或者某个建筑内的集群，便于对数据存储系统的整体扩展。其中：负载均衡服务器110可以用于对用户请求进行分发，下发至服务器集群120中的代理服务器121。用户请求可以包括用户的写数据请求或者读数据请求。分发可以是按照一定的预设规则进行的，例如，可以是轮询的方式；或者，可以是用户与代理服务器之间存在映射关系，如用户所处的地理位置与代理服务器所覆盖地区之间的映射关系；或者，可以是随机的方式等。服务器集群120包括一个代理服务器121和至少一个存储服务器122，可以将接口服务与数据存储服务解耦合。代理服务器121用于对用户请求进行请求处理。存储服务器122用于实现数据的存储或者读取。通过服务器集群的设置可以将现有技术中的NAS存储方式分离为专门的接口服务和数据存储服务。在存储服务器122满载时，可以增加新的存储服务器122，实现数据存储扩展。在增加存储设备时，无需更新像NAS进行数据迁移。当用户请求多时，可以增加代理服务器121，进行横向扩展均衡负载。具体的，如图1a所示，该方法具体包括：步骤210、在接收到负载均衡服务器下发的写数据请求时，获取写数据请求中的对象名称进行请求处理，得到至少三个存储服务器编号。其中，用户请求中可以包括多种信息。例如，用户请求中可以包括用户访问对象名本文档来自技高网...

【技术保护点】
1.一种数据存储方法，由数据存储系统中的代理服务器执行，所述数据存储系统包括：负载均衡服务器、至少一个服务器集群，各所述服务器集群包括一个代理服务器和至少一个存储服务器；其特征在于，所述方法包括：/n在接收到负载均衡服务器下发的写数据请求时，获取所述写数据请求中的对象名称进行请求处理，得到至少三个存储服务器编号；/n其中，每个所述存储服务器编号对应的存储服务器均部署在不同的服务器集群中；/n将所述写数据请求分别发送至与各所述存储服务器编号对应的存储服务器中，以使各存储服务器进行所述写数据请求中数据的写入操作。/n

【技术特征摘要】
1.一种数据存储方法，由数据存储系统中的代理服务器执行，所述数据存储系统包括：负载均衡服务器、至少一个服务器集群，各所述服务器集群包括一个代理服务器和至少一个存储服务器；其特征在于，所述方法包括：
在接收到负载均衡服务器下发的写数据请求时，获取所述写数据请求中的对象名称进行请求处理，得到至少三个存储服务器编号；
其中，每个所述存储服务器编号对应的存储服务器均部署在不同的服务器集群中；
将所述写数据请求分别发送至与各所述存储服务器编号对应的存储服务器中，以使各存储服务器进行所述写数据请求中数据的写入操作。


2.根据权利要求1所述的方法，其特征在于，在接收到负载均衡服务器下发的写数据请求时，获取所述写数据请求中的对象名称进行请求处理，得到至少三个存储服务器编号，包括：
根据所述写数据请求中的对象名称进行数值化操作，得到与所述对象名称对应的目标数值；
对所述目标数值进行移位操作得到预设位数的分区索引，并确定与所述分区索引匹配的存储服务器分区所对应的存储服务器编号；
其中，各所述存储服务器分区对应于不同服务器集群中的至少三个存储服务器，所有所述存储服务器分区对应全部存储服务器，且任意两个所述存储服务器分区对应存储服务器不重复。


3.根据权利要求2所述的方法，其特征在于，根据所述写数据请求中的对象名称进行数值化操作，得到与所述对象名称对应的目标数值，包括：
根据所述写数据请求中的对象名称采用消息摘要算法MD5进行数值化操作，得到与所述对象名称对应的目标数值。


4.根据权利要求1所述的方法，其特征在于，将所述写数据请求分别发送至与各所述存储服务器编号对应的存储服务器中，以使各存储服务器进行所述写数据请求中数据的写入操作，包括：
将所述写数据请求分别发送至第一目标编号集合对应的第一存储服务器中，以使所述第一存储服务器进行所述写数据请求中数据的写入操作；
将所述第一目标编号集合分别发送至第二目标编号集合对应的第二存储服务器中，以使所述第二存储服务器进行与所述第一存储服务器的数据同步操作；
其中，所述第一目标编号集合包括至少两个存储服务器编号，所述第二目标编号集合不包括所述第一目标编号集合。


5.根据权利要求1所述的方法，其特征在于，将所述写数据请求分别发送至与各所述存储服务器编号对应的存储服务器中，以使各存储服务器进行所述写数据请求中数据的写入操作，包括：
将所述写数据请求中的数据以及与数据对应的校验结果发送至与至少一个所述存储服务器编号对应的存储服务器中，以使存储服务器进行所述写数据请求中数据的写入操作。


6.根据权利要求1-5任一项所述的方法，其特征在于，还包括：
在接收到负载均衡服务器下发的读数据请求时，获取所述读数据请求中的对象名称进行请求处理，得到至少三个存储服务器编号；
分别读取至少两个所述存储服务器编号对应的存储服务器中与所述读数据请求对应的数据。


7.根据权利要求6所述的方法，其特征在于，分别读取至少两个所述存储服务器编号对应的存储服务器中与所述读数据请求对应的数据，包括：
获取至少两个所述存储服务器编号对应的存储服务器中与所述读数据请求对应的至少两个备选数据；
如果各所述备选数据一致，则将所述备选数据作为目标数据进行数据的读取操作；
否则，获取剩余的至少一个所述存储服务器编号对应的存储服务器中与所述读数据请求对应的备选数据，并对各备选数据进行一致性判断，获取一致性最高的备选数据作为目标数据，进行数据的读取操作。


8.根据权利要求6所述的方法，其特征在于，所述写数据请求或者所述读数据请求对应数据的结构为扁平结构；
其中，所述扁平结构的数据包括键值与数值，所述键值与所述存储服务器编号对应，所述数值为所述写数据请求或者所述读数据请求对应的真实数据。


9.一种数据存储系统，其特征在于，包括：负载均衡服务器、至少一个服务器集群，各所述服务器集群包括一个代理服务器和至少一个存储服务器；
所述负载均衡服务器，用于获取用户的写数据请求，并将所述写数据请求分配至一个代理服务器进行请求处理；
所述代理服务器，用于在接收到所述负载均衡服务器下发的写数据请求时，获取所述写数据请...

【专利技术属性】
技术研发人员：董思，廖敏飞，刘丽娟，吴孟晴，梁伟韬，徐福坚，
申请(专利权)人：建信金融科技有限责任公司，
类型：发明
国别省市：上海;31