本申请实施例提供一种数据处理系统、数据处理方法及相关装置，应用于存储技术领域。本申请实施例中的虚拟总线系统包含存储层、虚拟总线和服务层，其中，存储层包括多个存储设备，服务层包含多个服务；存储设备和/或服务经过注册可以将注册信息写入虚拟总线中，而经过注册的存储设备或服务可以发现其他设备或服务；存储设备与存储设备之间、存储设备与服务之间、服务与服务之间可以经过虚拟总线进行数据流动，实现多方设备能够在不直接互联的情况下彼此发现和交流。本申请还提供了数据处理方法即相关的装置。通过本申请实施例，能够实现设备之间的流动，满足用户对数据流动的需求。满足用户对数据流动的需求。满足用户对数据流动的需求。
【技术实现步骤摘要】
数据处理系统、数据处理方法及相关装置
[0001]本申请涉及存储
，尤其涉及数据处理系统、数据处理方法及相关装置。
技术介绍
[0002]随着数据存储技术的发展，越来越多的数据可以存储多个存储设备中，这些存储设备可以分布在不同的地区、不同的云(例如不同的公有云、或不同的私有云、或不同的混合云)中。
[0003]当数据需要在不同的存储设备中进行流动时，由于不同的存储设备具有不同的组织形式、安全管理(例如防火墙)，使得数据的流动变得困难。一些方案中通过建立站点间(site
‑2‑
site)虚拟专用网(site
‑
to
‑
site virtual private network，VPN)、数据缓冲区来实现设备互联，但是VPN、数据缓冲区等建立过程复杂，不满足用户的使用需求。
技术实现思路
[0004]本申请实施例提供了数据处理系统、数据处理方法及相关装置，能够实现设备之间的互联，满足对设备之间的数据流动的需求。
[0005]第一方面，本申请实施例提供了一种数据处理系统，包括：存储层、虚拟总线和服务层；
[0006]所述存储层包括多个存储设备，所述存储层用于提供存储空间；
[0007]所述虚拟总线，用于接收所述存储设备的注册，形成一个包含多个存储设备的虚拟网络；
[0008]所述服务层，用于基于所述虚拟网络为用户提供服务。
[0009]本申请实施例中，经过注册的存储设备可以连接到虚拟总线，基于虚拟总线实现存储设备之间的互联，实现多方设备能够在不直接互联的情况下彼此发现和交流。而服务层中的服务也可以连接到虚拟总线中，从而基于虚拟总线实现数据流动管理、编排等服务。
[0010]进一步的，连接到虚拟总线的存储设备、服务等可以是异构的，例如，存储设备的硬件型号、软件版本、厂商、所在位置、或文件系统等可以互不相同，服务的内容、形式、或架构等可以互不相同。异构的设备通过虚拟总线所提供的布局规范，也可以实现互相连接，从而建立松耦合、分布式的数据协作关系。
[0011]可选地，前述多个存储设备包含可以是集中式的存储设备，也可以是分布式的存储设备，可以是虚拟的存储设备，也可以是实体存储设备。
[0012]在第一方面的一种可能的实施方式中，所述多个存储设备包含存储阵列、存储服务器、公有云、私有云、或混合云等中的一项或者多项。
[0013]在混合多云的情况下，用户可能具有多套存储设备，其分布的位置可能在不同的区域，也可能分布在不同云中。而本申请实施例中，多种存储设备通过虚拟总线就可以实现互相连接，满足用户对于不同存储设备的连接需求。
[0014]在第一方面的一种可能的实施方式中，所述多个存储设备中的一个存储设备用于
向所述虚拟总线提交注册信息。
[0015]相应的，虚拟总线可以记录存储设备的注册信息，从而完成存储设备的注册。
[0016]进一步的，虚拟总线可以提供多个接入点，存储设备可以通过接入点进行设备注册。由于接入点通常有多个且分布在不同的区域，因此注册服务是去中心化、无服务器化的。此外，存储设备也可以选择靠近自身、或符合自身业务需求的接入点来接入虚拟总线，提高存储设备的注册效率，提升使用虚拟总线的服务。
[0017]在第一方面的一种可能的实施方式中，所述注册信息包含所述存储设备的设备信息(或称为存储设备的配置信息)。
[0018]在第一方面的一种可能的实施方式中，所述注册信息包含数据的元数据。
[0019]在第一方面的一种可能的实施方式中，所述注册信息包含存储池的信息。
[0020]在第一方面的一种可能的实施方式中，写入虚拟总线的注册信息为注册格式写入。其中，注册格式可以是预先定义、预先配置或者协议规定的数据格式，或者，注册格式可以是由虚拟总线定义的数据格式，或者，注册格式可以是经过虚拟总线和存储设备协商得到的数据格式。
[0021]例如，所述数据格式可以包含键值key
‑
value格式。
[0022]在第一方面的一种可能的实施方式中，在以注册格式写入存储设备的信息时，可以有以下两种可能的设计：
[0023]设计一：存储设备按照注册格式写入注册信息。
[0024]设计二：存储设备将注册信息上传至虚拟总线后，通过其他服务将注册信息转化为统一的格式写入虚拟总线中。
[0025]在第一方面的一种可能的实施方式中，所述多个存储设备中的一个存储设备用于在获取授权之后向所述虚拟总线提交所述注册信息。
[0026]在第一方面的一种可能的实施方式中，所述多个存储设备中的发送端和接收端之间不直接相连，所述发送端和所述接收端通过所述虚拟总线交互数据或者传递消息。
[0027]在第一方面的一种可能的实施方式中，所述虚拟总线还包括消息队列，所述消息队列，所述消息队列用于存储关于任意一个所述存储设备的消息。
[0028]在第一方面的一种可能的实施方式中，所述多个存储设备包含发送端和接收端；
[0029]所述虚拟总线的消息队列用于记录来自所述接收端的数据推送请求，所述数据推送请求用于请求所述发送端推送目标数据；
[0030]所述发送端用于向预设位置推送所述目标数据；
[0031]所述虚拟总线的消息队列还用于记录关于所述接收端的数据准备消息，所述数据准备消息用于通知所述接收端拉取所述目标数据。
[0032]第二方面，本申请实施例提供了一种数据处理方法，包括：
[0033]提供存储层，所述存储层包括多个存储设备，所述存储层用于提供存储空间；
[0034]提供所述虚拟总线，所述虚拟总线用于接收所述存储设备的注册，形成一个包含多个存储设备的虚拟网络；
[0035]提供服务层，所述服务层用于基于所述虚拟网络为用户提供服务。
[0036]本申请实施例中，经过注册的设备可以连接到虚拟总线，基于虚拟总线实现存储设备之间的互联，实现多方设备能够在不直接互联的情况下彼此发现和交流。而服务层中
的服务也可以连接到虚拟总线中，从而基于虚拟总线实现数据流动管理、编排等服务。
[0037]进一步的，连接到虚拟总线的存储设备、服务等可以是异构的，例如，存储设备的硬件型号、软件版本、厂商、所在位置、或文件系统等可以互不相同，服务的内容、形式、或架构等可以互不相同。异构的设备通过虚拟总线所提供的布局规范，也可以实现互相连接，从而建立松耦合、分布式的数据协作关系。
[0038]可选地，前述多个存储设备包含可以是集中式的存储设备，也可以是分布式的存储设备，可以是虚拟的存储设备，也可以是实体存储设备。
[0039]在第二方面的一种可能的实施方式中，所述多个存储设备包含存储阵列、存储服务器、公有云、私有云、或混合云等中的一项或者多项。
[0040]在混合多云的情况下，用户可能具有多套存储设备，其分布的位置可能在不同的区域，也可能分布在不同云中本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据处理系统，其特征在于，包括：存储层、虚拟总线和服务层；所述存储层包括多个存储设备，所述存储层用于提供存储空间；所述虚拟总线，用于接收所述存储设备的注册，形成一个包含多个存储设备的虚拟网络；所述服务层，用于基于所述虚拟网络为用户提供服务。2.根据权利要求1所述的系统，其特征在于，所述多个存储设备包含存储阵列、存储服务器、公有云、私有云、或混合云中的一项或者多项。3.根据权利要求1或2所述的系统，其特征在于，所述多个存储设备中的一个存储设备用于向所述虚拟总线提交注册信息。4.根据权利要求3所述的系统，其特征在于，所述注册信息包含所述存储设备的设备信息。5.根据权利要求3或4所述的系统，其特征在于，所述注册信息包含数据的元数据。6.根据权利要求3
‑
5任一项所述的系统，其特征在于，所述注册信息包含存储池的信息。7.根据权利要求3
‑
6任一项所述的系统，其特征在于，所述注册信息满足预设的数据格式，所述数据格式包含键值key
‑
value格式。8.根据权利要求3
‑
7任一所述的系统，其特征在于，所述多个存储设备中的一个存储设备用于在获取授权之后向所述虚拟总线提交所述注册信息。9.根据权利要求1
‑
8任一项所述的系统，其特征在于，所述多个存储设备中的发送端和接收端之间不直接相连，所述发送端和所述接收端通过所述虚拟总线交互数据或者传递消息。10.根据权利要求1
‑
9任一项所述的系统，其特征在于，所述虚拟总线还包括消息队列，所述消息队列，所述消息队列用于存储关于任意一个所述存储设备的消息。11.根据权利要求10所述的系统，其特征在于，所述多个存储设备包含发送端和接收端；所述消息队列用于记录来自所述接收端的数据推送请求，所述数据推送请求用于请求所述发送端推送目标数据；所述发送端用于向预设位置推送所述目标数据；所述消息队列还用于记录关于所述接收端的数据准备消息，所述数据准备消息用于通知所述接收端拉取所述目标数据。12.一种数据处理方法，其特征在于，包括：提供存储层，所述存储层包括多个存储设备，所述存储层用于提供存储空间；提供所述虚拟总线，所述虚拟总线用于接收所述存储设备的注...
【专利技术属性】
技术研发人员：兰龙文，程卓，程桢，周文，苏毅，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。