一种分布式消息系统中的数据处理方法和装置制造方法及图纸

本发明专利技术公开了一种分布式消息系统中的数据处理方法和装置，其中方法包括：为分布式消息系统中的消息主题维护用户级别的元数据；接收数据处理方对指定消息主题的用户级别的元数据读取请求，向所述数据处理方返回该指定消息主题的用户级别的元数据，以使所述数据处理方根据所述用户级别的元数据，对该指定消息主题的目标数据进行指定类型的处理。该技术方案一方面在数据层面上使得数据与其元数据在存储上的关联性更高，可以都在同一个分布式消息系统中保存，另一方面，用户可以利用用户级别的元数据保存各类信息，以应对不同的数据处理场景。

A data processing method and device in a distributed message system

The invention discloses a distributed information system in data processing method and device, wherein the method comprises the following steps: distributed information system in the maintenance of user level message subject metadata; metadata received data processing on the theme of the user specified message level read requests, user level metadata returns the specified message to the theme data processing, the data processing method based on metadata of the user level, the target data of the specified message subject of the specified type. The technical scheme in terms of data so that the data and metadata associated in storage is higher, can be saved in the same distributed information system, on the other hand, the user can save all kinds of information using metadata to user level, in order to cope with the different data processing scene.

【技术实现步骤摘要】
一种分布式消息系统中的数据处理方法和装置
本专利技术涉及计算机
，具体涉及一种分布式消息系统中的数据处理方法和装置。
技术介绍
分布式消息系统(如Kafka、RocketMQ)能够提供消息订阅、发布、支持高并发。用户发布到分布式消息系统中的消息通常对应一个消息主题(Topic)。此外，分布式消息系统的元数据(metadata)通常是系统级的，与分布式消息系统相独立保存，例如Kafka的元数据通常保存在zookeeper(一种分布式系统的调度架构)上。而我们知道的是，元数据与数据的关联性很高，这种独立存储的方式并不是在各方面都是最佳的。
技术实现思路
鉴于上述问题，提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的分布式消息系统中的数据处理方法和装置。依据本专利技术的一个方面，提供了一种分布式消息系统中的数据处理方法，包括：为分布式消息系统中的消息主题维护用户级别的元数据；接收数据处理方对指定消息主题的用户级别的元数据读取请求，向所述数据处理方返回该指定消息主题的用户级别的元数据，以使所述数据处理方根据所述用户级别的元数据，对该指定消息主题的目标数据进行指定类型的处理。可选地，其中，所述为分布式消息系统中的消息主题维护用户级别的元数据包括：在根据消息主题创建请求创建消息主题时，根据所述消息主题创建请求中的元数据创建请求，创建相应的用户级别的元数据。可选地，所述为分布式消息系统中的消息主题维护用户级别的元数据包括：提供元数据交互接口，通过所述元数据交互接口接收对指定消息主题的元数据维护请求；根据所述元数据维护请求，对相应的消息主题的用户级别的元数据进行修改/删除，和/或为相应的消息主题新增用户级别的元数据。可选地，所述接收数据处理方对指定消息主题的用户级别的元数据读取请求，向所述数据处理方返回该指定消息主题的用户级别的元数据包括：提供元数据交互接口，通过所述元数据交互接口接收数据处理方对指定消息主题的用户级别的元数据读取请求，以及向所述数据处理方返回该指定消息主题的用户级别的元数据。可选地，所述用户级别的元数据包括指定类型消息的概要信息；所述接收数据处理方对指定消息主题的用户级别的元数据读取请求包括：接收数据处理方定期发送的对指定消息主题的用户级别的元数据读取请求；所述根据所述用户级别的元数据，对该指定消息主题的目标数据进行指定类型的处理包括：根据所述指定类型消息的概要信息，对该指定消息主题中的消息进行解析。可选地，所述用户级别的元数据包括用户信息；所述数据处理方对指定消息主题的用户级别的元数据读取请求是所述数据处理方在指定消息主题未被使用的时间达到预设阈值时发送的；所述根据所述用户级别的元数据，对该指定消息主题的目标数据进行指定类型的处理包括：根据所述用户信息，向相应的用户发送是否删除该指定消息主题的确认信息；以及在接收到删除该指定消息主题的确认答复时，删除该指定消息主题。依据本专利技术的另一方面，提供了一种分布式消息系统中的数据处理装置，包括：元数据维护单元，适于为分布式消息系统中的消息主题维护用户级别的元数据；元数据交互单元，适于接收数据处理方对指定消息主题的用户级别的元数据读取请求，向所述数据处理方返回该指定消息主题的用户级别的元数据，以使所述数据处理方根据所述用户级别的元数据，对该指定消息主题的目标数据进行指定类型的处理。可选地，其中，所述元数据维护单元，适于在根据消息主题创建请求创建消息主题时，根据所述消息主题创建请求中的元数据创建请求，创建相应的用户级别的元数据。可选地，所述元数据交互单元，适于提供元数据交互接口，通过所述元数据交互接口接收对指定消息主题的元数据维护请求；所述元数据维护单元，适于根据所述元数据维护请求，对相应的消息主题的用户级别的元数据进行修改/删除，和/或为相应的消息主题新增用户级别的元数据。可选地，所述元数据交互单元，适于提供元数据交互接口，通过所述元数据交互接口接收数据处理方对指定消息主题的用户级别的元数据读取请求，以及向所述数据处理方返回该指定消息主题的用户级别的元数据。可选地，所述用户级别的元数据包括指定类型消息的概要信息；所述元数据交互单元，适于接收数据处理方定期发送的对指定消息主题的用户级别的元数据读取请求；所述根据所述用户级别的元数据，对该指定消息主题的目标数据进行指定类型的处理包括：根据所述指定类型消息的概要信息，对该指定消息主题中的消息进行解析。可选地，所述用户级别的元数据包括用户信息；所述数据处理方对指定消息主题的用户级别的元数据读取请求是所述数据处理方在指定消息主题未被使用的时间达到预设阈值时发送的；所述根据所述用户级别的元数据，对该指定消息主题的目标数据进行指定类型的处理包括：根据所述用户信息，向相应的用户发送是否删除该指定消息主题的确认信息；以及在接收到删除该指定消息主题的确认答复时，删除该指定消息主题。由上述可知，本专利技术的技术方案，在分布式消息系统中，为消息主题分别维护用户级别的元数据，利用这些用户级别的元数据，数据处理方可以在数据处理的过程中对目标数据进行各类指定类型的处理。该技术方案一方面在数据层面上使得数据与其元数据在存储上的关联性更高，可以都在同一个分布式消息系统中保存，另一方面，用户可以利用用户级别的元数据保存各类信息，以应对不同的数据处理场景。上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式。附图说明通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本专利技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：图1示出了根据本专利技术一个实施例的一种分布式消息系统中的数据处理方法的流程示意图；图2示出了根据本专利技术一个实施例的一种分布式消息系统中的数据处理装置的结构示意图。具体实施方式下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。图1示出了根据本专利技术一个实施例的一种分布式消息系统中的数据处理方法的流程示意图，如图1所示，该方法包括：步骤S110，为分布式消息系统中的消息主题维护用户级别的元数据。其中，分布式消息系统可以是前面提到的Kafka，用户级别的元数据不同于分布式消息系统的系统级别的元数据，一方面不与分布式消息系统相互独立，用户级别的元数据可以保存在分布式消息系统中，例如保存在相应的消息主题Topic中；另一方面，元数据的信息可以自定义，拓展性良好，应用场景更广泛。步骤S120，接收数据处理方对指定消息主题的用户级别的元数据读取请求，向数据处理方返回该指定消息主题的用户级别的元数据，以使数据处理方根据用户级别的元数据，对该指定消息主题的目标数据进行指定类型的处理。可见，图1所示的方法，在分布式消息系统中，为消息主题分别维护用户级别的元数据，利用这些用户级别的元数据，数据本文档来自技高网...

【技术保护点】
一种分布式消息系统中的数据处理方法，其中，该方法包括：为分布式消息系统中的消息主题维护用户级别的元数据；接收数据处理方对指定消息主题的用户级别的元数据读取请求，向所述数据处理方返回该指定消息主题的用户级别的元数据，以使所述数据处理方根据所述用户级别的元数据，对该指定消息主题的目标数据进行指定类型的处理。

【技术特征摘要】
1.一种分布式消息系统中的数据处理方法，其中，该方法包括：为分布式消息系统中的消息主题维护用户级别的元数据；接收数据处理方对指定消息主题的用户级别的元数据读取请求，向所述数据处理方返回该指定消息主题的用户级别的元数据，以使所述数据处理方根据所述用户级别的元数据，对该指定消息主题的目标数据进行指定类型的处理。2.如权利要求1所述的方法，其中，所述为分布式消息系统中的消息主题维护用户级别的元数据包括：在根据消息主题创建请求创建消息主题时，根据所述消息主题创建请求中的元数据创建请求，创建相应的用户级别的元数据。3.如权利要求1所述的方法，其中，所述为分布式消息系统中的消息主题维护用户级别的元数据包括：提供元数据交互接口，通过所述元数据交互接口接收对指定消息主题的元数据维护请求；根据所述元数据维护请求，对相应的消息主题的用户级别的元数据进行修改/删除，和/或为相应的消息主题新增用户级别的元数据。4.如权利要求1所述的方法，其中，所述接收数据处理方对指定消息主题的用户级别的元数据读取请求，向所述数据处理方返回该指定消息主题的用户级别的元数据包括：提供元数据交互接口，通过所述元数据交互接口接收数据处理方对指定消息主题的用户级别的元数据读取请求，以及向所述数据处理方返回该指定消息主题的用户级别的元数据。5.如权利要求1所述的方法，其中，所述用户级别的元数据包括指定类型消息的概要信息；所述接收数据处理方对指定消息主题的用户级别的元数据读取请求包括：接收数据处理方定期发送的对指定消息主题的用户级别的元数据读取请求；所述根据所述用户级别的元数据，对该指定消息主题的目标数据进行指定类型的处理包括：根据所述指定类型消息的概要信息，对该指...

【专利技术属性】
技术研发人员：倪传蕾，马庆祥，
申请(专利权)人：北京奇虎科技有限公司，
类型：发明
国别省市：北京,11