【技术实现步骤摘要】
本申请涉及通信，具体涉及一种数据处理方法、装置、计算机设备和计算机可读存储介质。
技术介绍
1、随着通信技术的发展，客户端提供越来越多的功能，相应地，用户活动时间也越多俩队，对应的数据也是逐渐增加，用户活动事件可以包括用户登录、页面浏览、点击、收藏、评论、购买商品等。而互联网的普及使得有大量的用户同时访问页面，为了提高处理速度，可以引入消息中间件对消息进行处理，但是消息中间件提供的存储云盘存储成本很高。
技术实现思路
1、本申请实施例提供一种数据处理方法、装置、计算机设备和计算机可读存储介质，可以降低数据存储成本。
2、本申请实施例提供的一种数据处理方法，包括：
3、当接收到数据写入请求时，将数据写入请求携带的数据写入第一存储容器，第一存储容器为消息服务器的本地存储容器；
4、根据第一存储时长阈值对第一存储容器中进行数据分层处理，得到第一存储容器中存储时长超过第一存储时长阈值的冷数据；
5、将第一存储容器中的冷数据，转存至第二存储容器中，第二存储容器为远端存储容器，第二存储容器的存储成本低于第一存储容器。
6、相应的，本申请实施例还提供的一种数据处理装置，包括：
7、数据写入单元，用于当接收到数据写入请求时，将所述数据写入请求携带的数据写入第一存储容器，所述第一存储容器为所述消息服务器的本地存储容器；
8、分层处理单元，用于根据第一存储时长阈值对所述第一存储容器中进行数据分层处理，得到所述第一存储容
9、存储单元，用于将所述第一存储容器中的所述冷数据，转存至第二存储容器中，所述第二存储容器为远端存储容器，所述第二存储容器的存储成本低于所述第一存储容器。
10、在一实施例中，所述数据处理装置还包括：
11、位置获取单元，用于获取所述冷数据在所述第二存储容器中的存储位置；
12、元数据存储单元，用于基于所述存储位置构建所述冷数据的元数据，将所述元数据存储在所述第一存储容器中。
13、在一实施例中，所述数据处理装置还包括：
14、接收单元，用于接收针对目标数据的数据获取请求；
15、元数据获取单元，用于若所述目标数据存储于所述第二存储容器中，则获取所述目标数据的元数据；
16、目标数据获取单元，用于根据所述元数据确定所述目标数据的存储位置，并从所述存储位置上获取所述目标数据；
17、响应单元，用于基于所述目标数据对所述数据获取请求进行响应。
18、在一实施例中，所述数据处理装置包括：
19、检测单元，用于以预设检测频率，检测所述第一存储容器的剩余容量；
20、时长确定单元，用于根据所述第一存储容器的剩余容量和所述预设检测频率，确定所述第一存储时长阈值，其中，在同一剩余容量下，所述预设检测频率越高，所述第一存储时长阈值越长。
21、在一实施例中，所述数据处理装置还包括：
22、容量获取单元，用于获取所述第一存储容器的剩余容量；
23、温数据获取单元，用于若所述剩余容量小所述预设容量阈值，则从所述第一存储容器中，获取存储时长超过所述第二存储时长阈值的温数据，所述第二存储时长阈值小于所述第一存储时长阈值；
24、转存单元，用于将所述温数据转存至所述第二存储容器中。
25、在一实施例中，所述存储单元，包括：
26、调节子单元，用于若当前时间段为目标时间段，则所述目标时间段对应的历史数据量，对所述第一存储时长阈值进行调节，得到调节后第一存储时长阈值；
27、筛选子单元，用于根据所述调节后第一存储时长阈值，从所述冷数据中筛选出目标冷数据；
28、数据存储子单元，用于将目标冷数据存储至第二存储容器。
29、在一实施例中，所述存储单元还包括：
30、时间段获取子单元，用于获取每个时间段内，存储至第一存储容器内的历史数据量；
31、时间段确定子单元，用于根据所述历史数据量，每一时间段的从所述多个时间段内确定目标时间段。
32、相应的，本申请实施例还提供的一种计算机设备，包括存储器和处理器；所述存储器存储有计算机程序，所述处理器用于运行所述存储器内的计算机程序，以执行本申请实施例提供的任一种数据处理方法。
33、相应的，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序被处理器加载以执行本申请实施例提供的任一种数据处理方法。
34、本申请实施例消息服务器当接收到数据写入请求时，将数据写入请求携带的数据写入第一存储容器，第一存储容器为消息服务器的本地存储容器；根据第一存储时长阈值对第一存储容器中进行数据分层处理，得到第一存储容器中存储时长超过第一存储时长阈值的冷数据；将第一存储容器中的冷数据，转存至第二存储容器中，第二存储容器为远端存储容器，第二存储容器的存储成本低于第一存储容器。
35、本申请实施例基于第一存储时长阈值对第一存储容器中的数据进行数据分层处理，将数据划分为热数据和冷数据，冷数据为历史的，较少读取的数据，将冷数据存储到存储成本低廉的第二存储容器上，以降低对第一存储容器的容量需求，从而实现降低存储成本，且热数据仍然存储于第一存储容器上，可以保证对热数据读取的实时性。
本文档来自技高网...【技术保护点】
1.一种数据处理方法，其特征在于，应用于消息服务器，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述将所述第一存储容器中的所述冷数据转存至第二存储容器中之后，所述方法还包括：
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
4.根据权利要求1所述的方法，其特征在于，所述根据第一存储时长阈值对所述第一存储容器中进行数据分层处理，得到所述第一存储容器中存储时长超过所述第一存储时长阈值的冷数据之前，所述方法还包括：
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
6.根据权利要求1-5任一项所述的方法，其特征在于，所述将所述第一存储容器中的所述冷数据，转存至第二存储容器中，包括：
7.根据权利要求6所述的方法，其特征在于，所述若当前时间段为目标时间段，则所述目标时间段对应的历史数据量，对所述第一存储时长阈值进行调节，得到调节后第一存储时长阈值之前，所述方法还包括：
8.一种数据处理装置，其特征在于，应用于消息服务器，包括：
9.一种计算机设备，其特征在于
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，所述计算机程序被处理器加载，以执行权利要求1至7任一项所述的数据处理方法。
...【技术特征摘要】
1.一种数据处理方法，其特征在于，应用于消息服务器，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述将所述第一存储容器中的所述冷数据转存至第二存储容器中之后，所述方法还包括：
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
4.根据权利要求1所述的方法，其特征在于，所述根据第一存储时长阈值对所述第一存储容器中进行数据分层处理，得到所述第一存储容器中存储时长超过所述第一存储时长阈值的冷数据之前，所述方法还包括：
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
6.根据权利要求1-5任一项所述的方法，其特征在于，所述将所述第一存储容器中的所述冷数据，转存...
【专利技术属性】
技术研发人员：黄章衡，张亿皓，孙磊，焦南，刘焓，
申请(专利权)人：小红书科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。