【技术实现步骤摘要】
数据存储方法、装置和设备
本专利技术实施例涉及信息处理技术,尤其涉及一种数据存储方法、装置和设备。
技术介绍
移动互联网时代,人们对信息、服务的获取方式日益增多,对获取到的服务质量要求越来越高。这对信息和服务的提供者来说,产生了颠覆性的要求,需要在技术和商业发展中,产品和创新的周期越来越短,产品迭代更新速度越来越快。作为信息和服务的提供者,产品迭代过程中,经常会遇到一种需求:在不影响在线服务前提下,可以异步持久化存储在线系统模块间通信的数据包,用于离线数据分析,策略迭代调研,异常问题追查等。这类信息数据的获取,通常伴随几个特征:高并发、大数据、异步高扇出数据存储等,而数据保存的完整性、量级大小将直接影响产品更新迭代效果,最终影响产品优化成果。目前业界使用得最多的高性能分布式存储系统主要是memcache(分布式的高速缓存系统)和redis(键值对存储系统)这两种。专利技术人在实现本专利技术的过程中发现,上述两种存储系统存在如下技术问题:memcache没有考虑数据持久性且其分布式功能支持的不够;redis数据持久化支持的不友好、对大规模数据存储支持的不够且接入有开发成本。
技术实现思路
有鉴于此,本专利技术实施例提供了一种数据存储方法、装置和设备,以优化现有的数据存储技术,满足人们日益增长的个性化、便捷化的数据存储需求。在第一方面,本专利技术实施例提供了一种数据存储方法,包括:在获取下层在线模块返回给上层在线模块的查询响应数据包时,计算与所述查询响应数据包对应的数据存储编号;如果根据所述数据存储编号确定所述查询响应数据包中的数据未被存储于外部存储空间中,则将所 ...
【技术保护点】
一种数据存储方法,其特征在于,包括:在获取下层在线模块返回给上层在线模块的查询响应数据包时,计算与所述查询响应数据包对应的数据存储编号;如果根据所述数据存储编号确定所述查询响应数据包中的数据未被存储于外部存储空间中,则将所述查询响应数据包中的数据在所述外部存储空间中进行存储。
【技术特征摘要】
1.一种数据存储方法,其特征在于,包括:在获取下层在线模块返回给上层在线模块的查询响应数据包时,计算与所述查询响应数据包对应的数据存储编号;如果根据所述数据存储编号确定所述查询响应数据包中的数据未被存储于外部存储空间中,则将所述查询响应数据包中的数据在所述外部存储空间中进行存储。2.根据权利要求1所述的方法,其特征在于,计算与所述查询响应数据包对应的数据存储编号包括:根据所述查询响应数据包的数据包协议,对所述查询响应数据包进行数据解析;在数据包解析结果中,获取所述查询响应数据包中的特征字段;根据设定映射算法,计算与所述特征字段对应的数据存储编号。3.根据权利要求1所述的方法,其特征在于:所述外部存储空间为基于固态硬盘的Key-Value键值对存储系统,其中,不同的Key对应于不同的数据存储编号,不同的Value对应于不同查询响应数据包中的数据。4.根据权利要求3所述的方法,其特征在于,如果根据所述数据存储编号确定所述查询响应数据包中的数据未被存储于外部存储空间中,则将所述查询响应数据包中的数据在所述外部存储空间中进行存储,包括:向所述外部存储空间发送数据查询请求,以确定所述外部存储空间是否存储与所述数据存储编号对应的Value;如果接收到所述外部存储空间返回的未存储响应,则判断所述查询响应数据包是否完整:若是,则向所述外部存储空间发送数据存储请求,并将所述外部存储空间返回的存储状态信息添加到存储日志中;若否,则将数据存储失败的记录添加到所述存储日志中;如果接收到所述外部存储空间返回的已存储响应,则直接将数据存储成功的记录添加到所述存储日志中。5.根据权利要求4所述的方法,其特征在于,所述Key-Value存储系统进一步包括:至少两列子存储系统,其中,不同列的子存储系统对应不同子存储系统列名;向所述外部存储空间发送数据查询请求具体包括:根据与所述查询响应数据包对应的库种信息以及预存的库种标识与列名之间的映射关系,确定与所述查询响应数据包对应的子存储系统列名;根据所述子存储系统列名以及所述数据存储编号构造数据查询请求;将所述查询请求发送至所述外部存储空间,以使所述外部存储空间在与所述子存储系统列名对应的子存储系统中,对与所述数据存储编号对应的Value进行查询。6.根据权利要求5所述的方法,其特征在于,所述向外部存储空间发送数据存储请求具体包括:根据所述子存储系统列名、所述数据存储编号以及所述查询响应数据包中的数据构造数据存储请求;向所述外部存储空间发送所述数据存储请求,以使所述外部存储空间在与所述子存储系统列名对应的子存储系统中,在与所述数据存储编号对应的Value位置上,存储所述查询响应数据包中的数据。7.根据权利要求1-6任一项所述的方法,其特征在于:所述方法由配置于所述下层在线模块与所述上层在线模块之间的总控端执行;其中,所述总控端使用套接字通信机制,透明的接入于所述下层在线模块与所述上层在线模块之间,且所述总控端的事件处理机制使用设定多线程异步事件框架构建。8.根据权利要求7所述的方法,其特征在于:在所述总控端中封装有设定类型的数据包协议的解析规则,以及计算所述数据存储编号的所述设定映射算法。9.根据权利要求7所述的方法,其特征在于:所述总控端通过介质屏蔽层与所述外部存储空间进行数据交互;其中,在所述介质屏蔽层中定义了对所述外部存储空间的统一访问接口。10.根据权利要求7所述的方法,其特征在于:所述总控端采用至少两个副本的部署方式进行配置;所述外部存储空间对所述查询响应数据包中的数据进行至少两个副本的存储。11.一种数据存储装置,其特征在于,包括:数据存储编号计算模块,用于在获取下层在线模块返回给上层在线模块的查...
【专利技术属性】
技术研发人员:张丽,黄川,覃安,齐志宏,潘晓雷,
申请(专利权)人:百度在线网络技术北京有限公司,
类型:发明
国别省市:北京,11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。