数据处理方法及装置制造方法及图纸

本发明专利技术公开了一种数据处理方法及装置；方法包括：从广告系统获取记录数据；构建接入广告系统的广告媒介、计算模型集合以及数据字段之间的映射关系；设定目标广告媒介，获取针对目标广告媒介设定的指标数据的类型，并获取针对指标数据设定的不同维度的筛选条件；基于映射关系，定位目标广告媒介所映射的计算模型中用于计算类型的指标数据的目标计算模型，并定位目标计算模型在目标广告媒介的记录数据中所映射的数据字段；通过目标计算模型，对映射的数据字段中符合不同维度的筛选条件的数据字段进行计算，形成对应目标广告媒介的目标数据。实施本发明专利技术，能够对接入广告系统的对于支持高效获取不同广告媒介的指标数据，节约服务器资源开销。

【技术实现步骤摘要】
数据处理方法及装置
本专利技术涉及通信技术，尤其涉及一种数据处理方法及装置。
技术介绍
互联网广告(以下简称广告)作为在互联网进行信息推广的典型技术，已经成为用户获取信息、以及广告主提升知名度和宣传产品的重要途径。根据中国互联网信息中心(CNNIC)调查，截止2016年6月，我国互联网网民规模已达到7.1亿，普及率为51.7％，作为互联网中信息推广的主要手段，网络广告业务相比于传统的广告媒介(报纸、杂志、电视和广播)，在结构上还是形态上都比后者要更为精细、多样和错综复杂。并且，随着科技媒介本身的发展以及与传统媒体的融合，新的广告媒介层出不穷。在广告投放业务中，需要获取广告媒介中所投放广告的各种指标数据，进行广告系统的各种挖掘优化工作，如优化广告投放定向精度、提升广告位的利用率等。网络中的广告媒介的异构性、以及指标数据多样性的特点，导致服务器计算不同指标数据时所需的原始的记录数据、以及基于记录数据计算出指标数据的方式都存在差异，因此，服务器基于业务逻辑对广告媒介的原始的记录数据进行查询、以及计算形成指标数据时，所运行的业务逻辑存在不可避免地差异。一方面，服务器需要对接异构的广告媒介来计算指标数据，鉴于广告媒介的数量大以及不断变动的情况，需要不断更新服务器中对应新广告媒介的形成指标数据的业务逻辑，以及更新已有的业务逻辑，导致难以维护的问题；另一方面，由于计算指标数据的任务庞大，服务器难以在短时间内计算形成指标数据，特别是响应并发的指标数据的需求时将出现较大的延迟。
技术实现思路
本专利技术实施例提供一种数据处理方法及装置，能够针对接入广告系统的对于支持高效获取不同广告媒介的指标数据，节约服务器资源开销。本专利技术实施例的技术方案是这样实现的：第一方面，本专利技术实施例提供一种数据处理方法，包括：从广告系统获取基于接入的广告媒介投放广告所形成的记录数据；构建接入所述广告系统的广告媒介、计算模型集合、以及所述记录数据的不同维度的数据字段之间的映射关系；在接入所述广告系统的广告媒介中设定目标广告媒介，获取针对所述目标广告媒介设定的指标数据的类型，并获取针对所述指标数据设定的不同维度的筛选条件；基于所述映射关系，定位所述目标广告媒介所映射的计算模型中用于计算所述类型的指标数据的目标计算模型，并定位所述目标计算模型在所述目标广告媒介的记录数据中所映射的数据字段；通过所述目标计算模型，对所述映射的数据字段中符合所述不同维度的筛选条件的数据字段进行计算，形成对应所述目标广告媒介的目标数据。第二方面，本专利技术实施例提供一种数据处理装置，包括：接入单元，用于从广告系统获取基于接入的广告媒介投放广告所形成的记录数据；构建单元，用于构建接入所述广告系统的广告媒介、计算模型集合、以及所述记录数据的不同维度的数据字段之间的映射关系；获取单元，用于在接入所述广告系统的广告媒介中设定目标广告媒介，获取针对所述目标广告媒介设定的指标数据的类型，并获取针对所述指标数据设定的不同维度的筛选条件；定位单元基于所述映射关系，定位所述目标广告媒介所映射的计算模型中用于计算所述类型的指标数据的目标计算模型，并定位所述目标计算模型在所述目标广告媒介的记录数据中所映射的数据字段；计算单元，用于通过所述目标计算模型，对所述映射的数据字段中符合所述不同维度的筛选条件的数据字段进行计算，形成对应所述目标广告媒介的所述目标数据。第三方面，本专利技术实施例提供一种数据处理装置，包括存储器和处理器，所述存储器中存储有可执行指令，用于执行本专利技术实施例提供的数据处理方法。第四方面，本专利技术实施例提供一种存储介质，存储有可执行指令，用于执行本专利技术实施例提供的数据处理方法。本专利技术实施例具有这样的有益效果：1)通过将不同广告媒介在映射关系中与计算模型进行耦合的方式集中起来，支持对多种广告媒介的指标数据的筛选条件进行设定，从而实现了对多种广告媒介的指标数据进行统一查询的入口的效果，便于统一配置管理。2)通过计算模型与广告媒介的数据字段之间的映射，形成广告媒介-计算模型-数据字段的映射关系，使得异构网络能够通过计算模型间接映射到同一数据字段集合(全体数据字段)中的部分数据字段，通过数据字段集合打通了异构广告媒介的记录数据的数据结构存在差异而无法以统一的数据结构的隔阂，实现了不同广告媒介的数据字段的融合，节省了存储资源的开销。3)通过计算模型与广告媒介的耦合、以及计算模型与数据字段的耦合，将异构的广告媒介与广告媒介的繁多的数据字段之间复杂的连接关系成功解耦，广告媒介的变动在三元组结构中表现为广告媒介与计算模型的映射关系的更新，由于不涉及对变动的广告媒介与数据字段之间的复杂的映射关系进行修改，扩展性强、健壮性高，可达到根据广告媒介的变动而自适应管理的效果，节省了研发与维护成本。附图说明图1是本专利技术实施例提供的针对多个广告媒介设置数据平台以提供查询指标数据服务的一个可选的示意图；图2是本专利技术实施例提供的数据处理方法的一个可选的流程示意图；图3是本专利技术实施例提供的针对广告媒介的数据字段进行统一配置管理并计算指标数据的架构示意图；图4是本专利技术实施例提供的针对广告媒介的数据字段进行统一配置管理优化并计算指标数据的架构示意图；图5-1是本专利技术实施例提供的自适应配置管理系统(数据处理系统的一个可选的实施)提供的引入三元组结构前广告媒介与数字字段的映射关系的示意图；图5-2是本专利技术实施例提供的自适应配置管理系统(数据处理系统的一个可选的实施)提供的引入三元组结构后广告媒介与数字字段的映射关系的对比示意图，图6是本专利技术实施例提供的指标数据服务中设定广告媒介、指标数据的类型、以及一个或多个维度的筛选条件的一个可选的示意图；图7是本专利技术实施例提供的自适应配置管理系统与广告系统的一个可选的拓扑关系示意图，图8是本专利技术实施例提供的自适应配置管理系统的一个可选的软硬件结构示意图；图9是本专利技术实施例提供的自适应配置管理系统的一个可选的功能结构示意图。具体实施方式以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所提供的实施例仅仅用以解释本专利技术，并不用于限定本专利技术。另外，以下所提供的实施例是用于实施本专利技术的部分实施例，而非提供实施本专利技术的全部实施例，在不冲突的情况下，本专利技术实施例记载的技术方案可以任意组合的方式实施。对本专利技术进行进一步详细说明之前，对本专利技术实施例中涉及的名词和术语进行说明，本专利技术实施例中涉及的名词和术语适用于如下的解释。1)广告媒介，如无特别说明，本文中指网络广告媒介，是指可以在网络中提供广告位以展示广告的媒介，根据广告媒介的不同属性提供有不同的广告位。如网络视频服务(包括网页和客户端的访问方式)作为一个广告媒介，包含如下形式的广告位：PC-点播-前贴片；直播-角标；移动-点播-暂停。2)曝光，广告在广告位的一次展现为一次曝光。3)点击，对广告的一次有效的点击。4)覆盖，广告受众的分布范围，如年龄、地域和性别等。5)频次，广告投放在所设定的最大的曝光的频率和曝光的次数，如针对同一用户曝光的频次，或针对使用同一类型终端的用户曝光的频次。6)收入，投放广告的计费，包括按点击计费、按曝光计费、按照广告效果转化等计费方式。7)记录数据，广告系统在广告媒介中投放的广告的多个类型的数据，如点击数据、频次数据本文档来自技高网...

【技术保护点】
一种数据处理方法，其特征在于，包括：从广告系统获取基于接入的广告媒介投放广告所形成的记录数据；构建接入所述广告系统的广告媒介、计算模型集合以及所述记录数据的不同维度的数据字段之间的映射关系；在接入所述广告系统的广告媒介中设定目标广告媒介，获取针对所述目标广告媒介设定的指标数据的类型，并获取针对所述指标数据设定的不同维度的筛选条件；基于所述映射关系，定位所述目标广告媒介所映射的计算模型中用于计算所述类型的指标数据的目标计算模型，并定位所述目标计算模型在所述目标广告媒介的记录数据中所映射的数据字段；通过所述目标计算模型，对所述映射的数据字段中符合所述不同维度的筛选条件的数据字段进行计算，形成对应所述目标广告媒介的目标数据。

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：从广告系统获取基于接入的广告媒介投放广告所形成的记录数据；构建接入所述广告系统的广告媒介、计算模型集合以及所述记录数据的不同维度的数据字段之间的映射关系；在接入所述广告系统的广告媒介中设定目标广告媒介，获取针对所述目标广告媒介设定的指标数据的类型，并获取针对所述指标数据设定的不同维度的筛选条件；基于所述映射关系，定位所述目标广告媒介所映射的计算模型中用于计算所述类型的指标数据的目标计算模型，并定位所述目标计算模型在所述目标广告媒介的记录数据中所映射的数据字段；通过所述目标计算模型，对所述映射的数据字段中符合所述不同维度的筛选条件的数据字段进行计算，形成对应所述目标广告媒介的目标数据。2.如权利要求1所述的方法，其特征在于，所述构建接入所述广告系统的广告媒介、计算模型集合、以及所述记录数据的不同维度的数据字段之间的映射关系，包括：将所述广告媒介映射到所述计算模型集合中的计算模型，所映射到的计算模型为所述计算模型集合中基于所述广告媒介所包括的至少部分数据字段进行计算的计算模型；根据所述计算模型集合中的各计算模型进行计算时所需要的数据字段，将所述数据字段映射到所述数据字段集合中的相应数据字段。3.如权利要求1所述的方法，其特征在于，还包括：当所述广告系统接入新广告媒介时，根据所述新广告媒介对应的记录数据所包括的数据字段，将所述新广告媒介映射到所述计算模型集合中的计算模型，所映射到的计算模型为所述计算模型集合中基于所述新广告媒介所包括的至少部分数据字段进行计算的计算模型。4.如权利要求1所述的方法，其特征在于，还包括：当所述广告系统接入广告媒介发生更新时，删除所述更新广告媒介与所述计算模型集合中计算模型的原映射关系，将所述新广告媒介映射到所述计算模型集合中的计算模型，所映射到的计算模型为所述计算模型集合中基于所述新广告媒介所包括的至少部分数据字段进行计算的计算模型。5.如权利要求1所述的方法，其特征在于，还包括：当所述广告系统接入的广告媒介停止接入时，删除所述停止接入广告媒介与所映射的计算模型的映射关系。6.如权利要求1所述的方法，其特征在于，还包括：当不同所述广告媒介映射到所述数据字段集合中存在重叠的数据字段时，针对所述重叠的数据字段是复用相同的存储空间。7.如权利要求1所述的方法，其特征在于，还包括：当不同所述广告媒介映射到所述计算模型集合中相同的计算模型时，针对所述不同广告媒介复用所述相同计算模型计算结果。8.如权利要求1所述的方法，其特征在于，所述从广告系统获取基于接入的广告媒介投放广告所形成的记录数据，包括：从所述广告系统获取基于所述接入的广告媒介所投放广告的以下类型的记录数据：所述广告媒介中所投放广告的收入数据、...

【专利技术属性】
技术研发人员：何亚波，曾艳梅，刘丹，
申请(专利权)人：腾讯科技北京有限公司，
类型：发明
国别省市：北京,11