商品数据管理方法、装置及服务器制造方法及图纸

本申请提供了商品数据管理方法、装置及服务器，适用于数据管理技术领域，该方法包括：获取商品数据，并将商品数据拆分为至少一个第一子文件，其中每个第一子文件中包含至少一个商品的属性数据；对各个第一子文件进行属性数据校验，并将校验通过的属性数据存储至数据库。本申请实施例大大降低了商品数据管理操作的技术门槛，可用性更高。同时对商品数据自动化的校验和数据存储，也极大地提升了对商品数据的管理效率。的管理效率。的管理效率。

【技术实现步骤摘要】
商品数据管理方法、装置及服务器


[0001]本申请属于数据管理
，尤其涉及商品数据管理方法、装置及服务器。

技术介绍

[0002]电商已经成为了大众购物的一种主流手段。通过内容提供商(Content Provider，CP。CP可以是商家，也可以是商家以外的其他人员。)向商品管理系统提供商品数据，用户利用商品管理系统搜索商品的模式。可以实现对商品的快速曝光，进而为商家带来巨大的流量。
[0003]为了使得用户可以搜索商品，现有的商品管理系统需要CP提供结构化的商品数据。再由商品管理系统对这些结构化的商品数据进行存储，并提供商品搜索服务。但这种方式需要CP具备一定的数据操作能力，从而使得此过程的操作门槛较高。同时对于大多数CP而言，商品的数量往往较多。为了实现对这些商品结构化的商品数据提供，需要CP耗费大量的人力物力进行操作，因此使得商品数据提供的工作量往往较大。综上，现有技术对商品数据的管理效率较低，CP操作的门槛较高，不利于对商品数据的有效管理。

技术实现思路

[0004]有鉴于此，本申请实施例提供了商品数据管理方法、装置及服务器，可以解决现有技术中对商品数据管理效率较低的问题。
[0005]本申请实施例的第一方面提供了一种商品数据管理方法，应用于服务器，包括：
[0006]获取商品数据，并将商品数据拆分为至少一个第一子文件，其中每个第一子文件中包含至少一个商品的属性数据。
[0007]对各个第一子文件进行属性数据校验，并将校验通过的属性数据存储至数据库。/>[0008]本申请实施例的数据管理过程中，CP只需按照格式要求提供商品数据，即可实现对商品数据的离线导入数据库。由于实际应用中CP原本就需要整理商品数据(无论是出于库存整理还是上架电商平台等目的，实际应用中CP一般都是需要整理商品数据的)，因此对CP而言，只需要将商品数据按照格式要求整理即可，无需付出过多额外的工作。商品管理系统在接收到商品数据之后，会对商品数据进行数据拆分，得到多个子文件(即第一子文件)。并会对各个子文件分别进行属性数据校验，以及校验通过的属性数据的上传。其中，服务器对各个子文件的校验，可以是串行处理或并行处理。当并行处理时，服务器可对多个子文件同时进行校验操作，从而提高校验的效率。
[0009]相对现有技术而言，本申请实施例大大降低了CP操作的技术门槛，可用性更高。同时对商品数据自动化的校验和数据存储，也极大地提升了对商品数据的管理效率。
[0010]在第一方面的第一种可能的实现方式中，对各个第一子文件进行属性数据校验，并将校验通过的属性数据存储至数据库，包括：
[0011]从至少一个第一子文件中选取出一个子文件作为第二子文件。
[0012]对第二子文件进行属性数据校验，并将第二子文件中校验通过的属性数据上传至
数据库。
[0013]在完成对第二子文件的校验之后，返回执行从至少一个第一子文件中选取出一个子文件作为第二子文件的操作，直至所有第一子文件均被校验完成。
[0014]本申请实施例中，服务器会循环从这些第一子文件中选取各个子文件(即第二子文件)并进行处理，实现对各个第一子任务进行数据校验，并同步将子文件内的商品数据存储至数据库。使得入库的效率更高，实现了对商品数据的高效管理。
[0015]在第一方面第一种可能实现方式的基础上，作为第一方面的第二种可能的实现方式，在对第二子文件进行属性数据校验，并将第二子文件中校验通过的属性数据上传至数据库之前，还包括：
[0016]在数据库中创建与至少一个第一子文件一一对应的第一子任务。
[0017]对第二子文件进行属性数据校验，并将第二子文件中校验通过的属性数据上传至数据库，包括：
[0018]从数据库存储的第一子任务中确定出一个第二子任务，并从至少一个第一子文件中获取与第二子任务关联的第二子文件。
[0019]返回执行从至少一个第一子文件中选取出一个子文件作为第二子文件的操作，直至对所有第一子文件均校验完成，包括：返回执行从数据库存储的第一子任务中确定出一个第二子任务的操作，直至所有第一子任务均被执行完成。
[0020]在本申请实施例中，通过在数据库中创建与子文件一一对应的子任务(即第一子任务)，并以确定所需执行的子任务(即第二子任务)的形式实现对各个子文件的选取。从而使得本申请实施例中，数据库可以有效记录各个子文件的校验情况，同时服务器也可以方便确定出每次所需校验的子文件。
[0021]在第一方面第二种可能实现方式的基础上，作为第一方面的第三种可能的实现方式，从数据库存储的第一子任务中确定出一个第二子任务，包括：
[0022]获取第一子任务中待执行的子任务，待执行的子任务包括未执行的第一子任务，以及执行中且执行时长超出时长阈值的第一子任务。
[0023]从待执行的子任务中确定出第二子任务。
[0024]在本申请实施例中，会以子任务的执行状态为依据，来区分子任务是否为待执行子任务。考虑到实际应用中，一方面，未执行的子任务需要服务器进行处理。另一方面，实际应用中可能会存在服务器异常无法正常处理子任务的情况，例如服务器由于宕机等原因导致无法正常处理子任务。此时子任务虽然处于执行中，但已经无法执行完成。即使继续等待服务器，也无法完成对子任务的处理，无法实现对子文件的校验。因此需要由其他服务器重新处理这些子任务。基于上述两方面的考量。本申请实施例将未执行的子任务，以及执行中但执行时长超时的子任务，均视为待执行子任务。在此基础上，服务器会获取所有实时所有待执行子任务，并从中确定出所需执行的第二子任务。
[0025]在第一方面第三种可能实现方式的基础上，作为第一方面的第四种可能的实现方式，从待执行的子任务中确定出第二子任务，包括：
[0026]依次向缓存组件请求对各个待执行的子任务的分布式锁。
[0027]若请求到对单个待执行的子任务的分布式锁，将该待执行的子任务作为第二子任务。
[0028]作为本申请的一个可选实施例，为了提高对子任务的处理效率，可以采用多个服务器同时对各个子任务进行处理。此时作为第一方面各个方案的执行主体的服务器，也是对子任务进行处理的一个服务器。实际应用中发现，可能会出现多个服务器同时选取同一子任务进行处理的情况。此时会导致对商品数据的处理效率降低。为了防止单个子任务同时被多个服务器重复处理，在本申请实施例中，服务器在接收到待执行子任务之后，首先会从中选取出一个子任务，并尝试向缓存组件申请对该子任务的分布式锁。由于单个子任务的分布式锁仅能分配给单个服务器。因此若该子任务未被其他服务器处理，理论上此时可以获取到对该子任务的分布式锁。反之若该子任务已经被其他服务器处理，基于执行前需要申请分布式锁的原则。此时缓存组件内会记录该子任务已被其他服务器申请分布式锁。因此此时会无法成功获取子任务的分布式锁。基于这一原理，在获取到分布式锁完成上锁的操作后，服务器会判定该子任务为此次所需执行的子任务。并会下载对应本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种商品数据管理方法，其特征在于，应用于服务器，所述方法包括：获取商品数据，并将所述商品数据拆分为至少一个第一子文件，其中每个所述第一子文件中包含至少一个商品的属性数据；对各个所述第一子文件进行属性数据校验，并将校验通过的属性数据存储至数据库。2.根据权利要求1所述的商品数据管理方法，其特征在于，所述对各个所述第一子文件进行属性数据校验，并将校验通过的属性数据存储至数据库，包括：从所述至少一个第一子文件中选取出一个子文件作为第二子文件；对所述第二子文件进行属性数据校验，并将所述第二子文件中校验通过的属性数据上传至所述数据库；在完成对所述第二子文件的校验之后，返回执行所述从所述至少一个第一子文件中选取出一个子文件作为第二子文件的操作，直至所有所述第一子文件均被校验完成。3.根据权利要求1或2任意一项所述的商品数据管理方法，其特征在于，还包括：若所述商品数据中存在校验失败的属性数据，则获取所述校验失败的属性数据的异常信息，并将所述异常信息存储至所述数据库。4.根据权利要求1至3任意一项所述的商品数据管理方法，其特征在于，所述商品数据为数据表格式的数据。5.根据权利要求2至4任意一项所述的商品数据管理方法，其特征在于，所述将所述第二子文件中校验通过的属性数据上传至数据库，包括：在对所述第二子文件进行属性数据校验的过程中，将所述第二子文件中校验通过的属性数据上传至数据库；或者在对所述第二子文件进行属性数据校验完成后，将所述第二子文件中校验通过的属性数据上传至数据库。6.根据权利要求1至5任意一项所述的商品数据管理方法，其特征在于，所述商品数据内的属性数据中，包含商品图片下载地址，所述方法还包括：根据所述校验通过的属性数据中包含的商品图片下载地址，下载商品图片；对所述商品图片进行图像特征分析，得到图像特征数据；将所述图像特征数据存储至特征库。7.一种商品搜索方法，其特征在于，应用于服务器，所述方法包括：接收用户终端上传的第一商品图片；对所述第一商品图片进行图像特征分析，得到第一图像特征数据；从特征库存储的图像特征数据中，确定出与所述第一图像特征数据特征匹配度最高的至少一个第二图像特征数据；将与所述至少一个第二图像特征数据一一对应的第二商品图片，以及与所述第二商品图片关联的属性数据发送至所述用户终端，其中，发送的所述第二商品图片及关联的所述属性数据，是基于所述第一商品图片内包含的商标信息进行排序后的所述第二商品图片及所述属性数据。8.根据权利要求7所述的商品搜索方法，其特征在于，在所述将与所述至少一个第二图像特征数据一一对应的第二商品图片，以及与所述第二商品图片关联的属性数据发送至所述用户终端之前，还包括：
获取所述第一商品图片内包含的第一商标信息；获取各个目标商品的目标商标信息，所述目标商品是所述第二图像特征数据所关联的商品，所述第二商品图片及关联的所述属性数据，是所述目标商品的商品图片和属性数据；按照所述目标商标信息与所述第一商标信息的信息匹配度从高到低的顺序，对所述目标商品的所述第二商品图片和所述属性数据进行排序。9.根据权利要求8所述的商品搜索方法，其特征在于，所述目标商标信息，包括：第二商标信息和/或第三商标信息；所述第二商标信息是所述目标商品关联的所述第二商品图片内包含的商标信息；所述第三商标信息是所述目标商品关联的所述属性数据内包含的商标信息。10.根据权利要求7至9任一所述的商品搜索方法，其特征在于，所述对所述第一商品图片进行图像特征分析，得到第一图像特征数据，包括：利用预先训练完成的图像特征分析模型对所述第一商品图片进行图像特征分析，得到第一图像特征数据；所述图像特征分析模型是从基于多个商品样本的商品图片样本和...

【专利技术属性】
技术研发人员：常亚，王刚，胡小清，
申请(专利权)人：花瓣云科技有限公司，
类型：发明
国别省市：