【技术实现步骤摘要】
本专利技术属于数据挖掘领域，特别是涉及一种数据要素商品的筛选系统及方法。
技术介绍
1、数据要素作为一种新型的生产要素正在并将继续融入生产、分配、流通、消费和社会服务管理等各环节，有着巨大且广阔的前景。将数据要素作为商品进行流通和交易是其价值体现必不可少的步骤，为了活跃数据要素市场，激励更多的数据提供方和数据加工方参与进来，如何针对数据要素类商品进行定价和调价以保证数据提供方和数据加工方的利益是一个重要的问题。
2、对于常规商品来说，价格、销量、收益之间存在强关联，价格需求弹性系数可以对商品价格变化和销量变化之间关系进行定量描述，进而计算出不同定价下的收益，因此价格需求弹性系数能够为销售主体进行商品价格调整提供非常有价值的参考。而数据要素商品与常规商品之间存在一些差异，数据要素商品的销量对价格并不能呈现出常规商品那样的敏感性，因此计算数据要素商品的价格需求弹性系数的意义没有常规商品大。
3、对于数据要素商品来说，其数据质量与销量之间存在强关联关系，类比常规商品的价格需求弹性系数，可以计算数据要素商品的数据质量需求弹性系数，求得该系数后，就可以获知在相同定价的前提下数据质量和销量的关系，进而计算出不同数据质量对应的收益。
4、现有技术都聚焦于价格需求弹性系数的计算（如专利cn115375091a）或基于价格需求弹性系数建立模型（如专利cn112465403a, cn110298726a，cn112395748a）上，并未着眼于选择哪些商品进行弹性系数计算，默认在计算系数时商品的范围已经确定或参与
技术实现思路
1、本专利技术的目的在于克服现有技术的不足，提供一种数据要素商品的筛选系统及方法。
2、本专利技术的目的是通过以下技术方案来实现的：
3、本专利技术的第一方面提供了一种数据要素商品的筛选系统，所述筛选系统包括：
4、数据存储单元，用于存储商品编号信息、时间信息、商品历史销量信息和商品历史数据质量信息；
5、数据读取单元，用于从数据存储单元中获取第一数据，并将第一数据送往数据处理单元，所述第一数据包括商品历史销量信息和商品历史数据质量信息；
6、数据处理单元，用于根据第一数据生成商品历史销量矩阵和商品历史数据质量矩阵；
7、矩阵运算单元，用于根据商品历史销量矩阵得到各商品间的销量相关系数，根据商品历史数据质量矩阵得到各商品间的数据质量相关系数，以及根据销量相关系数大于第一阈值的商品对形成第一商品对序列，根据数据质量相关系数大于第二阈值的商品对形成数据第二商品对序列；
8、社群发现单元，用于根据第一商品对序列生成第一商品关系图，对第一商品关系图进行群组识别形成第一商品群组；以及根据第二商品对序列生成第二商品关系图，对第二商品关系图进行群组识别形成第二商品群组；
9、社群合并单元，用于将第一商品群组和第二商品群组逐一比对求交集，形成第三商品群组；
10、结果输出单元，用于将所述第三商品群组输出。
11、进一步地，所述数据处理单元具体用于：
12、剔除历史销量信息和历史数据质量信息中的噪声数据；
13、根据剔除噪声数据后的商品历史销量信息形成商品历史销量矩阵；
14、根据剔除噪声数据后的商品历史数据质量信息形成商品历史数据质量矩阵。
15、进一步地，所述矩阵运算单元具体用于：
16、对商品历史销量矩阵求皮尔逊相关系数，得到各商品间的销量相关系数；
17、对商品历史数据质量矩阵求皮尔逊相关系数，得到各商品间的数据质量相关系数；
18、保留销量相关系数大于第一阈值的商品对，形成第一商品对序列；
19、保留数据质量相关系数大于第二阈值的商品对，形成第二商品对序列。
20、进一步地，所述社群发现单元具体用于：
21、根据第一商品对序列生成第一商品关系图；
22、利用社群发现算法对第一商品关系图进行群组识别，形成第一商品群组；
23、根据第二商品对序列生成第二商品关系图；
24、利用社群发现算法对第二商品关系图进行群组识别，形成第二商品群组。
25、进一步地，所述社群发现算法包括：
26、第一步，将第一商品关系图或第二商品关系图中每个节点作为单独的社群，社群的个数与节点个数相同；
27、第二步，分别将各个节点与其邻节点进行合并，将最大模块增益度大于0的节点归入模块增量最大的相邻节点所在社群；
28、第三步，循环迭代第一步和第二步，直到所有节点所属的社群不再变化；
29、第四步，将各个社群内所有节点视同为单一节点，社群内所有节点的边权重转换为新节点指向自身的边权重，社群间的边权重转化为新节点间的边权重；
30、第五步，重复第一步至第三步，直至达到预设条件，从而得到第一商品群组或第二商品群组，其中，预设条件为社群不再变化、达到设定的最大迭代次数或最大模块增益小于指定值。
31、本专利技术的第二方面提供了一种数据要素商品的筛选方法，所述筛选方法包括：
32、获取商品编号信息、时间信息、商品历史销量信息和商品历史数据质量信息；
33、根据第一数据生成商品历史销量矩阵和商品历史数据质量矩阵；
34、根据商品历史销量矩阵得到各商品间的销量相关系数，根据商品历史数据质量矩阵得到各商品间的数据质量相关系数；
35、根据销量相关系数大于第一阈值的商品对形成第一商品对序列，根据数据质量相关系数大于第二阈值的商品对形成数据第二商品对序列；
36、根据第一商品对序列生成第一商品关系图，对第一商品关系图进行群组识别形成第一商品群组；根据第二商品对序列生成第二商品关系图，对第二商品关系图进行群组识别形成第二商品群组；
37、将第一商品群组和第二商品群组逐一比对求交集，形成并输出第三商品群组。
38、进一步地，根据第一数据生成商品历史销量矩阵和商品历史数据质量矩阵，包括：
39、剔除历史销量信息和历史数据质量信息中的噪声数据；
40、根据剔除噪声数据后的商品历史销量信息形成商品历史销量矩阵；
41、根据剔除噪声数据后的商品历史数据质量信息形成商品历史数据质量矩阵。
42、进一步地，根据销量相关系数大于第一阈值的商品对形成第一商品对序列，根据数据质量相关系数大于第二阈值的商品对形成数据第二商品对序列，包括：
43、对商品历史销量矩本文档来自技高网...
【技术保护点】
1.一种数据要素商品的筛选系统，其特征在于，包括：
2.根据权利要求1所述的一种数据要素商品的筛选系统，其特征在于，所述数据处理单元具体用于：
3.根据权利要求1所述的一种数据要素商品的筛选系统，其特征在于，所述矩阵运算单元具体用于：
4.根据权利要求1所述的一种数据要素商品的筛选系统，其特征在于，所述社群发现单元具体用于：
5.根据权利要求4所述的一种数据要素商品的筛选系统，其特征在于，所述社群发现算法包括：
6.一种数据要素商品的筛选方法，其特征在于，包括：
7.根据权利要求6所述的一种数据要素商品的筛选方法，其特征在于，根据第一数据生成商品历史销量矩阵和商品历史数据质量矩阵，包括：
8.根据权利要求6所述的一种数据要素商品的筛选方法，其特征在于，根据销量相关系数大于第一阈值的商品对形成第一商品对序列，根据数据质量相关系数大于第二阈值的商品对形成数据第二商品对序列，包括：
9.根据权利要求6所述的一种数据要素商品的筛选方法，其特征在于，根据第一商品对序列生成第一商品关系图，对第一商
10.根据权利要求9所述的一种数据要素商品的筛选方法，其特征在于，所述社群发现算法包括：
...【技术特征摘要】
1.一种数据要素商品的筛选系统，其特征在于，包括：
2.根据权利要求1所述的一种数据要素商品的筛选系统，其特征在于，所述数据处理单元具体用于：
3.根据权利要求1所述的一种数据要素商品的筛选系统，其特征在于，所述矩阵运算单元具体用于：
4.根据权利要求1所述的一种数据要素商品的筛选系统，其特征在于，所述社群发现单元具体用于：
5.根据权利要求4所述的一种数据要素商品的筛选系统，其特征在于，所述社群发现算法包括：
6.一种数据要素商品的筛选方法，其特征在于，包括：
7.根据权利要求6所述的一种数据要素商品的筛选方法，其特征在于，根据第一...
【专利技术属性】
技术研发人员：吴钒，周頔，林森，彭伟，
申请(专利权)人：四川久远银海软件股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。