基于强化学习的设计资源能力评估方法技术

本发明专利技术公开了一种基于强化学习的设计资源能力评估方法，以服务商历史交易数据以及当前设计资源数据为状态数据，以推送最大能力评估值的服务商为动作，并采用树状结构构建经验回放集合，基于强化学习在各个领域内评估服务商的能力广度分值和能力宽度分值，从而了解服务商的综合能力、成长能力和承担能力，并基于强化学习自学习自演进的构想，对服务商不仅依赖数据还依据质量进行合理评估，能够了解当前服务商的综合能力、成长能力以及承担能力，为众包平台提供更客观的能力反馈信息，也能为众包平台的个性化推送服务提供服务商的数据支撑。撑。撑。

【技术实现步骤摘要】
基于强化学习的设计资源能力评估方法


[0001]本专利技术属于计算机数据处理
，具体地说，是涉及一种基于强化学习的设计资源能力评估方法。

技术介绍

[0002]能力是完成某项活动所需具备的基本素质。传统的能力评价理论将能力划分为一般能力和特殊能力，其中一般能力指的是应对基本活动的能力，比如观察能力和思考的能力；而特殊能力指的是在从事某些特定活动所表现出的与经验相关的能力，比如设计能力、宣传能力、管理能力等。因此，能力是多样化的，每个服务商/商户在不同的设计领域中所表现出来的能力也有所不同。在服务平台中，能力域是一个重要的组成部分，与平台的运行、任务的完成、知识资源的积累都有着密不可分的联系。
[0003]设计资源服务需求是指需要利用外部资源服务来完成产品设计过程，主要是智力资源服务需求、知识资源服务需求、工具资源服务需求以及其它服务需求，其属性主要包括基本属性、目标属性和服务属性。因此随着设计能力主体所完成的设计任务数量的提高，其设计能力将会不断成长，而这种成长特性决定了无法依靠静态的数学模型来分析评价设计能力。基于己完成设计任务数量及相应的任务完成表现评价设计能力水平，是一种有效地途径。
[0004]众包网站中存在各种类型的服务提供商，这些服务商/商户基于众包网站完成来自各个地域的客户的设计需求，并在平台上展示了大大小小的设计资源，正确的整合商户的设计资源及其能力范围成为了一项重要的任务，与传统商家的能力值口口相传的
‘
评价
’
模式相比，平台方对服务商/商户的能力评估提供了更为客观且直接的等级分配模式。
[0005]但是，由于受到各方面技术的限制，目前的方法依然缺少动态性，例如，设计资源中的文字部分无法量化为数值形式，只是简单地根据学习项目的完成比例以及用户的好评率统计数据来掌握服务商/商户的能力情况，无法了解服务商/商户对特定的领域的能力程度，也无法掌握单个服务商/商户的能力程度。因此，很多众包平台对特定的领域设计资源的评判没有针对性的效果评估和反馈机制，表现出了能力评估不准确，客户无法真正了解服务商/商户的水平的问题，使得众包平台上优秀的设计资源难以被挖掘，新兴的设计资源难发展。
[0006]评价设计资源能力单元的能力不能仅仅根据其单次设计任务的表现或者根据某一时间节点的设计能力单元测试结果，而应该从多个层面对设计能力影响因素进行分析并给出综合评判。能力是一种综合素质的体现，在评价时既要体现整体性，也要具有区分性，既能说明个体的综合能力，也能体现其优势和所擅长的方面。

技术实现思路

[0007]本专利技术的目的在于提供一种基于强化学习的设计资源能力评估方法，基于强化学习自学习自演进的特点，从服务商的历史设计任务，从多个角度出发，动态的设计了一种设
计资源能力评估方法，对服务商设计能力进行分析并给出综合判断。
[0008]本专利技术采用以下技术方案予以实现：
[0009]提出一种基于强化学习的设计资源能力评估方法，包括：获取众包平台中服务商的历史交易数据和设计资源数据；基于以下步骤得到服务商设计资源特征：提取所述设计资源信息数据得到的设计资源共性，量化所述历史交易数据得到交易等级，提取所述历史交易数据得到广度资源划分数据，提取所述设计资源信息数据得到的描述标签，以及，获取前一时刻强化学习得到的能力评估结果；以时间为序构建树状结构集合作为强化学习的经验回放集合；以服务商为单位，以服务商的历史交易数据和服务商设计资源特征为强化学习的状态，以推送最大能力评估值的服务商为强化学习的动作，基于强化学习得到服务商的设计资源能力评估结果。
[0010]进一步的，推送最大能力评估值的服务商为强化学习的动作，具体为：
[0011]设计前馈函数f(s,action)＝eval_score；其中，f
′
(s,s
′
,Reward)＝action，s为环境代理交互前状态，s
′
为环境代理交互后状态，Reward为强化学习给出的奖励，action为推荐概率，eval_score为能力评估值。
[0012]进一步的，所述方法还包括：将强化学习得到的各项设计资源特征对应的能力评估值按照生成时间排列，得到各项设计资源特征对应的分值序列；根据各分值序列中第一个元素得到服务商的能力评估结果；和/或，根据各分值序列的各项元素的数值变化得到服务商对设计资源的能力成长结果；和/或，根据分值序列中大于预设值的元素的位置得到服务商对设计资源的能力承担结果；和/或，根据分值序列各项元素的时间间隔，得到服务商对设计资源的能力熟悉结果。
[0013]进一步的，提取所述历史交易数据得到广度资源划分数据，具体包括：分级划分服务商的设计资源数据；按照分级将对应的能力评估值按照生成时间排列，得到各分级的子分值序列；将各子分值序列以父子树状结构进行存储，得到服务商的能力成长结构模型。
[0014]进一步的，根据各分值序列中的第一个元素得到服务商的能力评估结果，包括：根据各分值序列中的第一个元素得到服务商在领域下最新的能力分值；对分值序列中所有能力分值取均值，评估服务商在领域下的设计资源整体能力值。
[0015]进一步的，根据各分值序列的各项元素的数值变化得到服务商对设计资源的能力成长结果，具体为：对比各分值序列的最新的能力分值及整体能力值，得到服务商在领域下的设计资源的成长速度。
[0016]与现有技术相比，本专利技术的优点和积极效果是：本专利技术提出的基于强化学习的设计资源能力评估方法中，以服务商历史交易数据以及当前设计资源数据为状态数据，以推送最大能力评估值的服务商为动作，并采用树状结构构建经验回放集合，基于强化学习在各个领域内评估服务商的能力广度分值和能力宽度分值，从而了解服务商的综合能力、成长能力和承担能力，并基于强化学习自学习自演进的构想，对服务商不仅依赖数据还依据质量进行合理评估，能够了解当前服务商的综合能力、成长能力以及承担能力，为众包平台提供更客观的能力反馈信息，也能为众包平台的个性化推送服务提供服务商的数据支撑。
[0017]结合附图阅读本专利技术实施方式的详细描述后，本专利技术的其他特点和优点将变得更加清楚。
附图说明
[0018]图1为本专利技术提出的基于强化学习的设计资源能力评估方法的流程图；
[0019]图2为本专利技术中经验回放集合的树状结构示意图；
[0020]图3为本专利技术强化学习模型示意图；
[0021]图4为本专利技术实施例中经验回放集合的树状结构示意图。
具体实施方式
[0022]下面结合附图对本专利技术的具体实施方式作进一步详细的说明。
[0023]强化学习是机器学习中的一个领域，是学习“做什么(即如何把当前的情景映射成动作)才能使得数值化的收益信号最大化”。学习者不会被告知应该采取什么动作，而是必须自己通过尝试去发现哪些动作会产生最丰厚的收益。强化学习在“试探”与“开发”之间的折中权衡，智能体开发已有的经验来获取收益，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于强化学习的设计资源能力评估方法，其特征在于，包括：获取众包平台中服务商的历史交易数据和设计资源数据；基于以下步骤得到服务商设计资源特征：提取所述设计资源信息数据得到的设计资源共性，量化所述历史交易数据得到交易等级，提取所述历史交易数据得到广度资源划分数据，提取所述设计资源信息数据得到的描述标签，以及，获取前一时刻强化学习得到的能力评估结果；以时间为序构建树状结构集合作为强化学习的经验回放集合；以服务商为单位，以服务商的历史交易数据和服务商设计资源特征为强化学习的状态，以推送最大能力评估值的服务商为强化学习的动作，基于强化学习得到服务商的设计资源能力评估结果。2.根据权利要求1所述的基于强化学习的设计资源能力评估方法，其特征在于，推送最大能力评估值的服务商为强化学习的动作，具体为：设计前馈函数f(s,action)＝eval_score；其中，f
′
(s,s
′
,Reward)＝action，s为环境代理交互前状态，s
′
为环境代理交互后状态，Reward为强化学习给出的奖励，action为推荐概率，eval_score为能力评估值。3.根据权利要求1所述的基于强化学习的设计资源能力评估方法，其特征在于，所述方法还包括：将强化学习得到的各项设计资源特征对...

【专利技术属性】
技术研发人员：于树松，胡若彤，杨宁，郭保琪，刘晓菲，石硕，丁香乾，侯瑞春，宫会丽，
申请(专利权)人：中国海洋大学，
类型：发明
国别省市：