一种游戏地图平衡性测试方法、装置、设备及存储介质制造方法及图纸

本发明专利技术涉及游戏技术领域，具体是一种游戏地图平衡性测试方法、装置、设备及存储介质，所述方法包括：获取待测试平衡性的目标游戏地图；获取人工智能体集合，所述人工智能体集合中的人工智能体指向不同的决策模型，所述不同的决策模型基于不同的神经网络模型和/或不同的激励函数进行机器学习训练确定；利用所述人工智能体集合中的人工智能体模拟游戏玩家使用所述目标游戏地图进行游戏；获取所述人工智能体使用所述目标游戏地图进行游戏的游戏数据；根据所述游戏数据生成所述目标游戏地图的收益热力图；对所述收益热力图进行分析，确定所述目标游戏地图的平衡性。本发明专利技术的游戏地图平衡性测试方法能够缩短游戏地图的开发验证周期。

A balance test method, device, equipment and storage medium for game map

The invention relates to the field of game technology, in particular to a balance test method, device, device and storage medium of game map, the method includes: obtaining the target game map of the balance to be tested; acquiring the set of artificial agents, wherein the artificial agents in the set point to different decision models, and the different decision models are based on different neural networks The network model and / or different incentive functions are used to determine the machine learning training; the artificial agent in the artificial agent collection is used to simulate the game player using the target game map to play the game; the game data of the artificial agent using the target game map to play the game is obtained; the income heat map of the target game map is generated according to the game data; Analyze the revenue heat map to determine the balance of the target game map. The game map balance test method can shorten the development and verification cycle of the game map.

【技术实现步骤摘要】
一种游戏地图平衡性测试方法、装置、设备及存储介质
本专利技术涉及游戏
，特别涉及一种游戏地图平衡性测试方法、装置、设备及存储介质。
技术介绍
随着网络技术的飞速发展，网络游戏越来越受到人们的喜爱，特别是第一人称射击类游戏(First-PersonShooterGame，FPS)，由于可以以玩家的主观视角来进行射击游戏而深受用户的喜爱。玩家们不再像别的游戏一样操纵屏幕中的虚拟人物来进行游戏，而是身临其境的体验游戏带来的视觉冲击，这就大大增强了游戏的主动性和真实感。在此类游戏中，游戏地图的平衡性是评价一款游戏好坏的一项重要指标，如果游戏地图的平衡性不佳，也即玩家能够在游戏地图中的某个区域获得的收益过高或者过低，则会导致玩家较多或者较少的选择该地图区域，导致整个游戏失衡，从而降低游戏的趣味性。因此，在游戏开发过程中，需要对游戏地图的平衡性进行测试。现有技术中，通常是通过把游戏地图开放到游戏中，然后收集游戏玩家在这张游戏地图中玩游戏的收益(击杀数)，收集几万到十几万个对局游戏的收益后生成收益热力图，游戏策划人员即可根据生成的收益热力图修改地图结构。由于收集对局数据需要较长的时间，游戏策划人员修改地图结构后还需要对修改后的游戏地图的平衡性进行测试，导致游戏地图的开发验证周期较长，且游戏地图不经过验证，直接上线的风险较大。
技术实现思路
针对现有技术的上述问题，本专利技术的目的在于提供一种游戏地图平衡性测试方法、装置、设备及存储介质，能够缩短游戏地图的开发验证周期，并且降低游戏地图不经过验证，直接上线获取真实玩家的游戏数据带来的风险。为了解决上述问题，本专利技术提供一种游戏地图平衡性测试方法，包括：获取待测试平衡性的目标游戏地图；获取人工智能体集合，所述人工智能体集合中的人工智能体指向不同的决策模型，所述不同的决策模型基于不同的神经网络模型和/或不同的激励函数进行机器学习训练确定；利用所述人工智能体集合中的人工智能体模拟游戏玩家使用所述目标游戏地图进行游戏；获取所述人工智能体使用所述目标游戏地图进行游戏的游戏数据；根据所述游戏数据生成所述目标游戏地图的收益热力图；对所述收益热力图进行分析，确定所述目标游戏地图的平衡性。本专利技术另一方面提供一种游戏地图平衡性测试装置，包括：第一获取模块，用于获取待测试平衡性的目标游戏地图；第二获取模块，用于获取人工智能体集合，所述人工智能体集合中的人工智能体指向不同的决策模型，所述不同的决策模型基于不同的神经网络模型和/或不同的激励函数进行机器学习训练确定；处理模块，用于利用所述人工智能体集合中的人工智能体模拟游戏玩家使用所述目标游戏地图进行游戏；第三获取模块，用于获取所述人工智能体使用所述目标游戏地图进行游戏的游戏数据；生成模块，用于根据所述游戏数据生成所述目标游戏地图的收益热力图；分析模块，用于对所述收益热力图进行分析，确定所述目标游戏地图的平衡性。本专利技术另一方面提供一种电子设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述的方法。本专利技术另一方面提供一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上述的方法。由于上述技术方案，本专利技术具有以下有益效果：本专利技术的游戏地图平衡性测试方法、装置、设备及存储介质，通过使用深度强化学习算法和课程学习方式使用目标游戏地图训练多个指向不同的决策模型的人工智能体，并使用训练的人工智能体模拟游戏玩家使用所述目标游戏地图进行游戏，获取多局游戏的游戏数据，并根据所述游戏数据生成所述目标游戏地图的热力图，进而确定所述目标游戏地图的平衡性，能够缩短游戏地图的开发验证周期，辅助策划人员提前发现游戏地图的缺陷，并且降低游戏地图不经过验证，直接上线获取真实玩家的游戏数据带来的风险。附图说明为了更清楚地说明本专利技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。图1是本专利技术一个实施例提供的戏地图平衡性测试方法的流程图；图2是本专利技术另一个实施例提供的游戏地图平衡性测试方法的流程图；图3是本专利技术另一个实施例提供的游戏地图平衡性测试方法的流程图；图4是本专利技术一个实施例提供的神经网络模型的示意图；图5是本专利技术一个实施例提供的深度强化学习训练架构的示意图；图6是本专利技术一个实施例涉及的收益热力图的示意图；图7是本专利技术一个实施例提供的游戏地图平衡性测试装置的结构示意图；图8是本专利技术另一个实施例提供的游戏地图平衡性测试装置的结构示意图；图9是本专利技术一个实施例提供的服务器的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、装置、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。为了使本专利技术实施例公开的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术实施例进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本专利技术实施例，并不用于限定本专利技术实施例。首先，本专利技术实施例对下述概念进行解释：人工智能：ArtificialIntelligence(AI)，人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。深度强化学习：DeepReinforcementLearning(DRL)，深度强化学习将深度本文档来自技高网...

【技术保护点】
1.一种游戏地图平衡性测试方法，其特征在于，包括：/n获取待测试平衡性的目标游戏地图；/n获取人工智能体集合，所述人工智能体集合中的人工智能体指向不同的决策模型，所述不同的决策模型基于不同的神经网络模型和/或不同的激励函数进行机器学习训练确定；/n利用所述人工智能体集合中的人工智能体模拟游戏玩家使用所述目标游戏地图进行游戏；/n获取所述人工智能体使用所述目标游戏地图进行游戏的游戏数据；/n根据所述游戏数据生成所述目标游戏地图的收益热力图；/n对所述收益热力图进行分析，确定所述目标游戏地图的平衡性。/n

【技术特征摘要】
1.一种游戏地图平衡性测试方法，其特征在于，包括：
获取待测试平衡性的目标游戏地图；
获取人工智能体集合，所述人工智能体集合中的人工智能体指向不同的决策模型，所述不同的决策模型基于不同的神经网络模型和/或不同的激励函数进行机器学习训练确定；
利用所述人工智能体集合中的人工智能体模拟游戏玩家使用所述目标游戏地图进行游戏；
获取所述人工智能体使用所述目标游戏地图进行游戏的游戏数据；
根据所述游戏数据生成所述目标游戏地图的收益热力图；
对所述收益热力图进行分析，确定所述目标游戏地图的平衡性。


2.根据权利要求1所述的方法，其特征在于，还包括使用所述目标游戏地图训练人工智能体，所述使用所述目标游戏地图训练人工智能体包括：
将所述人工智能体的训练任务划分为多个难度等级；
从所述目标游戏地图中为每个难度等级的训练任务匹配对应的训练地图；
依次针对每个难度等级的训练任务，基于深度强化学习算法，使用所述训练地图对所述人工智能体进行训练。


3.根据权利要求2所述的方法，其特征在于，所述依次针对每个难度等级的训练任务，基于深度强化学习算法，使用所述训练地图对所述人工智能体进行训练包括：
构建所述人工智能体的神经网络模型和激励函数；
根据所述神经网络模型和所述激励函数获取利用所述人工智能体模拟游戏玩家使用所述训练地图进行训练的训练样本数据；
基于深度强化学习算法，使用所述训练样本数据对所述人工智能体的神经网络模型进行训练，调整所述神经网络模型的参数，得到所述人工智能体的决策模型。


4.根据权利要求3所述的方法，其特征在于，所述根据所述神经网络模型和所述激励函数获取利用所述人工智能体模拟游戏玩家使用所述训练地图进行训练的训练样本数据包括：
在游戏运行过程中，获取所述人工智能体的当前状态数据；
将所述当前状态数据输入所述人工智能体的神经网络模型中，生成所述当前状态数据对应的决策数据；
根据所述决策数据确定所述人工智能体的决策动作，并控制所述人工智能体执行所述决策动作；
根据所述激励函数确定所述人工智能体执行所述决策动作后的回报数据；
获取所述人工智能体执行所述决策动作后的后续状态数据；
将所述当前状态数据、所述决策数据、所述回报数据和所述后续状态数据组...

【专利技术属性】
技术研发人员：黄盈，李旭冬，董海阳，王林，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44