【技术实现步骤摘要】
本专利技术属于生物仿生计算领域，涉及一种受果蝇轨迹分布及交互模式启发的飞行行为生成模型。本专利技术实现了对果蝇群体的飞行行为仿真建模，能够在有限计算资源下根据配置生成包含多种行为模式的果蝇飞行行为，从而辅助生物行为学的实验研究，为飞行生物的感知、决策以及运动提供有效的模拟实验环境；同时应用于机器人的设计研究，提升受昆虫启发的微小型机器人集群在有限计算资源情况下的任务执行与环境探索效率。
技术介绍
1、通过理解自然生物的感知、决策与运动的内在机制，实现对生物复杂行为的仿真建模，从而构建并控制能够与外界环境交互的虚拟生物，是群体智能、计算机动画以及多智能体无人系统领域的研究热点。
2、果蝇作为相关研究中一种常用的模式生物，不仅拥有多样的飞行行为模式，并且能够在飞行过程中对环境进行高效的探索。果蝇在形成群体后，通过有限感知范围内的局部交互作用，能够表现出更加复杂优化的群体行为。同时，由于果蝇与蜜蜂、信天翁等生物的飞行现象存在相似性，对果蝇飞行行为的分析具有一定代表性，能够推广至其他自然飞行生物的研究中。
3、但直接对大规模果蝇飞行轨迹数据进行采集存在一定的困难。首先，在果蝇飞行轨迹数据采集平台的搭建过程中，由于果蝇具有个体小、飞行速度快的特点，摄影系统硬件需要达到一定的帧率、清晰度要求；其次，在对果蝇飞行轨迹数据进行轨迹识别、跟踪以及重建的过程中，算法会引入计算噪声，大规模的数据会加剧噪声的影响，使得获取到的果蝇飞行轨迹数据存在明显的误差，对下游的果蝇飞行行为分析任务产生影响。因此，对果蝇飞行行为进行仿真建模能
4、对果蝇飞行行为的传统仿真建模方法包括了粒子群、vicsek、couzin以及boids等模型算法，不同方法分别设置不同的作用方式，能够模拟果蝇群体交互、刻画果蝇飞行行为。例如，vicsek模型设置了个体速度同步化的建模假设；couzin模型设置了领导者追随与角色分化的建模假设；而boids模型设置了个体之间局部的分离作用、聚集作用、对齐作用的建模假设。但是，这些传统方法较为依赖于特征与规则的手工设计，只能处理特定的飞行行为模式，对复杂环境的泛化能力较差。
5、果蝇的飞行行为符合马尔可夫模型，由此引入深度强化学习方法，在训练学习的过程中优化果蝇的飞行行为智能。作为一种通过智能体与环境的交互学习来优化决策策略的机器学习方法，深度强化学习结合深度神经网络的非线性拟合能力和强化学习的决策优化能力，能够自动从原始输入中提取特征，并通过反馈奖励信号逐步优化策略。深度强化学习可以处理复杂的决策问题，无需人为地设计特征与规则，产生的策略具备一定的泛化能力，能够有效地应用于果蝇飞行行为的建模过程中。
6、作为深度强化学习中的一种常用方法，ddpg模型基于actor-critic的算法框架，采用深度神经网络作为actor函数和critic函数的近似，其中actor网络输出每个状态对应的动作、critic网络评估当前状态与动作的价值。由此，深度强化学习为果蝇飞行行为生成任务提供了一种实用的手段。
技术实现思路
1、针对上述果蝇飞行轨迹数据采集困难以及传统仿真建模方法依赖于手工设计特征与规则且泛化能力差的问题，本专利技术的目的是提供一种受果蝇轨迹分布及交互模式启发的飞行行为生成模型，是一种结合果蝇飞行轨迹分布、局部交互模式以及深度强化学习的飞行行为生成模型，该模型包含了三个模块：第一模块为基于lévy分布的果蝇飞行轨迹采样算法模块，对果蝇个体的飞行行为进行随机建模；第二模块为基于ddpg模型的果蝇飞行状态控制算法模块，通过深度强化学习实现对果蝇飞行状态的控制；第三模块为基于boids模型的果蝇局部交互作用算法模块，考虑果蝇群体的多种局部交互作用及其对飞行状态的影响效果。通过三个模块的串联，实现对果蝇的飞行行为进行可泛化的仿真建模，生成包含多种行为模式的飞行行为。
2、本专利技术模型具体如下：
3、(s1)基于lévy分布的果蝇飞行轨迹采样算法模块：根据果蝇飞行轨迹数据中的分布统计分析，能够启发飞行行为生成过程中的轨迹步长采样方法，为所有果蝇生成大小各异、方向各异的飞行轨迹步长，进一步实现对果蝇个体飞行行为的随机建模，符合果蝇高效探索环境的特征；
4、(s2)基于ddpg模型的果蝇飞行状态控制算法模块：果蝇的飞行行为符合马尔可夫模型，可以被建模为飞行状态在环境空间中受到连续控制动作影响的结果，因此基于深度强化学习中的ddpg模型对果蝇的飞行状态进行控制更新。根据环境空间中的基本飞行任务定义了包含群体距离惩罚项的奖励值函数，结合噪声探索与经验利用，通过深度神经网络输出每只果蝇在每个时刻的连续动作，利用控制动作对采样获得的飞行速度向量进行调整，从而实现飞行状态的控制更新；
5、(s3)基于boids模型的果蝇局部交互作用算法模块：利用boids模型建模果蝇群体的多种局部交互作用关系及其对飞行状态的影响效果，对果蝇群体中每个个体根据周围个体的位置与速度进行移动的方式进行了描述，包括分离、聚集以及对齐的三种基本作用规则，通过局部交互过程中基本作用规则的叠加模拟果蝇群体的交互模式特征。在此基础上，添加了果蝇受三维环境空间的反馈限制，进一步提升了建模效果。
6、优选的，所述(s1)构建的基于lévy分布的果蝇飞行轨迹采样算法模块的具体内容为：
7、(1-1)将三维空间中所有果蝇的飞行轨迹定义为三维空间坐标点序列的集合，具体为：
8、
9、
10、
11、i∈[1,n]t∈[1,t+1]
12、其中，n是果蝇的数量；t+1是果蝇的飞行总时长；fi表示编号为i的果蝇；traj表示所有果蝇的飞行轨迹集合；表示果蝇fi的飞行轨迹序列；表示果蝇fi在t时刻的三维空间坐标点，按照时间顺序排列构成飞行轨迹序列。
13、(1-2)果蝇的飞行轨迹由频繁的局部运动与间歇的长跳跃运动组成，飞行轨迹数据集的步长统计符合长尾幂律分布，即lévy分布，具体为：
14、p(x)～x-1-α0＜α＜2
15、其中，x是飞行步长；p(x)是飞行步长x在统计分布中的出现概率；α是lévy指数，取值范围为(0,2)。
16、(1-3)受果蝇飞行轨迹步长分布统计的启发，采用mantegna方法为每只果蝇的飞行过程设置了符合lévy分布的步长，具体为：
17、
18、σv＝1,0＜β≤2
19、其中，s表示果蝇的飞行步长；u、v分别符合均值为0、方差为和的正态分布；β为常数，取值范围为(0,2]；γ是gamma函数，采用标准的计算过程，即为：
20、
21、(1-4)利用基于mantegna方法采样初始化的步长，可以得到果蝇fi在t时刻的飞行速度三维向量具体为：
22、
23、其中，sx、sy、sz分别表示采样初始化获得的三维空间中的飞行步长数值。
<本文档来自技高网...【技术保护点】
1.一种受果蝇轨迹分布及交互模式启发的飞行行为生成模型，其特征在于，该模型包含三个模块：
2.根据权利要求1所述的飞行行为生成模型，其特征在于，在基于Lévy分布的果蝇飞行轨迹采样算法模块中，三维空间坐标点序列集合形式的果蝇飞行轨迹中的步长分布能够启发飞行行为生成过程中的轨迹步长采样方法，为所有果蝇生成大小各异、方向各异的飞行轨迹步长，进一步实现对果蝇个体飞行行为的随机建模，符合果蝇高效探索环境的特征。
3.根据权利要求2所述的飞行行为生成模型，其特征在于，在基于Lévy分布的果蝇飞行轨迹采样算法模块中，将三维空间中所有果蝇的飞行轨迹定义为三维空间坐标点序列的集合，具体为：
4.根据权利要求2所述的飞行行为生成模型，其特征在于，在基于Lévy分布的果蝇飞行轨迹采样算法模块中，果蝇的飞行轨迹由频繁的局部运动与间歇的长跳跃运动组成，飞行轨迹数据集的步长统计符合长尾幂律分布，即Lévy分布，受果蝇飞行轨迹步长分布统计的启发，采用Mantegna方法为每只果蝇的飞行过程设置了符合Lévy分布的步长s；
5.根据权利要求1所述的飞行行为生成模
6.根据权利要求5所述的飞行行为生成模型，其特征在于，在基于DDPG模型的果蝇飞行状态控制算法模块中，将环境空间定义为一个大小为L1×L2×L3的长方体，并且在长方体的三维环境空间中定义一个目标点GOAL；
7.根据权利要求5所述的飞行行为生成模型，其特征在于，在基于DDPG模型的果蝇飞行状态控制算法模块中，利用基于全连接神经网络实现的Actor函数与Critic函数分别对连续控制动作进行输出与评估，通过网络的训练学习提升动作对果蝇飞行状态的控制效果；
8.根据权利要求5所述的飞行行为生成模型，其特征在于，在基于DDPG模型的果蝇飞行状态控制算法模块中，当Replay_Buffer中存储的元组数量达到训练学习所需的Batch_Size大小后，通过策略梯度法对Actor_Online、Actor_Target网络以及Critic_Online、Critic_Target网络进行参数的更新；
9.根据权利要求1中所述的飞行行为生成模型，其特征在于，在基于Boids模型的果蝇局部交互作用算法模块中，利用Boids模型建模果蝇群体的多种局部交互作用关系及其对飞行状态的影响效果，对果蝇群体中每个个体根据周围个体的位置与速度进行移动的方式进行了描述，包括分离、聚集以及对齐的三种基本作用规则，通过局部交互过程中基本作用规则的叠加模拟果蝇群体的交互模式特征，在此基础上，添加果蝇受三维环境空间的反馈限制，进一步提升建模效果。
10.根据权利要求9中所述的飞行行为生成模型，其特征在于，在基于Boids模型的果蝇局部交互作用算法模块中，对Boids模型中的三种基本作用规则进行了定义，通过作用力的形式进行表现，包括了分离力、聚集力以及对齐力，以果蝇fi为例，在t时刻的作用力效果包括：分离力使得果蝇fi与其他果蝇保持距离；聚集力使得果蝇fi与其他果蝇进行靠拢；对齐力使得果蝇fi与其他果蝇保持方向一致；
...【技术特征摘要】
1.一种受果蝇轨迹分布及交互模式启发的飞行行为生成模型，其特征在于，该模型包含三个模块：
2.根据权利要求1所述的飞行行为生成模型，其特征在于，在基于lévy分布的果蝇飞行轨迹采样算法模块中，三维空间坐标点序列集合形式的果蝇飞行轨迹中的步长分布能够启发飞行行为生成过程中的轨迹步长采样方法，为所有果蝇生成大小各异、方向各异的飞行轨迹步长，进一步实现对果蝇个体飞行行为的随机建模，符合果蝇高效探索环境的特征。
3.根据权利要求2所述的飞行行为生成模型，其特征在于，在基于lévy分布的果蝇飞行轨迹采样算法模块中，将三维空间中所有果蝇的飞行轨迹定义为三维空间坐标点序列的集合，具体为：
4.根据权利要求2所述的飞行行为生成模型，其特征在于，在基于lévy分布的果蝇飞行轨迹采样算法模块中，果蝇的飞行轨迹由频繁的局部运动与间歇的长跳跃运动组成，飞行轨迹数据集的步长统计符合长尾幂律分布，即lévy分布，受果蝇飞行轨迹步长分布统计的启发，采用mantegna方法为每只果蝇的飞行过程设置了符合lévy分布的步长s；
5.根据权利要求1所述的飞行行为生成模型，其特征在于，在基于ddpg模型的果蝇飞行状态控制算法模块中，果蝇的飞行行为符合马尔可夫模型，可以被建模为飞行状态在环境空间中受到连续控制动作影响的结果，因此基于深度强化学习中的ddpg模型对果蝇的飞行状态进行控制更新。根据环境空间中的基本飞行任务定义了包含群体距离惩罚项的奖励值函数，结合噪声探索与经验利用，通过深度神经网络输出每只果蝇在每个时刻的连续动作，利用控制动作对采样获得的飞行速度向量进行调整，从而实现飞行状态的控制更新。
6.根据权利要求5所述的飞行行为生成模型，其特征在于，在基于ddpg模型的果蝇飞行状态控制算法模块中，将...
【专利技术属性】
技术研发人员：郑能干，汪帮传，朱睿，杨楚瀛，柳伟杰，
申请(专利权)人：浙江大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。