一种基于深度神经网络的大脑认知系统建模方法技术方案

该发明专利技术公开了一种基于深度神经网络的大脑认知系统建模方法，属于人工智能和神经生物学领域。针对背景和已有研究成果的不足之处，本文提出了一种基于深度神经网络的认知系统建模方法，旨在解决现有技术模型不符合生物脑认知系统运行机制、建模没有考虑认知系统中的高维信息、如何利用包含图像信息的认知任务时序数据集训练模型、以及现有技术推测出的模型表征与生物脑表征还存在较大差距的问题。表征与生物脑表征还存在较大差距的问题。表征与生物脑表征还存在较大差距的问题。

【技术实现步骤摘要】
一种基于深度神经网络的大脑认知系统建模方法


[0001]本专利技术属于人工智能和神经生物学领域，具体涉及到一种基于深度神经网络的认知系统建模方法。

技术介绍

[0002]受制于测量技术的限制，很难直接探测生物脑内部神经元的活动。近几年，得益于深度神经网络的快速发展，越来越多的研究人员将其作为建模生物脑的主要手段，通过测量深度神经网络的神经元活动来研究生物脑的运行机制。其中，卷积神经网络(CNNs,Convolutional Neural Networks)常被用于建模生物脑的初级视觉皮层，用于执行视觉任务。除了建模视觉皮层，使用深度神经网络建模生物脑的另一项重要挑战就是如何对生物脑的认知系统进行建模。
[0003]不同于视觉皮层的图像视觉任务，生物脑中例如工作记忆等认知系统是在时间维度上展开的，对其建模难度更高。研究人员通常采用经验数据或利用行为数据来推测生物脑相应脑区的表征，但上述方法推测出的表征模式与脑区真实表征还存在较大的差距。最近有研究采用擅长处理时序问题的循环神经网络(RNNs,Recurrent Neural Networks)来对认知系统进行建模。但多数模型都是基于模型中存在一个低维的动力系统这样一个假设，从而对建模进行了简化，没有考虑认知系统中的高维信息。在对生物脑的研究中发现，初级视觉皮层与高级的额顶皮层等均有参与到认知行为当中。因此，对认知系统的建模，应该包含视觉皮层的高维信息，而这是现有模型没有考虑的。所以，如何搭建更加符合生物脑认知系统运行机制的深度神经网络模型、如何用包含图像信息的认知任务时序数据集进行训练、如何提高模型表征与生物脑表征的相似性，仍然是一个亟待解决的问题。

技术实现思路

[0004]针对背景和已有研究成果的不足之处，本文提出了一种基于深度神经网络的认知系统建模方法，旨在解决现有技术模型不符合生物脑认知系统运行机制、建模没有考虑认知系统中的高维信息、如何利用包含图像信息的认知任务时序数据集训练模型、以及现有技术推测出的模型表征与生物脑表征还存在较大差距的问题。
[0005]专利技术的技术方案如下所述：一种基于深度神经网络的大脑认知系统建模方法，该方法包括：
[0006]步骤1：搭建认知系统模型；
[0007]使用ImageNet数据集预训练一个完整的CNNs，特别的，CNNs采用AlexNet模型架构；完成后舍去全连接层，依次在卷积层后添加展平层和基于连续时间动力系统的循环层，组成认知系统模型；其中卷积层的输出为矩阵C
m
×
m
，展平层用于将C
m
×
m
展平为一维向量，用以输入给循环层；
[0008]上述基于连续时间动力系统的循环层的动力学方程为：
循环层的输出方程为：其中τ为时间常数，r(t)为神经元在时间t的激活值，x(t)为循环层的输入，b
r
为偏置项，y(t)为循环层的输出，f(
·
)为ReLu激活函数，W
r
，W
x
，w
fb
，分别为对应变量的连接矩阵；
[0009]分别采用全零初始化、均匀随机初始化、正态分布初始化方法，初始化连接矩阵W
r
，W
x
，w
fb
，
[0010]循环层由输入层，隐藏层和输出层组成；其中输入层神经元数量为m
×
m+1,其中的m
×
m个神经元用于接收展平层输入的一维向量；最后1个神经元L用于接收状态指令，当L接收2时表示模型处于认知任务的反应阶段，接收1时表示模型处于认知任务的刺激展示阶段，接收0时表示处于认知任务的间隔阶段；隐藏层神经元数量比输入层神经元数量多u个，定义为i＝m
×
m+1+u个神经元；输出层神经元数量为3，输出3种标签，定义为1，0，
‑
1；1表示在认知任务反应阶段输出为匹配、
‑
1表示在认知任务反应阶段输出为不匹配、0表示认知任务非反应阶段的输出标签，非反应阶段表示刺激展示阶段和间隔阶段；
[0011]步骤2：训练模型，提取模型激活值；
[0012]抽象概括生物实验中采用的认知任务实验范式，用于训练认知系统模型；
[0013]下载认知任务刺激图像集以及相应的神经响应数据集；其中图像集为包含N种类型的图像集，对其中1种类型n，随机抽取3张图像，定义为刺激1，刺激2，刺激3；训练时，模型的输入依次为：
[0014]刺激1输入到认知系统模型的卷积层，依次输入t1/τ次，同时每次输入时神经元L接收1，此阶段为刺激展示阶段，t1为认知任务实验范式中此阶段持续的时间；
[0015]数值0输入到认知系统模型的卷积层，依次输入t2/τ次，同时每次输入时神经元L接收0，此阶段为间隔阶段，t2为认知任务实验范式中此阶段持续的时间；
[0016]刺激2输入到认知系统模型的卷积层，依次输入t3/τ次，同时每次输入时神经元L接收1，此阶段为刺激展示阶段，t3为认知任务实验范式中此阶段持续的时间；
[0017]数值0输入到认知系统模型的卷积层，依次输入t4/τ次，同时每次输入时神经元L接收0，此阶段为间隔阶段，t4为认知任务实验范式中此阶段持续的时间；
[0018]刺激3输入到认知系统模型的卷积层，依次输入t5/τ次，同时每次输入时神经元L接收1，此阶段为刺激展示阶段，t5为认知任务实验范式中此阶段持续的时间；
[0019]数值0输入到认知系统模型的卷积层，输入1次，同时神经元L接收2，此阶段为反应阶段；
[0020]上述输入流程中：
[0021]若刺激3和刺激1相同，则模型反应阶段应该输出标签1，表示匹配；若刺激3和刺激1不相同，则模型反应阶段应该输出标签
‑
1，表示不匹配；在非反应阶段，模型应该输出标签0；
[0022]对于N种类型的图像集中的每一种类，都进行d次上述随机抽取，组成d个上述任务，用于训练认知系统模型；训练时，冻结卷积层的权重，只训练循环层的权重；
[0023]训练时，设定批大小和迭代次数；采用如下公式方法对循环层进行迭代更新，公式为：其中θ
k
表示第k次迭代时循环层的参数集合，I
r
表示网络学习
率，J(θ
k
)表示损失函数；网络学习率控制着每次迭代更新参数的幅度，过高或过低的学习率都会降低模型的训练效果，对学习率进行衰减，以此提高网络训练效率，网络学习率I
r
衰减公式为
[0024]迭代训练完成后，对于一种类型n，将与生物实验中生物被试接收的相同刺激1、刺激2、刺激3的任务输入到认知系统模型中，定义为类型n的第q次任务，提取对应的循环层神经元的激活值t为单个任务持续的时间，特别的，t＝t1+t2+t3+t4+t5；
[0025]步骤3：计算认知系统模型与生物脑的相似性；...

【技术保护点】

【技术特征摘要】
1.一种基于深度神经网络的大脑认知系统建模方法，该方法包括：步骤1：搭建认知系统模型；使用ImageNet数据集预训练一个完整的CNNs，特别的，CNNs采用AlexNet模型架构；完成后舍去全连接层，依次在卷积层后添加展平层和基于连续时间动力系统的循环层，组成认知系统模型；其中卷积层的输出为矩阵C
m
×
m
，展平层用于将C
m
×
m
展平为一维向量，用以输入给循环层；上述基于连续时间动力系统的循环层的动力学方程为：上述基于连续时间动力系统的循环层的动力学方程为：循环层的输出方程为：其中τ为时间常数，r(t)为神经元在时间t的激活值，x(t)为循环层的输入，b
r
为偏置项，y(t)为循环层的输出，f(
·
)为ReLu激活函数，W
r
，W
x
，w
fb
，分别为对应变量的连接矩阵；分别采用全零初始化、均匀随机初始化、正态分布初始化方法，初始化连接矩阵W
r
，W
x
，w
fb
，循环层由输入层，隐藏层和输出层组成；其中输入层神经元数量为m
×
m+1,其中的m
×
m个神经元用于接收展平层输入的一维向量；最后1个神经元L用于接收状态指令，当L接收2时表示模型处于认知任务的反应阶段，接收1时表示模型处于认知任务的刺激展示阶段，接收0时表示处于认知任务的间隔阶段；隐藏层神经元数量比输入层神经元数量多u个，定义为i＝m
×
m+1+u个神经元；输出层神经元数量为3，输出3种标签，定义为1，0，
‑
1；1表示在认知任务反应阶段输出为匹配、
‑
1表示在认知任务反应阶段输出为不匹配、0表示认知任务非反应阶段的输出标签，非反应阶段表示刺激展示阶段和间隔阶段；步骤2：训练模型，提取模型激活值；抽象概括生物实验中采用的认知任务实验范式，用于训练认知系统模型；下载认知任务刺激图像集以及相应的神经响应数据集；其中图像集为包含N种类型的图像集，对其中1种类型n，随机抽取3张图像，定义为刺激1，刺激2，刺激3；训练时，模型的输入依次为：刺激1输入到认知系统模型的卷积层，依次输入t1/τ次，同时每次输入时神经元L接收1，此阶段为刺激展示阶段，t1为认知任务实验范式中此阶段持续的时间；数值0输入到认知系统模型的卷积层，依次输入t2/τ次，同时每次输入时神经元L接收0，此阶段为间隔阶段，t2为认知任务实验范式中此阶段持续的时间；刺激2输入到认知系统模型的卷积层，依次输入t3/τ次，同时每次输入时神经元L接收1...

【专利技术属性】
技术研发人员：白登辉，张婷婷，张秋竹，李凌，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：