基于图像先验的单试次脑电P300成分检测方法及装置制造方法及图纸

本发明专利技术属于人脑与机器视觉融合技术领域，尤其涉及基于图像先验的单试次脑电P300成分检测方法及装置。基于图像先验的单试次脑电P300成分检测方法，包括：计算刺激图像数据集中图像的复杂度，根据复杂度对图像进行排序；对不同复杂度的图像诱发的脑电信号训练分类器；对图像诱发的脑电信号进行评分。基于图像先验的单试次脑电P300成分检测装置，包括：复杂度计算排序模块；训练模块；评分模块。本发明专利技术可以根据图像复杂度主动预判P300潜伏期的范围。

Single test P300 component detection method and device based on image prior

The invention belongs to the field of the fusion of human brain and machine vision, especially the single trial P300 component detection method and device based on the image prior. Including the prior image single trial EEG P300 component detection method, based on the computational complexity of image data on image stimulation, according to the complexity of image sequence; for different complex EEG classifier training images evoked degree; score on EEG evoked by image. The single test electroencephalogram P300 component detection device based on the image prior includes the complexity calculation sorting module, the training module and the scoring module. The invention can actively prejudge the range of the P300 latency according to the complexity of the image.

【技术实现步骤摘要】
基于图像先验的单试次脑电P300成分检测方法及装置
本专利技术属于人脑与机器视觉融合
，尤其涉及基于图像先验的单试次脑电P300成分检测方法及装置。
技术介绍
由于在基于脑电的目标图像检测的实时系统中，P300成分的检测依然不能达到较高的精度。因此部分学者考虑充分利用人脑的高效理解能力与计算机的处理速度，搭建融合人脑与机器视觉的图像检索系统。这些系统利用较多试次的脑电兴趣得分，引导机器视觉搜索高兴趣得分的图像，这是一种“决策级”的融合方式。人类视觉系统是自然界长期演化的结果，对自然图像的识别具有高速、鲁棒的特点。而机器视觉是利用现代计算机处理图像的技术，相对于人类视觉，具有批量处理的优点，但对于非结构化的、具有深层语义信息的图像，机器视觉始终无法达到较高的识别精度。哥伦比亚大学的Sajda等人，在利用人脑P300成分检测感兴趣目标图片的基础上，结合计算机视觉技术，搭建了皮层耦合计算机视觉系统(C3Vision)。该系统如下工作：先在一个图片库中随机选择少量图片组成图片序列，将图片序列快速呈现给被试观看，同时采集被试的脑电信号，利用脑电检索模块对这些图片所对应的脑电信号进行兴趣评分，并根据兴趣评分重新排序。随后，计算机视觉模块利用脑电检索模块的结果，再从图片数据库中选取类似的图片。由于脑电信号噪声比较大，EEG检索模块的输出并不是非常准确，这会导致计算机视觉模块的输出也达不到预期的效果，如果可以把这个结果反馈给被试，再让用户去判断计算机给出的结果是否准确，那么检索效果可能就会有显著的提升。于是，Eric等人又在Sadja的研究基础上，搭建了一个闭环系统(Closed-LoopC3Vision)，使得计算机视觉模块能够和EEG检索模块进行交互。此外，浙江大学的Wang等人采用类似方法搭建了闭环人脸识别系统、加州圣迭戈大学则利用人类天生对危险场景的警觉能力结合计算机技术，搭建了“认知技术威胁警报系统”(CognitiveTechnologyThreatWarningSystem，CT2WS)等。然而在这些系统中人类视觉系统与机器视觉系统的融合方式是一种“决策级”融合方法。对图像的识别更多的依托P300成分的检测，并不能将当前机器视觉的成果引入到对单试次P300成分的分析中。在申请号为201610139359.6的专利技术专利申请文件中，我们验证了不同复杂度的目标图像引起的脑电P300成分的差异，高复杂度目标图像诱发的脑电P300成分具有更低的峰值与更长的潜伏期。而脑地形图则显示了高复杂度图像将引起大脑右前额叶更长时间的活动。但是在基于脑电信号的目标图像检索中，存在P300检测算法被动适应P300潜伏期的变化问题。
技术实现思路
基于上述P300检测算法存在的问题，专利技术一种可以根据图像复杂度主动预判P300潜伏期的范围的方法及装置。为了实现上述目的，本专利技术采用以下技术方案：基于图像先验的单试次脑电P300成分检测方法，包括以下步骤：步骤1：计算刺激图像数据集中图像的复杂度，根据复杂度对图像进行排序；步骤2：对不同复杂度的图像诱发的脑电信号训练分类器；步骤3：对图像诱发的脑电信号进行评分。优选地，所述步骤1包括：步骤1.1：计算数据集中图像的复杂度，计算公式为：其中，IC为图像的复杂度，fi为图像在卷积神经网络第i层网络映射中的归一化特征权重向量，fnum为第i层中的特征维数，k为参数且大于1；步骤1.2：根据图像的复杂度对数据集中的图像由高到低进行排序，并平均分成3部分，由高到低分别命名为高复杂度数据集、中复杂度数据集及低复杂度数据集。优选地，所述步骤2包括：步骤2.1：将每张图像诱发的脑电信号依据高复杂度数据集、中复杂度数据集及低复杂度数据集的图像的复杂度范围，对应分为三个部分；步骤2.2：将每张图像诱发的脑电信号的每个部分单独训练分类器，分别命名为高复杂度分类器、中复杂度分类器及低复杂度分类器。优选地，所述步骤3包括：步骤3.1：统计每一张图像诱发的脑电信号对应的三个分类器的评分；步骤3.2：根据每张图像的复杂度将三个评分以一定权值相加，作为图像的最终兴趣得分，具体公式如下：其中T为图像，IC(T)为图像T的图像复杂度，IChigh_th与ICmid_th分别为图像高复杂度阈值、中复杂度阈值，当IC(T)大于IChigh_th时，T被判定为高复杂度图像，当IC(T)小于ICmid_th时，T被判定为低复杂度图像，当IC(T)在IChigh_th与ICmid_th之间时，T被判定为中复杂度图像，yIS_hclass(T)，yIS_mclass(T)及yIS_lclass(T)分别为高、中、低复杂度分类器对图像T的脑电信号的评分，α为图像T所属复杂度范围内训练的分类器的评分权重，β为图像T非所属复杂度范围内训练的分类器的评分权重。优选地，在所述步骤3之后还包括：根据图像的最终兴趣得分判断图像是否为目标图像；检测目标图像和非目标图像诱发的各分类器脑电P300成分。优选地，所述高复杂度阈值为高复杂度数据集中最小的图像复杂度的值；所述中复杂度阈值为中复杂度数据集中最小的图像复杂度的值；所述高复杂度图像为高复杂度数据集中的图像，中复杂度图像为中复杂度数据集中的图像，低复杂度图像为低复杂度数据集中的图像。基于图像先验的单试次脑电P300成分检测装置，包括：复杂度计算排序模块，用于计算刺激图像数据集中图像的复杂度，根据复杂度对图像进行排序；训练模块，用于对不同复杂度的图像诱发的脑电信号训练分类器；评分模块，用于对图像诱发的脑电信号进行评分。优选地，还包括：判断模块，用于根据图像的最终兴趣得分判断图像是否为目标图像；检测模块，用于检测目标图像和非目标图像诱发的各分类器脑电P300成分。优选地，所述复杂度计算排序模块包括：计算模块，用于计算数据集中图像的复杂度，计算公式为：其中，IC为图像的复杂度，fi为图像在卷积神经网络第i层网络映射中的归一化特征权重向量，fnum为第i层中的特征维数，k为参数且大于1；排序模块，用于根据图像的复杂度对数据集中的图像由高到低进行排序，并平均分成3部分，由高到低分别命名为高复杂度数据集、中复杂度数据集及低复杂度数据集。优选地，所述训练模块包括：脑电信号划分模块，用于将每张图像诱发的脑电信号依据高复杂度数据集、中复杂度数据集及低复杂度数据集的图像的复杂度范围，对应分为三个部分；训练子模块，用于将每张图像诱发的脑电信号的每个部分单独训练分类器，分别命名为高复杂度分类器、中复杂度分类器及低复杂度分类器。优选地，所述评分模块包括：统计模块，用于统计每一张图像诱发的脑电信号对应的三个分类器评分；评分子模块，用于根据每张图像的复杂度将三个评分以一定权值相加作为最终兴趣得分，具体公式如下：其中T为图像，IC(T)为图像T的图像复杂度，IChigh_th与ICmid_th分别为图像高复杂度阈值、中复杂度阈值，当IC(T)大于IChigh_th时，T被判定为高复杂度图像，当IC(T)小于ICmid_th时，T被判定为低复杂度图像，当IC(T)在IChigh_th与ICmid_th之间时，T被判定为中复杂度图像，yIS_hclass(T)，yIS_mclass(T)及yIS_lclass(T)分别为高、本文档来自技高网...

【技术保护点】
基于图像先验的单试次脑电P300成分检测方法，其特征在于，包括以下步骤：步骤1：计算刺激图像数据集中图像的复杂度，根据复杂度对图像进行排序；步骤2：对不同复杂度的图像诱发的脑电信号训练分类器；步骤3：对图像诱发的脑电信号进行评分。

【技术特征摘要】
1.基于图像先验的单试次脑电P300成分检测方法，其特征在于，包括以下步骤：步骤1：计算刺激图像数据集中图像的复杂度，根据复杂度对图像进行排序；步骤2：对不同复杂度的图像诱发的脑电信号训练分类器；步骤3：对图像诱发的脑电信号进行评分。2.根据权利要求1所述的基于图像先验的单试次脑电P300成分检测方法，其特征在于，所述步骤1包括：步骤1.1：计算数据集中图像的复杂度，计算公式为：其中，IC为图像的复杂度，fi为图像在卷积神经网络第i层网络映射中的归一化特征权重向量，fnum为第i层中的特征维数，k为参数且大于1；步骤1.2：根据图像的复杂度对数据集中的图像由高到低进行排序，并平均分成3部分，由高到低分别命名为高复杂度数据集、中复杂度数据集及低复杂度数据集。3.根据权利要求1所述的基于图像先验的单试次脑电P300成分检测方法，其特征在于，所述步骤2包括：步骤2.1：将每张图像诱发的脑电信号依据高复杂度数据集、中复杂度数据集及低复杂度数据集的图像的复杂度范围，对应分为三个部分；步骤2.2：将每张图像诱发的脑电信号的每个部分单独训练分类器，分别命名为高复杂度分类器、中复杂度分类器及低复杂度分类器。4.根据权利要求1所述的基于图像先验的单试次脑电P300成分检测方法，其特征在于，所述步骤3包括：步骤3.1：统计每一张图像诱发的脑电信号对应的三个分类器的评分；步骤3.2：根据每张图像的复杂度将三个评分以一定权值相加，作为图像的最终兴趣得分，具体公式如下：其中T为图像，IC(T)为图像T的图像复杂度，IChigh_th与ICmid_th分别为图像高复杂度阈值、中复杂度阈值，当IC(T)大于IChigh_th时，T被判定为高复杂度图像，当IC(T)小于ICmid_th时，T被判定为低复杂度图像，当IC(T)在IChigh_th与ICmid_th之间时，T被判定为中复杂度图像，yIS_hclass(T)，yIS_mclass(T)及yIS_lclass(T)分别为高、中、低复杂度分类器对图像T的脑电信号的评分，α为图像T所属复杂度范围内训练的分类器的评分权重，β为图像T非所属复杂度范围内训练的分类器的评分权重。5.根据权利要求1所述的基于图像先验的单试次脑电P300成分检测方法，其特征在于，在所述步骤3之后还包括：根据图像的最终兴趣得分判断图像是否为目标图像；检测目标图像和非目标图像诱发的各分类器脑电P300成分。6.根据权利要求4所述的基于图像先验的单试次脑电P300成分检测方法，其特征在于，所述高复杂度阈值为高复杂度数据集中最小的图像复杂度的值；所述中复杂度阈值为中复杂度数据集中最小的图像复杂...

【专利技术属性】
技术研发人员：闫镔，王晓娟，林志敏，曾颖，童莉，张驰，
申请(专利权)人：中国人民解放军信息工程大学，
类型：发明
国别省市：河南,41