脑-眼-机数据融合目标检测方法技术

本发明专利技术公开了一种脑

【技术实现步骤摘要】
脑
‑
眼
‑
机数据融合目标检测方法


[0001]本专利技术涉及脑
‑
机接口技术和目标检测
，具体是一种基于眼动的慢速序列视觉呈现实验范式设计及脑
‑
眼
‑
机数据融合目标检测方法构建。

技术介绍

[0002]随着人工智能技术的快速发展，目标检测技术在智能监控、预警、人脸识别等领域都有着广泛应用，同时其也是大数据智能时代中更多先进科技发展和应用的关键环节。近年来，基于计算机视觉的目标检测方法已在目标检测任务中取得了许多重要成就，其在大数据样本的支撑下能够有效检测各类目标，人脸识别、无人避障等应用也已运用到民用的各个领域。然而，由于在无人机航拍图像中背景复杂，噪声干扰大，目标通常存在弱隐的特点，在某些特定领域仍然受限于样本数据、检测精度和检测效率有待提升。
[0003]较之于计算机视觉技术，脑
‑
机接口技术可构建人脑与计算机之间沟通的桥梁，能够借助人脑的高级认知能力完成各类计算机难以完成的任务。其中，基于事件相关电位(ERP)的目标检测方法可借助人脑的认知分析能力在几百毫秒内对场景中的重点敏感信息产生神经相应，在目标检测任务中已取得了许多重要成就。然而，由于航拍图像中的目标较难发现，仅基于脑电的单模态检测方法易受到环境噪声干扰，信噪比低，且搜索目标时间较长导致脑电信号分析难度增大，在实际场景下仅依靠脑电数据难以实现鲁棒精确的目标检测性能。
[0004]因此，通过结合计算机视觉强大的信息处理能力以及人脑对复杂情况和敏感信息的认知能力，有望解决从海量无人机航拍图像中快速、准确的进行弱隐目标检测的难题。但现有的结合计算机视觉和人类视觉的目标检测技术还处于探索阶段，在无人机航拍图像目标检测领域的相关研究较少。

技术实现思路

[0005]基于此，有必要针对上述技术问题，提出一种基于眼动的慢速序列视觉呈现实验范式，通过计算机视觉技术框选图像中的可疑区域并利用眼动仪实时捕捉人所关注的目标，同步脑电信号与图像数据，为脑
‑
机信号融合的目标检测奠定基础。提出一种脑
‑
眼
‑
机数据融合目标检测方法，在获取同步的脑电和图像数据后，通过脑
‑
机信号融合分类方法检测区域目标图像，并定位目标位置。
[0006]本专利技术能够有效拓宽输入数据包含信息的覆盖范围，在保证较好实时性的前提下，提升无人机航拍图像中弱隐目标的检测精度和鲁棒性，具备较强的泛化性能，且不受到小样本数据约束，可以应用于智能监控、侦查预警等领域。
[0007]为实现上述目的，本专利技术提供一种脑
‑
眼
‑
机数据融合目标检测方法，包括如下步骤：
[0008]步骤1，构建样本图像数据集，所述样本图像数据集包括若干样本图像，所述样本图像具有至少一个包含可疑目标的第一候选区域框，所述样本图像数据集还包括各第一候
选区域框的位置数据与真实标签数据；
[0009]步骤2，基于样本图像数据集对被试开展基于眼动的慢速序列视觉呈现实验，并实时采集被试的第一眼动数据与第一脑电数据；
[0010]步骤3，基于第一眼动数据得到被试注视的第一候选区域框，并将其定义为第二候选区域框，根据第二候选区域框在对应样本图像中提取对应的第一候选图像；
[0011]步骤4，基于第一眼动数据的时间戳对第一脑电数据进行分段，得到与第一候选图像一一对应的第一脑电数据片段；
[0012]步骤5，构建训练样本集，所述训练样本集包括若干样本数据，每一所述样本数据包括一所述第一候选图像及其对应的真实标签数据与第一脑电数据片段；
[0013]步骤6，基于训练样本集训练脑
‑
机信号融合分类模型，并基于训练后的脑
‑
机信号融合分类模型进行目标检测。
[0014]在其中一个实施例，所述构建样本图像数据集，具体为：
[0015]拍摄若干带有目标的目标图像以及若干无目标的非目标图像，将目标图像与非目标图像均作为所述样本图像；
[0016]采用人工标注的方法和/或计算机视觉提取的方法在所述样本图像中框选出至少一个包含疑似目标的第一候选区域框，并保存第一候选区域框在对应样本图像中的位置数据以及该第一候选区域框是否包含目标的真实标签数据。
[0017]在其中一个实施例，步骤2中，所述基于样本图像数据集对被试开展基于眼动的慢速序列视觉呈现实验，具体为：
[0018]将所述样本图像数据集中的样本图像随机排列，组成N组图像刺激序列，每组图像刺激序列包含50～100张样本图像，其中，N≥1；
[0019]以3～5秒一张的播放速率向被试播放所述图像刺激序列，在播放所述图像刺激序列的过程中，要求被试主观搜索目标，并在发现目标后保持凝视0.3秒以上；
[0020]每播放一组图像刺激序列后，经过预设时段后进行下一组图像刺激序列的播放。
[0021]在其中一个实施例，在N组图像刺激序列中，a组图像刺激序列中的目标图像仅包含目标1，b组图像刺激序列中的目标图像仅包含目标2，其中a+b＝N；
[0022]具有目标1的图像刺激序列所产生的第一候选图像与第一脑电数据片段用作所述脑
‑
机信号融合分类模型训练的训练集和验证集；
[0023]具有目标1的图像刺激序列所产生的第一候选图像与第一脑电数据片段用作所述脑
‑
机信号融合分类模型迁移训练的样本集。
[0024]在其中一个实施例，在作为验证集的图像数据中，添加均值为0、方差为0.2的高斯噪声和0.2的椒盐噪声以模拟实际环境中可能存在的噪声干扰。
[0025]在其中一个实施例，在一组所述图像刺激序列中，目标图像出现的概率为40％～50％，每两张目标图像之间随机间隔1～2张非目标图像。
[0026]在其中一个实施例，在播放所述图像刺激序列时，被试正对播放所述图像刺激序列的显示器且间隔50cm～70cm。
[0027]在其中一个实施例，步骤6中，所述基于训练后的脑
‑
机信号融合分类模型进行目标检测，具体为：
[0028]步骤6.1，获取待测图像，框选出所述待测图像中包含疑似目标的第三候选区域
框，并确定各第三候选区域框的在待测图像中的位置数据；
[0029]步骤6.2，基于待测图像对被试开展基于眼动的慢速序列视觉呈现实验，并实时采集被试的第二眼动数据与第二脑电数据；
[0030]步骤6.3，基于第二眼动数据得到被试注视的第三候选区域框，并将其定义为第四候选区域框，根据第四候选区域框在待测图像中提取对应的第二候选图像；
[0031]步骤6.4，基于第二眼动数据的时间戳对第二脑电数据进行分段，得到与第二候选图像一一对应的第二脑电数据片段；
[0032]步骤6.5，将一组对应的第二候选图像与第二脑电数据片段输入训练后的脑...

【技术保护点】

【技术特征摘要】
1.一种脑
‑
眼
‑
机数据融合目标检测方法，其特征在于，包括如下步骤：步骤1，构建样本图像数据集，所述样本图像数据集包括若干样本图像，所述样本图像具有至少一个包含可疑目标的第一候选区域框，所述样本图像数据集还包括各第一候选区域框的位置数据与真实标签数据；步骤2，基于样本图像数据集对被试开展基于眼动的慢速序列视觉呈现实验，并实时采集被试的第一眼动数据与第一脑电数据；步骤3，基于第一眼动数据得到被试注视的第一候选区域框，并将其定义为第二候选区域框，根据第二候选区域框在对应样本图像中提取对应的第一候选图像；步骤4，基于第一眼动数据的时间戳对第一脑电数据进行分段，得到与第一候选图像一一对应的第一脑电数据片段；步骤5，构建训练样本集，所述训练样本集包括若干样本数据，每一所述样本数据包括一所述第一候选图像及其对应的真实标签数据与第一脑电数据片段；步骤6，基于训练样本集训练脑
‑
机信号融合分类模型，并基于训练后的脑
‑
机信号融合分类模型进行目标检测。2.根据权利要求1所述的脑
‑
眼
‑
机数据融合目标检测方法，其特征在于，所述构建样本图像数据集，具体为：拍摄若干带有目标的目标图像以及若干无目标的非目标图像，将目标图像与非目标图像均作为所述样本图像；采用人工标注的方法和/或计算机视觉提取的方法在所述样本图像中框选出至少一个包含疑似目标的第一候选区域框，并保存第一候选区域框在对应样本图像中的位置数据以及该第一候选区域框是否包含目标的真实标签数据。3.根据权利要求2所述的脑
‑
眼
‑
机数据融合目标检测方法，其特征在于，步骤2中，所述基于样本图像数据集对被试开展基于眼动的慢速序列视觉呈现实验，具体为：将所述样本图像数据集中的样本图像随机排列，组成N组图像刺激序列，每组图像刺激序列包含50～100张样本图像，其中，N≥1；以3～5秒一张的播放速率向被试播放所述图像刺激序列，在播放所述图像刺激序列的过程中，要求被试主观搜索目标，并在发现目标后保持凝视0.3秒以上；每播放一组图像刺激序列后，经过预设时段后进行下一组图像刺激序列的播放。4.根据权利要求3所述的脑
‑
眼
‑
机数据融合目标检测方法，其特征在于，在N组图像刺激序列中，a组图像刺激序列中的目标图像仅包含目标1，b组图像刺激序列中的目标图像仅包含目标2，其中a+b＝N；具有目标1的图像刺激序列所产生的第一候...

【专利技术属性】
技术研发人员：唐邓清，相晓嘉，李子杏，闫超，兰珍，周晗，赖俊，孙懿豪，杨帆，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：