图像识别方法、图像呈现时间的调整方法及设备技术

本申请实施例提供一种图像识别方法、图像呈现时间的调整方法及设备，该图像识别方法包括：设置图像序列对应的呈现时间序列，图像序列包括N张图像，呈现时间序列包括至少两个不相等的呈现时间，至少两个不相等的呈现时间中的任意两个呈现时间相差k·Δ，k为正整数，Δ为预设时间段值；使用计算机视觉算法对图像序列进行处理，得到图像序列中每张图像对应的计算机视觉信号；获取观察对象在观看根据呈现时间序列进行显示的图像序列时产生的对应图像序列中每张图像的反馈信号；针对图像序列中每张图像，融合对应的计算机视觉信号和对应的反馈信号分别得到图像序列中每张图像的目标识别信号。实施本申请实施例，可以降低图像识别的漏检率。

Image Recognition Method, Image Presentation Time Adjustment Method and Equipment

【技术实现步骤摘要】
图像识别方法、图像呈现时间的调整方法及设备
本专利技术实施例涉及信息
，尤其涉及一种图像识别方法、图像呈现时间的调整方法及设备。
技术介绍
在当前的信息时代中，人们共享丰富信息资源的同时，也时常会出现“信息过载”甚至“信息爆炸”的问题。如何从海量的信息资源中高效地筛选出自己最需要的信息，是伴随着信息时代到来的一个重要课题。在图像领域，图像识别是目前最受关注的问题之一。图像识别可以使用计算机视觉(computervision)算法来实现。计算机视觉算法可以是传统的图像检测算法，也可以是基于人工神经网络的深度学习算法。传统的图像检测算法是从图像区域中提取图像特征，并根据图像分类算法将图像按照是否是目标图像进行分类。基于人工神经网络的深度学习算法可以利用训练样本对初始的卷积神经网络进行训练，调整初始的卷积神经网络中的参数来使图像识别的误差收敛，以构建新的卷积神经网络，通过新的卷积神经网络预测图像是目标图像的概率，从而进行图像识别。无论是传统的目标检测算法，还是基于工人神经网络的深度学习算法均具有以下缺点：首先，获得某类型的训练数据可能难度较大，造成训练样本的分布不均衡。其次，训练数据的噪声大，造成算法的误差较大。另外对于图像的某些特征，例如高阶语义特征，具有不易提取的特点。与计算机视觉算法相比，人脑由于具备丰富的认知和先验知识。人脑进行特征提取时，可以不受训练数据数量，样本分布不平衡等问题的影响。且人脑即使在噪声的影响下往往也表现出很强的稳定性。另外人脑的经验、高层次语义理解和推断能力也可以发现一些隐晦的高阶特征。然而，人脑用于目标图像识别也存在一些缺点，例如效率相对较低。因此，本领域人员想到可以结合人脑和计算机的优势，通过脑机协同，即人脑和计算机视觉算法协作来进行图像识别。在进行脑机协同目标图像识别时，可以以基于快速序列视觉呈现范式(rapidserialvisualpresentation，RSVP)的图像序列作为人脑的外界刺激，人在观察图像序列时，观察到目标图像和普通图像时人脑的脑电(electroencephalogram，EEG)信号具有不同的特征。可以采集和分析人脑在观察图像序列时的脑电信号，另外可以通过计算机视觉算法采集图像序列中图像的图像特征。针对图像序列中每张图像，可以根据脑电信号和图像特征来识别是否为目标图像。目前，基于RSVP的图像序列中图像之间的时长间隔是根据经验或者实验确定的，然而，由于人脑易疲劳，且人脑的注意资源有限，脑机协同图像识别的漏检率仍然较高，导致脑机协同图像识别效率较低。
技术实现思路
本申请实施例公开了一种基于图像序列呈现的脑机结合图像识别方法、图像呈现时间的调整方法及设备，可以提高脑机结合图像识别的效率。第一方面，本申请实施例提供一种基于图像序列呈现的脑机结合图像识别方法，包括：设置图像序列对应的呈现时间序列，所述图像序列包括N张图像，所述N为正整数，所述呈现时间序列包括所述图像序列中每张图像的呈现时间，图像i的呈现时间用于指示所述图像i呈现起始时刻到下一相邻图像呈现起始时刻的时间段，所述图像i为所述图像序列中的任一张图像，所述呈现时间序列包括至少两个不相等的呈现时间，所述至少两个不相等的呈现时间中的任意两个呈现时间相差k·Δ，所述k为正整数，所述Δ为预设时间段值；使用计算机视觉算法对所述图像序列进行处理，得到所述图像序列中每张图像对应的计算机视觉信号；获取观察对象在观看根据所述呈现时间序列进行显示的所述图像序列时产生的对应所述图像序列中每张图像的反馈信号，所述反馈信号用于指示所述观察对象对所观看到的图像作出的反应；针对所述图像序列中每张图像，融合对应的计算机视觉信号和对应的反馈信号分别得到所述图像序列中每张图像的目标识别信号，所述目标识别信号用于图像识别。其中，至少两个不相等的呈现时间用于提高观察对象对所述图像序列中每张图像的识别准确度。所述Δ可以取10ms-100ms之间的数值。可选的，Δ可以取50ms-100ms之间的数值。在一个实施例中，图像序列可以是来自摄像设备，在所述设置图像序列对应的呈现时间序列之前，还包括：接收来自摄像设备的M张图像，所述M为大于1的整数；从所述M张图像中选取N张图像作为图像序列，所述N小于或等于所述M。在一个实施例中，所述设置图像序列对应的呈现时间序列，包括；针对所述图像序列中的每张图像，根据时长影响参数确定对应的呈现时间，以得到所述图像序列对应的呈现时间序列；其中，所述时长影响参数包括所述第一识别概率和疲劳状态参数中的至少一个，所述第一识别概率用于指示通过计算机视觉算法得到的某一图像包含预设图像特征的概率，所述疲劳状态参数用于指示所述观察对象在观察某一图像时的疲劳程度，所述呈现时间与所述第一识别概率呈反相关，所述呈现时间与所述疲劳状态参数呈正相关。根据第一识别概率和疲劳状态参数中的至少一个来设定图像序列中的任一张图像i的呈现时间。计算机视觉算法识别图像i包含预设图像特征的概率越大，图像识别设备可以设置越长的大脑识别时长。将观察对象时间维度的注意力资源更多的分配在不确定性较大的图像上，可以降低图像识别的漏检率，从而提高脑机协同图像识别的效率。另外，观察对象的疲劳状态参数越大，表明观察对象越疲劳，观察对象需要较长的观察时间来识别出图像i是否包含预设图像特征，因此设置较长的图像i的呈现时间。根据观察对象的疲劳程度确定图像i的呈现时间，可以减少因观察对象大脑疲劳而引起的漏检情况，从而可以降低漏检率。在一个实施例中，在所述针对所述图像序列中的每张图像，根据时长影响参数确定对应的呈现时间之前，还包括：根据疲劳规律预测所述图像序列中每张图像各自对应的所述疲劳状态参数，所述疲劳规律用于指示所述观察对象的疲劳程度的变化规律。通过疲劳规律预测观察对象在观察图像序列中任一张图像i时图像i对应的疲劳状态参数，可以预先设置图像序列对应的呈现时间序列，在脑机结合对图像进行图像识别时，无需执行确定图像序列中的图像的呈现时间的过程，可以减小在对图像序列中的图像进行识别时图像识别设备并行处理的数据负担，从而可以降低脑机结合图像识别的漏检率。其中，图像对应的所述疲劳状态参数是所述观察对象在观察所述图像时的疲劳状态参数。在一个实施例中，所述时长影响参数包括所述疲劳状态参数和所述第一识别概率；在所述针对所述图像序列中的每张图像，根据时长影响参数确定对应的呈现时间，以得到所述图像序列对应的呈现时间序列之前，还包括：使用计算机视觉算法对所述图像序列进行处理，得到所述图像序列中每张图像的所述第一识别概率；根据疲劳规律预测所述图像序列中每张图像各自对应的所述疲劳状态参数，所述疲劳规律用于指示所述观察对象的疲劳程度的变化规律；所述针对所述图像序列中的每张图像，根据时长影响参数确定对应的呈现时间，以得到所述图像序列对应的呈现时间序列，包括：针对所述图像序列中的每张图像，根据所述第一识别概率和所述疲劳状态参数确定对应的呈现时间，以得到所述图像序列对应的呈现时间序列。在一个实施例中，所述时长影响参数包括所述疲劳状态参数；在所述针对所述图像序列中的每张图像，根据时长影响参数确定对应的呈现时间，以得到所述图像序列对应的呈现时间序列之前，还包括：根据疲劳规律预测所述图像序列中每张本文档来自技高网...

【技术保护点】
1.一种基于图像序列呈现的脑机结合图像识别方法，其特征在于，包括：设置图像序列对应的呈现时间序列，所述图像序列包括N张图像，所述N为正整数，所述呈现时间序列包括所述图像序列中每张图像的呈现时间，图像i的呈现时间用于指示所述图像i呈现起始时刻到下一相邻图像呈现起始时刻的时间段，所述图像i为所述图像序列中的任一张图像，所述呈现时间序列包括至少两个不相等的呈现时间，所述至少两个不相等的呈现时间中的任意两个呈现时间相差k·Δ，所述k为正整数，所述Δ为预设时间段值；使用计算机视觉算法对所述图像序列进行处理，得到所述图像序列中每张图像对应的计算机视觉信号；获取观察对象在观看根据所述呈现时间序列进行显示的所述图像序列时产生的对应所述图像序列中每张图像的反馈信号，所述反馈信号用于指示所述观察对象对所观看到的图像作出的反应；针对所述图像序列中每张图像，融合对应的计算机视觉信号和对应的反馈信号分别得到所述图像序列中每张图像的目标识别信号，所述目标识别信号用于图像识别。

【技术特征摘要】
1.一种基于图像序列呈现的脑机结合图像识别方法，其特征在于，包括：设置图像序列对应的呈现时间序列，所述图像序列包括N张图像，所述N为正整数，所述呈现时间序列包括所述图像序列中每张图像的呈现时间，图像i的呈现时间用于指示所述图像i呈现起始时刻到下一相邻图像呈现起始时刻的时间段，所述图像i为所述图像序列中的任一张图像，所述呈现时间序列包括至少两个不相等的呈现时间，所述至少两个不相等的呈现时间中的任意两个呈现时间相差k·Δ，所述k为正整数，所述Δ为预设时间段值；使用计算机视觉算法对所述图像序列进行处理，得到所述图像序列中每张图像对应的计算机视觉信号；获取观察对象在观看根据所述呈现时间序列进行显示的所述图像序列时产生的对应所述图像序列中每张图像的反馈信号，所述反馈信号用于指示所述观察对象对所观看到的图像作出的反应；针对所述图像序列中每张图像，融合对应的计算机视觉信号和对应的反馈信号分别得到所述图像序列中每张图像的目标识别信号，所述目标识别信号用于图像识别。2.根据权利要求1所述的方法，其特征在于，在所述设置图像序列对应的呈现时间序列之前，还包括：接收来自摄像设备的M张图像，所述M为大于1的整数；从所述M张图像中选取N张图像作为所述图像序列，所述N小于或等于所述M。3.根据权利要求1或2所述的方法，其特征在于，所述设置图像序列对应的呈现时间序列，包括：针对所述图像序列中的每张图像，根据时长影响参数确定对应的呈现时间，以得到所述图像序列对应的呈现时间序列；其中，所述时长影响参数包括所述第一识别概率和疲劳状态参数中的至少一个，所述第一识别概率用于指示通过计算机视觉算法得到的某一图像包含预设图像特征的概率，所述疲劳状态参数用于指示所述观察对象在观察某一图像时的疲劳程度，所述呈现时间与所述第一识别概率呈反相关，所述呈现时间与所述疲劳状态参数呈正相关。4.根据权利要求3所述的方法，其特征在于，所述时长影响参数包括所述疲劳状态参数；在所述针对所述图像序列中的每张图像，根据时长影响参数确定对应的呈现时间之前，还包括：根据疲劳规律预测所述图像序列中每张图像各自对应的所述疲劳状态参数，所述疲劳规律用于指示所述观察对象的疲劳程度的变化规律。5.根据权利要求3所述的方法，其特征在于，所述获取所述观察对象在观看根据所述呈现时间序列进行显示的所述图像序列时产生的对应所述图像序列中每张图像的反馈信号，包括：在所述图像序列根据所述呈现时间序列进行显示的过程中，获取图像j对应的所述疲劳状态参数，并根据所述图像j对应的疲劳状态参数调整所述图像序列中所述图像j之后待显示的图像在所述呈现时间序列中对应的呈现时间，其中，所述图像j为所述图像序列中任一张图像。6.根据权利要求5所述的方法，其特征在于，所述获取所述图像j对应的所述疲劳状态参数，包括：根据传感器发送的所述观察对象观看所述图像j时的疲劳状态信息得到所述疲劳状态参数。7.根据权利要求3至6任一项所述的方法，其特征在于，所述针对所述图像序列中的每张图像，根据时长影响参数确定对应的呈现时间，包括：针对所述图像序列中的每张图像，从第一映射表中查找出所述时长影响参数对应的呈现时间，所述第一映射表包括多个时长影响参数以及所述多个时长影响参数各自对应的呈现时间。8.根据权利要求3或5或6所述的方法，其特征在于，所述时长影响参数包括所述第一识别概率；所述针对所述图像序列中的每张图像，根据时长影响参数确定对应的呈现时间，包括：通过以下拟合公式得到所述图像序列中每张图像的呈现时间：其中，所述T(c)为所述呈现时间，所述c为所述第一识别概率，所述c为满足0≤c≤1的实数，所述n为所述T(c)与所述c拟合的阶数，所述n为大于0的整数，所述t为满足-n≤t≤n的整数，所述at为ct的系数。9.根据权利要求8所述的方法，其特征在于，所述T(c)是使用(c1，T2)和(c2，T1)对所述c进行n阶线性拟合得到的；其中，所述T1为最小呈现时间阈值，所述T2为最大呈现时间阈值，所述c1为所述计算机视觉算法确定的识别概率的最小概率阈值，所述c2为所述计算机视觉算法确定的识别概率的最大概率阈值。10.根据权利要求3至6任一项所述的方法，其特征在于，所述时长影响参数包括所述疲劳状态参数；所述针对所述图像序列中的每张图像，根据时长影响参数确定对应的呈现时间，包括：通过以下拟合公式得到所述图像序列中每张图像的呈现时间：其中，所述T(f)是所述呈现时间，所述f是所述疲劳状态参数，所述m是所述T(f)与所述f拟合的阶数，所述m为大于0的正整数，所述k为满足-m≤k≤m的整数，所述ak为fk的系数。11.根据权利要求3至6任一项所述的方法，其特征在于，所述时长影响参数包括所述第一识别概率和所述疲劳状态参数；所述针对所述图像序列中的每张图像，根据时长影响参数确定对应的呈现时间，包括：通过以下拟合公式得到所述图像序列中每张图像的呈现时间：其中，所述T(c,f)为所述呈现时间，所述c为所述第一识别概率、所述f为所述疲劳状态参数，所述m是所述T(c,f)与所述f拟合的阶数，所述n是所述T(c,f)与所述c拟合的阶数，所述n和所述m均为大于0的正整数，所述t为满足-n≤t≤n的整数，所述k为满足-m≤k≤m的整数，所述c为满足0≤c≤1的实数，所述at,k为ctfk的系数。12.根据权利要求3至6任一项所述的方法，其特征在于，还包括：在检测到所述观察对象在观察图像q时对应的所述疲劳状态参数大于或等于第一疲劳阈值的情况下，控制停止显示所述图像序列中所述图像q之后待显示的图像，并获取所述图像q之后待显示的图像中对应的所述第一识别概率大于或等于第一概率阈值的图像，所述图像q为所述图像序列中的任一张图像；在检测到所述观察对象的所述疲劳状态参数小于或等于第二疲劳阈值时，控制依次显示所述图像q之后待显示的图像中所述第一识别概率大于或等于所述第一概率阈值的图像。13.根据权利要求1至6任一项所述的方法，其特征在于，所述观察对象的数量为至少两个；所述针对所述图像序列中每张图像，融合对应的计算机视觉信号和对应的反馈信号分别得到所述图像序列中每张图像的目标识别信号，包括：针对所述图像序列中每张图像，融合对应的计算机视觉信号和对应的至少两个所述反馈信号分别得到所述图像序列中每张图像的目标识别信号。14.根据权利要求13所述的方法，其特征在于，所述疲劳状态参数包括至少两个所述观察对象在观察同一图像时分别产生的至少两个疲劳状态参数。15.根据权利要求3至6任一项所述的方法，其特征在于，所述针对所述图像序列中每张图像，融合对应的计算机视觉信号和对应的反馈信号分别得到所述图像序列中每张图像的目标识别信号，包括：针对所述图像序列中每张图像，根据所述第一识别概率、所述疲劳状态参数和所述呈现时间中至少一项分别确定所述图像序列中每张图像对应的第一权重，所述第一权重为对应的所述反馈信号用于确定所述目标识别信号时所占的权重，所述第一权重与所述第一识别概率反相关，所述第一权重与所述疲劳状态参数反相关，所述第一权重与所述呈现时间正相关；针对所述图像序列中每张图像，根据对应的所述第一权重融合对应的计算机视觉信号和对应的反馈信号分别得到所述图像序列中每张图像的目标识别信号。16.根据权利要求1至6任一项所述的方法，其特征在于，所述计算机视觉信号为所述计算机视觉算法确定的第一识别概率；在所述针对所述图像序列中每张图像，融合对应的计算机视觉信号和对应的反馈信号分别得到所述图像序列中每张图像的目标识别信号之前，还包括：针对所述图像序列中每张图像，根据对应的反馈信号分别计算所述图像序列中每张图像的第二识别概率，所述第二识别概率用于指示所述观察对象确定图像包含所述预设图像特征的概率；所述针对所述图像序列中每张图像，融合对应的计算机视觉信号和对应的反馈信号分别得到所述图像序列中每张图像的目标识别信号，包括：针对所述图像序列中每张图像，根据对应的第一识别概率和对应的第二识别概率分别计算所述图像序列中每张图像的目标识别概率。17.根据权利要求1至6任一项所述的方法，其特征在于，所述计算机视觉信号为所述计算机视觉算法确定的图像特征；在所述针对所述图像序列中每张图像，融合对应的计算机视觉信号和对应的反馈信号分别得到所述图像序列中每张图像的目标识别信号之前，还包括：针对所述图像序列中每张图像，根据对应的反馈信号分别确定所述图像序列中每张图像对应的反馈信号特征；所述针对所述图像序列中每张图像，融合对应的计算机视觉信号和对应的反馈信号分别得到所述图像序列中每张图像的目标识别信号，包括：针对所述图像序列中每张图像，将对应的图像特征和对应的反馈信号特征进行特征融合，分别得到所述图像序列中每张图像对应的混合特征；针对所述图像序列中每张图像，根据对应的混合特征分别确定所述图像序列中每张图像的目标识别概率。18.根据权利要求16或17所述的方法，其特征在于，还包括：根据所述图像序列中每张图像的目标识别概率从所述图像序列中确定S张图像作为包含预设图像特征的图像，所述S张图像的目标识别概率满足预设条件，所述S为小于或等于N的整数。19.根据权利要求16或17所述的方法，其特征在于，还包括：将所述图像序列中对应的所述目标识别概率在第二概率阈值和第三概率阈值之间的图像，重新作为一组图像序列。20.根据权利要求1至6任一项所述的方法，其特征在于，所述反馈信号为脑电信号。21.一种图像呈现时间的调整方法，其特征在于，包括：获取基于快速序列视觉呈现范式RSVP的图像序列，所述图像序列包括多张图像，所述多张图像中每张图像配置有呈现时间，图像i的呈现时间用于指示所述图像i呈现起始时刻到下一相邻图像呈现起始时刻的时间段，所述图像i为所述多张图像中的任一张图像；针对所述图像序列中每张图像，根据对应的时长影响参数分别调整所述图像序列中每张图像对应的呈现时间，其中，所述时长影响参数包括第一识别概率和疲劳状态参数中的至少一个，所述第一识别概率用于指示通过计算机视觉算法得到的某一图像包含预设图像特征的概率，所述疲劳状态参数用于指示所述观察对象在观察某一图像时的疲劳程度，所述第一识别概率与所述呈现时间呈反相关，所述疲劳状态参数与所述呈现时间呈正相关；根据调整后的所述图像序列中每张图像对应的呈现时间控制显示所述图像序列。22.根据权利要求21所述的方法，其特征在于，所述针对所述图像序列中每张图像，根据对应的时长影响参数分别调整所述图像序列中每张图像对应的呈现时间，包括：针对图像j，根据所述图像j的时长影响参数，从第三映射表中查找出所述图像j的呈现时间偏置量，所述第三映射表包括多个时长影响参数以及所述多个时长影响参数各自对应的呈现时间偏置量；根据所述图像j的呈现时间偏置量，调整所述图像j的呈现时间；其中，所述图像j为所述图像序列中任一张图像。23.根据权利要求21所述的方法，其特征在于，所述时长影响参数包括所述第一识别概率和所述疲劳状态参数；所述针对所述图像序列中每张图像，根据对应的时长影响参数分别调整所述图像序列中每张图像对应的呈现时间，包括：通过以下拟合公式得到所述图像序列中每张图像的呈现时间偏置量：其中，所述ΔT(c,f)为所述呈现时间偏置量，所述c为所述第一识别概率、所述f为所述疲劳状态参数，所述m是所述ΔT(c,f)与所述f拟合的阶数，所述n是所述ΔT(c,f)与所述c拟合的阶数，所述n和所述m均为大于0的正整数，所述t为满足-n≤t≤n的整数，所述k为满足-m≤k≤m的整数，所述c为满足0≤c≤1的实数，所述at,k为ctfk的系数；针对所述图像序列中每张图像，根据对应的呈现时间偏置量分别调整所述图像序列中每张图像对应的呈现时间。24.根据权利要求21所述的方法，其特征在于，所述时长影响参数包括所述第一识别概率；所述针对所述图像序列中每张图像，根据对应的时长影响参数分别调整所述图像序列中每张图像对应的呈现时间，包括：通过以下拟合公式得到所述图像序列中每张图像的呈现时间偏置量：其中，所述ΔT(c)为所述呈现时间偏置量，所述c为所述第一识别概率，所述c为满足0≤c≤1的实数，所述n为所述ΔT(c)与所述c拟合的阶数，所述n为大于0的整数，所述t为满足-n≤t≤n的整数，所述at为ct的系数；针对所述图像序列中每张图像，根据对应的呈现时间偏置量分别调整所述图像序列中每张图像对应的呈现时间。25.根据权利要求21-23任一项所述的方法，其特征在于，所述方法还包括：针对图像q，根据传感器发送的所述观察对象观看所述图像p时的疲劳状态...

【专利技术属性】
技术研发人员：杨晖，袁鹏，唐卫东，彭帅华，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东,44