本发明专利技术公开了一种基于动态图像识别的交互方法、系统、终端及介质，涉及图像识别技术领域，本发明专利技术包括以下步骤：首先使用摄像头或其他图像捕捉设备实时采集用户的动态图像，采集的动态图像为连续的视频流或一系列的图片帧；再对采集到的动态图像进行预处理；本发明专利技术，通过使用先进的动态图像识别技术，能够实时捕捉和分析用户的动态图像，并将动态图像准确地分割成代表不同动作的段落，结合基于阈值分割、基于模型分割和基于深度学习分割的综合分析方法，系统能够更准确地识别用户的动作和意图，从而生成精确的交互指令，显著提高了交互系统的准确性和实时响应能力，为用户提供了更加流畅和自然的交互体验。
【技术实现步骤摘要】
本专利技术涉及图像识别，具体为一种基于动态图像识别的交互方法、系统、终端及介质。
技术介绍
1、随着科技的快速发展，人机交互技术已经从传统的键盘、鼠标操作演变为更加自然和直观的交互方式。特别是在智能设备和虚拟现实(vr)等领域，用户期望能够通过更加直观的方式与系统进行交互，例如通过手势、表情或其他身体动作，然而，现有的交互技术在准确性和用户体验方面仍存在一些局限性；动态图像识别的准确性直接影响到交互指令的生成，当前的技术在复杂环境下，如光照变化、背景干扰等因素，可能会导致识别错误或漏识别，从而影响交互的准确性。
2、用户体验问题：用户在使用交互系统时，往往需要适应特定的交互模式，这可能会增加学习成本和操作难度。此外，系统缺乏有效的用户反馈机制，使得用户难以对不满意的交互进行调整。
3、为了解决上述缺陷，现提供一种技术方案。
技术实现思路
1、本专利技术的目的在于解决现有的交互技术在准确性和用户体验方面仍存在一些局限性的问题，而提出一种基于动态图像识别的交互方法、系统、终端及介质。
2、本专利技术的目的可以通过以下技术方案实现：
3、一种基于动态图像识别的交互方法，包括以下步骤：
4、s1：首先使用摄像头或其他图像捕捉设备实时采集用户的动态图像；
5、s2：再对采集到的动态图像进行预处理；
6、s3：然后将完成预处理的动态图像进行动作分割，使动态图像基于内容分割成代表不同动作的动态图像段落；
<
p>7、s4：再对完成切割的每个动态图像段落中进行图像帧的截取，并对截取的每个图像帧与数据库中代表性互动图像进行分析，筛选出一个相似度最高的图像帧；8、s5：根据验证后的若干个图像帧及相匹配的代表性互动图像形成对应一个或多个连续的交互指令，并执行相应的交互命令或操作；
9、s6：最后获取用户反馈，针对用户的反馈数据进行分析并修正交互指令，具体过程如下：
10、获取的用户反馈数据包括用户操作参数及历史数据参数，并根据反馈数据分别得到用操值及历参值，归一化处理后以用操值作为底圆半径，历参值为高建立圆锥体模型，再寻找此圆锥体模型的质心，并以此质心作为球形，预设修正参数为半径建立一个球形体，再以此球形体为轮廓在建立的圆锥体模型中进行切除，计算剩余异形体的体积，记为决判值；
11、将得到的决判值与预设的决判阈值进行比对，当决判值超过预设的决判阈值时，则判定用户对执行的交互命令不满意，动态图像的交互命令分析存在错误，则对分析的交互指令进行修正，具体修正过程如下：
12、首先通过对该图像帧对应同一个动态图像中每个动态图像段落相对应的图像帧所识别的不同的交互信令通过提示窗口向交互界面进行展示，提示用户是否执行同一个动态图像中的其他交互指令，并为用户提供是否执行显示的其他交互指令的选项，由用户自主判断是否进行交互指令修正。
13、进一步的，所述s2中的具体过程如下：
14、首先分别通过基于阈值分割、基于模型分割及基于深度学习分割三种分割方法对动态图像进行动作分割，再对以上三种分割方法的输出结果进行综合分析，以得到最精准的分割结果，综合分析的具体步骤如下：
15、b1：首先对三种分割方法得到的分割结果进行归一化处理，使不同方法的输出可以在同一标准下进行比较和融合，归一化为简单的缩放，使得所有结果都落在相同的数值范围内，或是更复杂的统计归一化；
16、b2：再定义一个融合策略，综合考虑三种方法的分割结果，融合策略为投票机制、加权平均或模型融合，或为每种方法分配一个权重；
17、b3：将三种分割方法的归一化分割结果根据融合策略进行合并；
18、b4：然后使用评估指标，包括准确率、召回率及f1分数，评估融合结果的质量；当融合结果未达到预期的精确度，返回到步骤b2中，调整融合策略或权重，然后重复步骤b3和b4进行迭代优化。
19、进一步的，所述s2中通过基于阈值分割、基于模型分割及基于深度学习分割三种分割方法对动态图像进行动作分割的具体操作步骤如下：
20、基于阈值分割：首先，对动态图像序列中的连续帧进行运动估计，计算帧间运动矢量，通过光流法lucas-kanade方法或块匹配法三帧差分法进行计算；
21、再使用欧氏距离或归一化互信息等度量方法计算帧间运动差异；
22、然后设定一个差异阈值，当帧间差异超过差异阈值时，则判定动态图像中动作发生了变化或转换；
23、最后根据阈值判定，将动态图像划分为多个段落，每个段落代表一个连续的动作；
24、基于模型分割：首先从动态图像帧中提取有助于动作识别的特征；
25、再使用隐马尔可夫模型或动态时间规整模型对特征序列进行训练；
26、对新的动态图像序列应用训练好的模型，模型将根据学习到的模式识别出动态图像中的动作；
27、再根据模型的识别结果，输出视频序列的动作分割点；
28、基于深度学习分割：首先收集并标注大量包含不同动作的动态交互图像数据集，用于训练深度学习模型；
29、再确定深度学习模型，包括卷积神经网络用于提取空间特征，循环神经网络或长短期记忆网络用于处理时间序列数据；
30、使用标注的数据集对选定的深度学习模型进行训练，并根据时间序列的上下文信息识别动作的起始和结束；
31、再将训练好的模型应用于新的动态图像数据中，模型将自动识别并分割出不同的动作段落；
32、最后进行一些后处理步骤去除重叠的检测框及优化分割边界。
33、进一步的，所述s4的具体操作步骤如下：
34、首先对每个动态图像段落按照预设的时间间隔或基于特定的动作标志截取图像帧；
35、再建立一个包含代表性互动图像的数据库，数据库中的互动图像为标准互动动作的图像，并且能够代表不同的互动场景和动作；
36、然后对截取的图像帧和数据库中的代表性互动图像进行特征提取；
37、再定义一个相似度度量方法来比较若干个图像帧与代表性互动图像之间的相似度，相似度度量方法包括欧氏距离、汉明距离、结构相似性指数及余弦相似度；
38、然后将每个动态图像段落中截取的若干个图像帧与数据库中所有代表性互动图像的相似度进行比对，并标记截取的若干个图像帧中相似度最高的一个；
39、最后对筛选出的相似度最高的图像帧进行验证。
40、进一步的，所述s4中对截取的图像帧和数据库中的代表性互动图像进行特征提取的方法包括：
41、外观特征：使用s ift、surf及orb算法提取关键点和描述符；
42、运动特征：计算光流或使用光流估计方法提取运动信息；
43、深度特征：使用深度摄像头或预处理的深度数据，提取深度图像的特征；
44、全局特征：计算图像的直方图包括颜色及梯度或本文档来自技高网
...
【技术保护点】
1.一种基于动态图像识别的交互方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于动态图像识别的交互方法，其特征在于，所述S2中的具体过程如下：
3.根据权利要求2所述的一种基于动态图像识别的交互方法，其特征在于，所述S2中通过基于阈值分割、基于模型分割及基于深度学习分割三种分割方法对动态图像进行动作分割的具体操作步骤如下：
4.根据权利要求1所述的一种基于动态图像识别的交互方法，其特征在于，所述S4的具体操作步骤如下：
5.根据权利要求4所述的一种基于动态图像识别的交互方法，其特征在于，所述S4中对截取的图像帧和数据库中的代表性互动图像进行特征提取的方法包括：
6.根据权利要求1所述的一种基于动态图像识别的交互方法，其特征在于，所述S6中根据反馈数据分别得到用操值及历参值的具体操作步骤如下：
7.一种应用于权利要求1-6任一项所述的基于动态图像识别的交互方法的系统，其特征在于，包括：
8.一种交互终端，其特征在于，包括：
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行权利要求1至6任一项所述的基于动态图像识别的交互方法。
...
【技术特征摘要】
1.一种基于动态图像识别的交互方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于动态图像识别的交互方法，其特征在于，所述s2中的具体过程如下：
3.根据权利要求2所述的一种基于动态图像识别的交互方法，其特征在于，所述s2中通过基于阈值分割、基于模型分割及基于深度学习分割三种分割方法对动态图像进行动作分割的具体操作步骤如下：
4.根据权利要求1所述的一种基于动态图像识别的交互方法，其特征在于，所述s4的具体操作步骤如下：
5.根据权利要求4所述的一种基于动态图像识别的交互方法，其特征在于，所述s4中对...
【专利技术属性】
技术研发人员：崔肖肖，闫腾，
申请(专利权)人：苏州领峰者智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。