【技术实现步骤摘要】
本专利技术涉及智能辅助设备与人机交互的，尤其涉及一种基于动态可变金字塔的智能手柄鼠标控制方法及系统。
技术介绍
1、现有鼠标和手柄设备对用户手部操作灵活性要求较高，手指不便人士在使用时难以实现精准控制与复杂交互。现有辅助设备(如头部鼠标、眼动追踪设备)价格昂贵、功能单一，适配性差，难以满足个性化需求。这类设备通常缺乏对操作模式的全面适配能力，用户在面对复杂交互需求时需要进行大量重复性调整，进一步增加了使用难度和学习成本。
2、当前技术在多模态数据融合和动态适应性方面存在不足，无法实现对力、触摸、运动等多模态数据的精细建模与实时调整，导致设备在复杂交互场景下难以兼顾全局与局部信息。此外，传统建模方法对动态变化的感知能力有限，难以捕捉快速操作过程中的细微特征，导致设备响应延迟或识别精度降低。例如，传统鼠标和手柄设备在处理快速操作时，由于缺乏对动态变化的感知能力，难以捕捉快速操作过程中的细微特征，导致设备响应延迟或识别精度降低。此外，传统建模方法对动态变化的感知能力有限，无法实时调整特征提取和权重分配，进一步影响了设备的性能和用户体验。
3、随着用户对智能交互设备提出更高的需求，如何通过高效的动态特征提取和自适应优化策略提升交互体验，成为行业发展的关键挑战。
技术实现思路
1、针对现有技术中手指不便用户在使用鼠标和手柄设备时操作灵活性差、精准度低、缺乏适应性的技术问题，本专利技术提出一种基于动态可变金字塔的智能手柄鼠标控制方法及系统，通过多模态传感技术采集用户操作
2、为了达到上述目的，本专利技术的技术方案是这样实现的：
3、一种基于动态可变金字塔的智能手柄鼠标控制方法，包括以下步骤：
4、多模态数据采集：基于多模态维感立体传感系统，实时采集用户操作时的多模态数据，包括压力感知数据、触摸路径数据及运动轨迹数据；
5、数据处理与动态特征生成：对采集的多模态数据进行时间同步校正和归一化处理，生成多模态动态特征矩阵；
6、动态可变尺度特征提取：通过动态可变尺度金字塔模块对多模态动态特征矩阵进行智能化分解，提取全局与局部多层次特征；
7、权重动态优化：通过全局-局部协同动态权重调节机制对全局与局部多层次特征进行融合，生成综合特征矩阵；
8、特征建模与融合：通过时空图神经网络(st-gnn)、超图神经网络(st-hypergnn)和时序递归网络(st-rnn)构建智能建模体系，利用智能建模体系对综合特征矩阵进行处理，形成多模态融合的综合操作特征；
9、输出用户操作指令：通过综合操作特征生成用户操作指令：包括拖动、点击、旋转的复杂交互指令，支持手指操作不便用户完成多样化交互任务。
10、优选地，所述多模态维感立体传感系统包括x轴电位传感器、y轴电位传感器、mxene压阻传感器、加速度传感器和触摸分布传感器；通过mxene压阻传感器捕获压力感知数据，通过触摸分布传感器记录触摸路径数据，通过x轴电位传感器、y轴电位传感器和加速度传感器获取运动轨迹数据。
11、优选地，所述运动轨迹数据包括摇杆倾斜角度和加速度信息。
12、优选地，所述通过动态可变尺度金字塔模块对多模态动态特征矩阵进行智能化分解的方法为：根据操作模式动态调整下采样步长：当特征变化平缓时，采用较大的下采样步长以聚焦于宏观趋势的捕获，例如整体操作轨迹、全局压力分布或大范围动作的连续性；而当特征变化剧烈时，系统动态缩小下采样步长，深入提取操作的精细化特征，例如局部区域的快速压力变化、小幅运动路径或细微的触摸轨迹，从而实现从全局趋势到局部细节的多尺度信息提取；
13、根据多模态特征变化情况动态调整下采样比例：
14、
15、其中，表示第l层特征矩阵的变化量，ε为特征变化阈值，α和β为步长缩放系数；表示t-1时刻节点i的特征值；表示t时刻节点i的特征值；
16、多尺度特征融合：各层特征通过智能加权机制融合，生成动态特征金字塔，综合全局与局部信息：hfusion＝concat(hlocal,hglobal)，其中，hfusion表示融合后的动态特征金字塔矩阵；hlocal表示局部特征矩阵；hglobal表示全局特征矩阵。
17、优选地，所述全局-局部协同动态权重调节机制的公式如下：
18、
19、其中，表示t+1时刻节点i的特征值；表示t时刻相邻节点j的特征值；wij表示节点i和j之间的连接权重；σ(·)表示激活函数；n(i)为节点i的邻居节点集合。
20、优选地，所述利用智能建模体系对综合特征矩阵进行处理，形成多模态融合的综合操作特征的方法为：
21、首先，通过时空图神经网络对单个传感器节点的局部动态特征进行捕捉；针对不同模态数据，构建邻接矩阵和动态特征更新机制：
22、
23、其中，bi表示节点i的偏置项；
24、其次，利用超图神经网络对多模态数据的跨模态交互特性进行建模；不同模态数据作为节点输入，构建高阶超图结构，其中每条超边连接多个模态节点，表示模态间的高阶关联；节点特征更新机制如下：
25、
26、其中，we为超边的权重，j′∈e表示超边中的节点集合，ei为节点i所连接的超边集合；最后，结合时序递归网络对多模态特征的时间维度动态变化进行建模；针对节点特征矩阵的时间演变，采用时序递归机制：
27、h(t)＝f(h(t-1),x(t))
28、其中，h(t)表示t时刻的节点状态，x(t)为t时刻的输入数据，f为递归函数。
29、优选地，所述全局-局部协同动态权重调节机制包括反馈调节模块、拓扑分析模块、热点加权模块和动态协作多模态融合模块；
30、反馈调节模块：基于实时传感器数据，动态优化单一模态的权重分布；
31、拓扑分析模块：通过图神经网络优化传感器节点与边的权重，强化局部与全局数据的关联性；
32、热点加权模块：通过实时检测操作热点区域，增加关键区域的权重，突出区域特征；
33、动态协作多模态融合模块：基于全局与局部模态特征的相关性，动态优化模态间的融合权重。
34、一种基于动态可变金字塔的智能手柄鼠标控制系统，包括：多模态维感立体传感系统模块、动态权重调节模块、处理单元模块、电源系统模块、通讯系统模块、用户交互与反馈系统模块和手柄控制系统模块；多模态维感立体传感系统模块分别与动态权重调节模块、处理单元模块、手柄控制系统模块相连接，处理单元模块分别与电源系统模块、通讯系统模块、手柄控制系统模块相连接，电源系统模块与通讯系统模块相连接，通讯系统模块与用本文档来自技高网...
【技术保护点】
1.一种基于动态可变金字塔的智能手柄鼠标控制方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于动态可变金字塔的智能手柄鼠标控制方法，其特征在于，所述多模态维感立体传感系统包括X轴电位传感器(801)、Y轴电位传感器(802)、MXene压阻传感器(803)、加速度传感器(804)和触摸分布传感器(805)；通过MXene压阻传感器(803)捕获压力感知数据，通过触摸分布传感器(805)记录触摸路径数据，通过X轴电位传感器(801)、Y轴电位传感器(802)和加速度传感器(804)获取运动轨迹数据。
3.根据权利要求1或2所述的基于动态可变金字塔的智能手柄鼠标控制方法，其特征在于，所述运动轨迹数据包括摇杆倾斜角度和加速度信息。
4.根据权利要求1所述的基于动态可变金字塔的智能手柄鼠标控制方法，其特征在于，所述通过动态可变尺度金字塔模块对多模态动态特征矩阵进行智能化分解的方法为：根据操作模式动态调整下采样步长：当特征变化平缓时，采用较大的下采样步长以聚焦于宏观趋势的捕获，例如整体操作轨迹、全局压力分布或大范围动作的连续性；而当特征变化剧
5.根据权利要求4所述的基于动态可变金字塔的智能手柄鼠标控制方法，其特征在于，所述全局-局部协同动态权重调节机制的公式如下：
6.根据权利要求5所述的基于动态可变金字塔的智能手柄鼠标控制方法，其特征在于，所述利用智能建模体系对综合特征矩阵进行处理，形成多模态融合的综合操作特征的方法为：
7.根据权利要求1所述的基于动态可变金字塔的智能手柄鼠标控制方法，其特征在于，所述全局-局部协同动态权重调节机制包括反馈调节模块、拓扑分析模块、热点加权模块和动态协作多模态融合模块；
8.一种基于动态可变金字塔的智能手柄鼠标控制系统，用于实施权利要求1至7任一所述的方法，其特征在于，包括：多模态维感立体传感系统模块、动态权重调节模块、处理单元模块、电源系统模块、通讯系统模块、用户交互与反馈系统模块和手柄控制系统模块；多模态维感立体传感系统模块分别与动态权重调节模块、处理单元模块、手柄控制系统模块相连接，处理单元模块分别与电源系统模块、通讯系统模块、手柄控制系统模块相连接，电源系统模块与通讯系统模块相连接，通讯系统模块与用户交互与反馈系统模块相连接。
9.根据权利要求8所述的基于动态可变金字塔的智能手柄鼠标控制系统，其特征在于，所述多模态维感立体传感系统模块包括X轴电位传感器(801)、Y轴电位传感器(802)、MXene压阻传感器(803)、加速度传感器(804)和触摸分布传感器(805)，用于采集多模态操作数据；
10.根据权利要求8所述的基于动态可变金字塔的智能手柄鼠标控制方法，其特征在于，所述手柄控制系统模块包括3D打印手柄外壳(701)、摇杆主体(702)、回弹弹簧(703)、震动反馈模块(704)、万向节杆结构(705)、压力按键组件(706)；通过摇杆主体(702)、回弹弹簧(703)、万向节杆结构(705)、压力按键组件(706)实现多种交互方式，包括拖动、点击、旋转的复杂操作；通过震动反馈模块(704)提供实时反馈；
...【技术特征摘要】
1.一种基于动态可变金字塔的智能手柄鼠标控制方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于动态可变金字塔的智能手柄鼠标控制方法，其特征在于，所述多模态维感立体传感系统包括x轴电位传感器(801)、y轴电位传感器(802)、mxene压阻传感器(803)、加速度传感器(804)和触摸分布传感器(805)；通过mxene压阻传感器(803)捕获压力感知数据，通过触摸分布传感器(805)记录触摸路径数据，通过x轴电位传感器(801)、y轴电位传感器(802)和加速度传感器(804)获取运动轨迹数据。
3.根据权利要求1或2所述的基于动态可变金字塔的智能手柄鼠标控制方法，其特征在于，所述运动轨迹数据包括摇杆倾斜角度和加速度信息。
4.根据权利要求1所述的基于动态可变金字塔的智能手柄鼠标控制方法，其特征在于，所述通过动态可变尺度金字塔模块对多模态动态特征矩阵进行智能化分解的方法为：根据操作模式动态调整下采样步长：当特征变化平缓时，采用较大的下采样步长以聚焦于宏观趋势的捕获，例如整体操作轨迹、全局压力分布或大范围动作的连续性；而当特征变化剧烈时，系统动态缩小下采样步长，深入提取操作的精细化特征，例如局部区域的快速压力变化、小幅运动路径或细微的触摸轨迹，从而实现从全局趋势到局部细节的多尺度信息提取；
5.根据权利要求4所述的基于动态可变金字塔的智能手柄鼠标控制方法，其特征在于，所述全局-局部协同动态权重调节机制的公式如下：
6.根据权利要求5所述的基于动态可变金字塔的智能手柄鼠标控制方法，其特征在于，所述利用智能建模体系对综合特征矩阵进行处理，形成多模...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。