【技术实现步骤摘要】
本专利技术涉及设备功耗控制，更具体的说是涉及一种基于图像和动作识别的成像设备功耗控制方法及系统。
技术介绍
1、目前，电池供电的成像系统对工作时长有严苛的要求，如电子智能望远镜、应用于电力检测的成像式测温仪和猎用观瞄仪等设备。为提升续航时间，一般采用提高电池容量和降低设备功耗两种方式，提高电池容量易面临如设备体积重量受限、定制化电芯成本过高等问题；降低设备功耗与电路设计和算法部署息息相关，通过优化电路和算法，可一定程度降低产品功耗，提升工作时间。
2、但是，现有动作识别算法多用于手机和游戏机手柄等民用品领域，仅使用惯性传感器数据进行动作判断，存在数据噪声明显，动作识别精度不高的问题，一定程度影响用户体验。而在专用手持式光电设备领域(如夜视仪、测温仪等)，对于工作时间有极高要求，虽然配备9轴惯性传感器，但大部分没有基于用户动作控制功耗，且部分基于动作控制功耗的技术仅使用惯性数据，数据来源单一，功耗控制效果不佳。
3、因此，如何基于精确的动作识别进而精准控制成像设备的功耗是本领域技术人员亟需解决的问题。
技术实现思路
1、有鉴于此，本专利技术提供了一种基于图像和动作识别的成像设备功耗控制方法及系统，实现了基于精确的动作识别进而精准控制成像设备的功耗。
2、为了实现上述目的，本专利技术采用如下技术方案：
3、一种基于图像和动作识别的成像设备功耗控制方法，包括：
4、获取成像设备移动时采集的图像数据和惯性传感器数据；
6、基于所述惯性传感器数据得到所述成像设备的位姿变换量；
7、将所述图像偏移量和所述位姿变换量拼接融合，得到融合数据；
8、将所述融合数据输入至联合估计网络，预测得到用户动作；
9、基于所述用户动作控制所述成像设备的功耗。
10、优选的，通过图像配准网络获取前后帧图像的图像偏移量，具体过程为：
11、所述图像配准网络包括：第一卷积神经网络、第二卷积神经网络和迭代配准估计器；所述第一卷积神经网络和所述第二卷积神经网络分别与所述迭代配准估计器连接；
12、通过所述第一卷积神经网络和所述第二卷积神经网络分别提取前帧图像特征向量和后帧图像特征向量；
13、对所述前帧图像特征向量和所述后帧图像特征向量进行相关计算，得到相关计算结果；
14、将所述相关计算结果输入至所述迭代配准估计器，得到所述图像偏移量。
15、优选的，所述第一卷积神经网络和所述第二卷积神经网络参数共享，结构相同，均包括：卷积层、实例归一化层、第一relu层、第一残差层和第二残差层。
16、优选的，提取前帧图像特征向量和提取后帧图像特征向量的过程相同；通过所述第一卷积神经网络提取前帧图像特征向量，具体过程为：
17、将前帧图像输入至第一卷积神经网络，所述前帧图像依次通过所述卷积层和所述实例归一化层后输入至所述第一relu层，得到第一特征图像；
18、所述第一特征图像分别输入至所述第一残差层和所述第二残差层，对应得到低尺度特征和高尺度特征；
19、所述低尺度特征依次进行平均池化操作和中心采样操作得到处理低尺度特征；
20、所述高尺度特征依次进行平均池化操作和中心采样操作得到处理高尺度特征；
21、所述处理低尺度特征和所述处理高尺度特征拼接，得到所述前帧图像特征向量。
22、优选的，所述相关计算具体为：
23、c(x1,x2)＝relu(f1(x1)tf2(x2))
24、其中，c(x1,x2)表示c矩阵中位于(x1,x2)坐标的元素，c表示计算所得的相关矩阵，relu(·)表示激活函数，f1表示前帧图像特征向量，f2表示后帧图像特征向量，f1(x1)表示f1特征向量的第x1个元素，f2(x2)表示f2特征向量的第x2个元素。
25、优选的，基于所述迭代配准估计器得到所述图像偏移量，具体过程为：
26、所述迭代配准估计器随机初始化配准矩阵，前一帧图像基于所述初始化配准矩阵进行坐标映射，得到配准特征图像，通过所述配准特征图像与当前帧图像更新得到更新相关矩阵，将所述更新相关矩阵输入全局聚合器得到整体偏移，对所述整体偏移进行迭代更新，直至迭代更新的整体偏移小于设定阈值，输出作为所述图像偏移量。
27、优选的，所述全局聚合器由多个相同的基础单元组成，所述基础单元均包含一个3x3卷积层、一个群归一化层、一个relu层以及一个最大池化层；
28、所述全局聚合器通过堆叠多个相同的所述基础单元使得其输出的特征图尺寸为2x2，将该特征图输入一个卷积模块将其映射成2x2x2的特征作为整体偏移；
29、所述更新相关矩阵依次经过所述3x3卷积层、所述群归一化层、所述relu层以及所述最大池化层，得到输出特征图，所述输出特征图输入一个卷积模块将其映射成2x2x2的特征作为整体偏移。
30、优选的，所述联合估计网络包括：长短时记忆卷积网络、第二relu层、se模块、最大池化层和dropout层；
31、将所述融合数据输入至联合估计网络，预测得到用户动作，具体过程为：
32、所述融合数据输入至所述长短时记忆卷积网络进行特征提取后通过所述第二relu层进行激活，并通过所述se模块精炼特征，得到第一精炼特征，所述精炼特征依次通过所述最大池化层和所述dropout层处理后实时预测得到用户动作。
33、优选的，所述惯性传感器数据由惯性传感器采集获得，所述惯性传感器至少采用：加速度计、陀螺仪和磁力计；
34、基于所述惯性传感器数据得到所述成像设备的位姿变换量，具体包括：
35、基于加权卡尔曼滤波对所述惯性传感器数据进行预处理，并通过位姿解算方法计算得到成像设备相邻时刻的位姿变换量。
36、一种基于图像和动作识别的成像设备功耗控制系统，包括：数据采集模块、图像偏移量获取模块、位姿变换量获取模块、数据融合模块、动作预测模块和功耗控制模块；
37、所述数据采集模块，用于获取成像设备移动时采集的图像数据和惯性传感器数据；
38、所述图像偏移量获取模块，用于基于所述图像数据获取前后帧图像的图像偏移量；
39、所述位姿变换量获取模块，用于基于所述惯性传感器数据得到所述成像设备的位姿变换量；
40、所述数据融合模块，用于将所述图像偏移量和所述位姿变换量拼接融合，得到融合数据；
41、所述动作预测模块，用于将所述融合数据输入至联合估计网络，预测得到用户动作；
42、所述功耗控制模块，用于基于所述用户动作控制所述成像设备的功耗。
43、经由上述的技术方案可知，与现有技术相比，本专利技术公开提供了一种基于图像和动作识别的成像设备功耗控制方法及系统，通过图像配准本文档来自技高网...
【技术保护点】
1.一种基于图像和动作识别的成像设备功耗控制方法，其特征在于，包括：
2.根据权利要求1所述的一种基于图像和动作识别的成像设备功耗控制方法，其特征在于，通过图像配准网络获取前后帧图像的图像偏移量，具体过程为：
3.根据权利要求2所述的一种基于图像和动作识别的成像设备功耗控制方法，其特征在于，所述第一卷积神经网络和所述第二卷积神经网络参数共享，结构相同，均包括：卷积层、实例归一化层、第一Relu层、第一残差层和第二残差层。
4.根据权利要求3所述的一种基于图像和动作识别的成像设备功耗控制方法，其特征在于，提取前帧图像特征向量和提取后帧图像特征向量的过程相同；通过所述第一卷积神经网络提取前帧图像特征向量，具体过程为：
5.根据权利要求2所述的一种基于图像和动作识别的成像设备功耗控制方法，其特征在于，所述相关计算具体为：
6.根据权利要求2所述的一种基于图像和动作识别的成像设备功耗控制方法，其特征在于，基于所述迭代配准估计器得到所述图像偏移量，具体过程为：
7.根据权利要求6所述的一种基于图像和动作识别的成像设备功
8.根据权利要求1所述的一种基于图像和动作识别的成像设备功耗控制方法，其特征在于，所述联合估计网络包括：长短时记忆卷积网络、第二Relu层、SE模块、最大池化层和Dropout层；
9.根据权利要求1所述的一种基于图像和动作识别的成像设备功耗控制方法，其特征在于，所述惯性传感器数据由惯性传感器采集获得，所述惯性传感器至少采用：加速度计、陀螺仪和磁力计；
10.一种基于图像和动作识别的成像设备功耗控制系统，其特征在于，包括：数据采集模块、图像偏移量获取模块、位姿变换量获取模块、数据融合模块、动作预测模块和功耗控制模块；
...【技术特征摘要】
1.一种基于图像和动作识别的成像设备功耗控制方法，其特征在于，包括：
2.根据权利要求1所述的一种基于图像和动作识别的成像设备功耗控制方法，其特征在于，通过图像配准网络获取前后帧图像的图像偏移量，具体过程为：
3.根据权利要求2所述的一种基于图像和动作识别的成像设备功耗控制方法，其特征在于，所述第一卷积神经网络和所述第二卷积神经网络参数共享，结构相同，均包括：卷积层、实例归一化层、第一relu层、第一残差层和第二残差层。
4.根据权利要求3所述的一种基于图像和动作识别的成像设备功耗控制方法，其特征在于，提取前帧图像特征向量和提取后帧图像特征向量的过程相同；通过所述第一卷积神经网络提取前帧图像特征向量，具体过程为：
5.根据权利要求2所述的一种基于图像和动作识别的成像设备功耗控制方法，其特征在于，所述相关计算具体为：
6.根据权利要求2所述的一种基于图像和动作识别的成像设备功耗控制方...
【专利技术属性】
技术研发人员：俞贝楠，吴铮波，
申请(专利权)人：浙江蓝影智能技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。