适用于电网调控的增强现实交互方法、装置及存储介质制造方法及图纸

一种适用于电网调控的增强现实交互方法、装置及存储介质，通过在虚实混合空间中将不可见的虚拟操作平面与操作台真实电脑屏幕叠合的方式为用户提供同真实电脑屏幕增强现实交互的支持；交互方法包括在真实屏幕周围设置多个虚拟屏幕作为辅助显示设备，就近显示与当前内容相关的其他内容，通过坐标映射建立虚拟操作平面上坐标点和真实电脑屏幕中像素点的数学对应关系；感知用户是否在真实屏幕上注视关键信息所在区域，并根据事先设定，用增强现实方式显示关联信息或相关提示；相关信息可以以虚拟三维对象的方式显示在周围；用户将指定虚拟屏幕上的内容与真实屏幕显示的内容调换，或与虚拟三维对象交互。本发明专利技术可以有效提高工作效率，减轻工作负担。减轻工作负担。减轻工作负担。

【技术实现步骤摘要】
适用于电网调控的增强现实交互方法、装置及存储介质


[0001]本专利技术属于增强现实交互
，具体涉及一种适用于电网调控的增强现实交互方法、装置及存储介质。

技术介绍

[0002]电力系统工作人员在电网状态监控、电网检修以及离线方式安排等工作中，需要对电网中存在的大量信息进行查看分析。这些信息位于不同的位置，如不同的屏幕、软件、系统或是同一系统、软件的不同页面等等。用户经常需要查找不同位置的信息进行关联分析，在信息的查找过程中浪费大量时间。如在仿真计算的过程中，操作人员需要对表示电网结构的不同单线图进行查看，从整体的单线图中选择感兴趣的区域进行放大查看，查看完毕后回到整体的单线图，选择其他感兴趣的区域进行查看。为了寻找感兴趣的节点，需要在众多节点中凭肉眼仔细地寻找，为了查看单线图中节点的属性，需要使用鼠标进行频繁点击。在这些过程中，单线图切换查看、寻找感兴趣节点以及查看节点属性等方面的困难，大大增加了操作人员的工作负担，操作繁杂琐碎，调度计算人员需要花费许多精力去辨别、回忆和记忆，认知负荷很重。
[0003]现有的改进方案，如电网沙盘推演，电网可视化等技术都倾向于换成一套全新的电网呈现方式。通过这些方法可以更好地展示电网特性，但是设计的成本高，需要操作人员重新学习操作方法。而在增强现实设备视角下，真实物体和虚拟物体共同存在，用户通过手势、眼动以及语音等交互方式与场景中的虚拟物体交互，并利用这些虚拟物体为真实物体提供更多的辅助信息，甚至达到与真实物体交互的目的。这种交互方式不仅使用辅助提示信息可以帮助用户更好地理解查看的内容，并且可以与这些内容进行实时交互，灵活的进行虚实信息的切换和调整，大幅提高工作的效率。

技术实现思路

[0004]本专利技术的目的在于提供一种适用于电网调控的增强现实交互方法、装置及存储介质，通过基于增强现实技术的交互手段，将电网状态监控、电网检修以及离线方式安排等场景中的各种相关信息通过虚实结合的方式动态联合显示，并用虚实结合的手段实现方便的信息选择，以解决现有技术中存在的电力调控任务所需相关信息分布在不同位置，检索困难的问题。
[0005]为了实现上述目的，本专利技术有如下的技术方案：
[0006]使用增强现实设备建立操作员与电脑操作台屏幕的实时交互。在电网系统查看分析的过程中，使用增强现实设备，在虚实混合空间中使用不可见的虚拟操作平面与操控台上的多个屏幕重合，并且额外设置多个虚拟屏幕显示候选内容。理解屏幕中显示的内容并定义各部分内容的交互方式。通过坐标映射和通信模块建立虚拟操作平面上的坐标点和真实电脑屏幕中的像素点的数学对应关系，并引入眼动位置信息和鼠标位置信息，支持信息动态关联和交互选择，从而进行关联信息的自动近距离显示，减少用户查找相关信息的时
间。本专利技术可以便捷切换查看不同的电网单线图。借助眼动追踪模块，操作员注视当前单线图中的某个节点时，在注视点处显示该节点的属性信息，并高亮所有相关节点。操作员注视仿真计算结果时，在注视点处显示该计算结果的分析结论。借助语音交互模块和手势交互模块，可以快速定位节点，修改节点的属性值，其他相关节点的属性值随之改变，实现联合调试的目的，从而帮助操作员更快获得满意的电网运行方式，可以有效提高操作员的工作效率，减轻工作负担。
[0007]第一方面，本专利技术实施例提供一种适用于电网调控的增强现实交互方法，包括以下步骤：
[0008]使用增强现实设备，在虚实混合空间中为电网操控台上需要交互的每个屏幕设置一个不可见的虚拟操作平面与之重合，同时将虚拟操作平面的状态设置为可响应各种增强现实交互行为的主动响应状态，并且在每个真实屏幕周围设置多个虚拟屏幕作为辅助显示设备，用于就近显示与当前内容相关的其他屏幕显示内容，通过坐标映射建立虚拟操作平面上的坐标点和真实电脑屏幕中的像素点的数学对应关系；
[0009]针对特定的电网调控场景，罗列并定义该场景中可能涉及的关键信息，以及这些关键信息的存储位置、显示或呈现方式，还有这些关键信息之间的关联关系；
[0010]对调控屏幕上当前显示的内容进行界面元素提取、图像分割识别，获取软件后台信息，得到正在屏幕上显示的关键信息，以及这些关键信息内容、显示位置及区域，并建立这些关键信息的显示区域与虚拟操作平面上区域之间的映射关系；
[0011]当电网调控系统用户查看真实屏幕显示内容时，感知用户是否在真实屏幕上注视关键信息所在区域，并根据事先设定，用增强现实方式显示关联的其他信息或进行相关提示；
[0012]与当前被注视的关键信息相关的内容分别显示在真实屏幕周围的虚拟屏幕上，或以虚拟三维对象的方式显示在周围；用户根据需要将指定虚拟屏幕上的内容与真实屏幕显示的内容进行调换，或与虚拟三维对象进行交互。
[0013]作为本专利技术交互方法的一种优选方案，所述通过坐标映射建立虚拟操作平面上的坐标点和真实电脑屏幕中的像素点的数学对应关系具体包括：
[0014]a)在增强现实设备的虚实混合空间中，将虚拟操作平面设置为与真实电脑屏幕的矩形显示区的形状完全相同，并移动旋转虚拟操作平面使其四个顶点与真实电脑屏幕的矩形显示区的四个顶点重合；
[0015]b)获取当前虚实混合空间中虚拟操作平面四个顶点的空间三维坐标；
[0016]c)将真实电脑屏幕的矩形显示区和虚拟操作平面重合，根据真实电脑屏幕的分辨率和虚拟操作平面四个顶点在虚实混合空间中的三维坐标，求解得到一个虚拟操作平面三维空间坐标点向真实电脑屏幕二维像素坐标变换的坐标变换矩阵；
[0017]d)借助坐标变换矩阵加上取整操作，为虚拟操作平面上的任意三维空间坐标点计算得到唯一与之对应的真实电脑屏幕像素点，从而建立虚拟操作平面上的坐标点和真实屏幕中的像素点的数学对应关系。
[0018]作为本专利技术交互方法的一种优选方案，所述的电网调控场景包括潮流计算、热稳校核以及电网运行方式计算。
[0019]作为本专利技术交互方法的一种优选方案，所述的关键信息包括电网调控场景中各个
电网单线图、电网单线图中各个节点的位置和电气参数、电力系统仿真计算软件的仿真计算结果。
[0020]作为本专利技术交互方法的一种优选方案，所述的关键信息存储在真实电脑PC端，通过节点辅助信息快速了解所观察节点的属性信息，通过仿真计算结果的辅助提示信息分析当前仿真计算的结果，快速定位到需要调整的节点；辅助提示信息的呈现方式均是以一个虚拟指示牌的形式在虚实混合空间中显示；通过单线图相关节点显示对当前单线图中的相关节点进行了解，确定调整单个节点的影响范围，同时进行单线图相关节点的联合调试，在调整某个节点的属性时，得到其相关节点的变换情况，从而更快得到可行的电网运行方式；点击虚拟操作平面上节点处的按钮，使用语音交互修改当前节点的属性值；获取PC端使用修改后的属性值，计算得到其他节点的属性值，在相关节点处更新属性值；进行节点查找时，语音说出节点的名称，对应节点的按键高亮，实现快速定位。
[0021]作为本专利技术交互方法的一种优选方案，所述感知用户本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种适用于电网调控的增强现实交互方法，其特征在于，包括以下步骤：使用增强现实设备，在虚实混合空间中为电网操控台上需要交互的每个屏幕设置一个不可见的虚拟操作平面与之重合，同时将虚拟操作平面的状态设置为可响应各种增强现实交互行为的主动响应状态，并且在每个真实屏幕周围设置多个虚拟屏幕作为辅助显示设备，用于就近显示与当前内容相关的其他屏幕显示内容，通过坐标映射建立虚拟操作平面上的坐标点和真实电脑屏幕中的像素点的数学对应关系；针对特定的电网调控场景，罗列并定义该场景中可能涉及的关键信息，以及这些关键信息的存储位置、显示或呈现方式，还有这些关键信息之间的关联关系；对调控屏幕上当前显示的内容进行界面元素提取、图像分割识别，获取软件后台信息，得到正在屏幕上显示的关键信息，以及这些关键信息内容、显示位置及区域，并建立这些关键信息的显示区域与虚拟操作平面上区域之间的映射关系；当电网调控系统用户查看真实屏幕显示内容时，感知用户是否在真实屏幕上注视关键信息所在区域，并根据事先设定，用增强现实方式显示关联的其他信息或进行相关提示；与当前被注视的关键信息相关的内容分别显示在真实屏幕周围的虚拟屏幕上，或以虚拟三维对象的方式显示在周围；用户根据需要将指定虚拟屏幕上的内容与真实屏幕显示的内容进行调换，或与虚拟三维对象进行交互。2.根据权利要求1所述适用于电网调控的增强现实交互方法，其特征在于，所述通过坐标映射建立虚拟操作平面上的坐标点和真实电脑屏幕中的像素点的数学对应关系具体包括：a)在增强现实设备的虚实混合空间中，将虚拟操作平面设置为与真实电脑屏幕的矩形显示区的形状完全相同，并移动旋转虚拟操作平面使其四个顶点与真实电脑屏幕的矩形显示区的四个顶点重合；b)获取当前虚实混合空间中虚拟操作平面四个顶点的空间三维坐标；c)将真实电脑屏幕的矩形显示区和虚拟操作平面重合，根据真实电脑屏幕的分辨率和虚拟操作平面四个顶点在虚实混合空间中的三维坐标，求解得到一个虚拟操作平面三维空间坐标点向真实电脑屏幕二维像素坐标变换的坐标变换矩阵；d)借助坐标变换矩阵加上取整操作，为虚拟操作平面上的任意三维空间坐标点计算得到唯一与之对应的真实电脑屏幕像素点，从而建立虚拟操作平面上的坐标点和真实屏幕中的像素点的数学对应关系。3.根据权利要求1所述适用于电网调控的增强现实交互方法，其特征在于：所述的电网调控场景包括潮流计算、热稳校核以及电网运行方式计算。4.根据权利要求1所述适用于电网调控的增强现实交互方法，其特征在于：所述的关键信息包括电网调控场景中各个电网单线图、电网单线图中各个节点的位置和电气参数、电力系统仿真计算软件的仿真计算结果。5.根据权利要求1或4所述适用于电网调控的增强现实交互方法，其特征在于：所述的关键信息存储在真实电脑PC端，通过节点辅助信息快速了解所观察节点的属性信息，通过仿真计算结果的辅助提示信息分析当前仿真计算的结果，快速定位到需要调整的节点；辅助提示信息的呈现方式均是以一个虚拟指示牌的形式在虚实混合空间中显示；通过单线图相关节点显示对当前单线图中的相关节点进行了解，确定调整单个节点的影响范围，同时
进行单线图相关节点的联合调试，在调整某个节点的属性时，得到其相关节点的变换情况，从而更快得到可行的电网运行方式；点击虚拟操作平面上节点处的按钮，使用语音交互修改当前节点的属性值；获取PC端使用修改后的属性值，计算得到其他节点的属性值，在相关节点处更新属性值；进行节点查找时，语音说出节点的名称，对应节点的按键高亮，实现快速定位。6.根据权利要求1所述适用于电网调控的增强现实交互方法，其特征在于，所述感知用户是否在真实屏幕上注视关键信息所在区域，并根据事先设定，用增强现实方式显示关联的其他信息或进行相关提示具体包括：a)分析当前单线图中的节点信息，建立真实屏幕中每个节点的二维坐标与...

【专利技术属性】
技术研发人员：蔡忠闽，金瑞达，
申请(专利权)人：国网浙江省电力有限公司，
类型：发明
国别省市：