【技术实现步骤摘要】
本专利技术涉及数据可视化技术，特别涉及关于多模态数据图表在二维屏幕空间和三维空间场景中的实时交互切换分析方法、存储介质和电子设备。
技术介绍
1、人类的各类感觉器官中，人眼具有最强的信号处理能力。视觉是获取信息的最重要通道，超过50％的人脑功能用于视觉感知，包括解码可视信息和思考可视符号等。但是，人类的视觉工作内存很小，在认知过程中常常需要依靠外部帮助。图片、图形等在过去两百年间是人类认知过程中最重要的工具。可视化是人类在认知过程中产生的对事物的认知视图，强化认知理解并有利于知识交流。人们应用可视化技术历史悠久，在中世纪时期，人们就开始使用包含等值线的地磁图、表示海上主要风向的箭头图和天象图。当前已经发展出了可视分析学，以应对海量、高维、多源和动态数据的分析挑战。而这也正是数据可视化发展的由来。挑战不仅来源于数据量的巨大、高位、多元源、多态，更重要的是数据获取的动态性、数据内容的噪声和互相矛盾、数据关系的异构与异质性等。
2、其中数据可视化的作用在于视物致知，即从看见物体到获取知识。对于复杂、大尺度的数据，已有的统计分析或数据挖掘方法往往是对数据的简化和抽象，隐藏了数据集真实的结构，而数据可视化则可还原乃至增强数据中的全局结构和具体细节。如果将数据可视化看成艺术创作过程，则数据可视化需要达到真、善、美的均衡，达到有效地挖掘、传播与沟通数据中蕴含的信息、知识与思想，实现设计与功能之间的平衡。从这个意义上说，数据可视化体现出宽物善知的作用。
3、多模态数据是指由多种模式或来源的数据组成的数据。例如，一个三维模
4、在目前的数据可视化技术中，多模态数据图表普遍采用二维屏幕空间进行展示。然而，这种展示方式存在一些局限性，例如无法生动地呈现三维模型的空间结构，以及无法从多个角度观察数据等。为了克服这些问题，研究人员开始尝试将多模态数据图表融入到三维空间场景中进行展示。例如：公开号cn113079411a的专利申请提供的一种多模态数据同步可视化系统，在采集脑电信号时，同步录制的诱发视频和受试者面部表情视频叠加在脑电图的波形下面，并且将记录的眼睛注视位置在录制的呈现诱发图像屏幕的视频上进行标注，以固定大小的圆的方式进行显示，让实验人员达到仅仅通过观察更易于注意的标注形状和视频图像信息，就可以侦测到受试者眼动情况以及受试者当前对应的状态；公开号为cn108710628a的专利申请提供的一种基于草图交互的面向多模态数据的可视分析方法，将原始数据集分为多种可视化数据结构，进行可视化数据结构与可视形态的匹配；根据原始数据集到可视化数据结构到可视形态的映射关系，将原始数据集分解为具有关联的多个信息侧面，每个信息侧面通过一种可视形态呈现于一个视图中，并结合用户选择的布局信息，生成多视角关联视图；识别用户根据目标分析需求在多视角关联视图进行草图圈选操作时绘制的草图符号，进而分析由草图符号组成的草图手势的含义，根据草图手势的含义生成新的视图。
5、现有的将多模态数据图表融入到三维空间场景中的展示方法，往往需要手动调整图表的位置和方向，这样操作繁琐且难以确保图表位置和方向始终处于最佳状态。另外，当图表数量较多时，可能会出现图表之间的遮挡问题。同时，当观察视角发生变化时，图表的方向可能需要手动调整以适应新的视角，这无疑增加了操作的复杂性。现有的方法通常只关注二维屏幕空间的展示或者三维空间场景的展示，缺乏足够的交互性和实用性。
6、因此，探索一种能实现多模态数据图表在二维屏幕空间与三维空间场景中自动交互切换的方法，以及解决图表位置遮挡、视角转换不自然等问题，已经成为当前数据可视化技术亟待解决的重要挑战。
技术实现思路
1、本专利技术的目的是，提供一种基于二三维空间实时交互无缝切换的多模态数据图表可视化方法，在二维屏幕空间展示的二维多模态数据图表，在三维立体空间以布告板形式展示的数据图表，即将二维屏幕空间图表理解成贴在三维空间某固定平面特定位置上的图表，以及基于此图表形式的二维屏幕空间和三维立体空间图表实时交互无缝切换的多模态数据图表可视化方法。
2、本专利技术提出了一种基于双向实时交互的二三维空间多模态数据图表可视化方法，使得用户能够在二维屏幕空间和三维空间场景之间实现图表的实时切换和展示。该方法适用于多模态数据图表，例如形状、颜色、纹理等多种数据属性，提高了数据分析的维度和效率。本专利技术采用以下技术方案：
3、一种基于二三维空间实时交互无缝切换的多模态数据图表可视化方法，在二维屏幕空间展示的二维多模态数据图表，在三维立体空间以布告板形式展示的数据图表，即将二维屏幕空间图表理解成贴在三维空间某固定平面特定位置上的图表，以及基于此图表形式的二维屏幕空间和三维立体空间图表实时交互无缝切换的多模态数据图表可视化方法；
4、在实时交互过程中，针对二维屏幕空间图表切换到三维空间的可视化展示和三维空间图表切换到二维屏幕空间的可视化展示，执行s1～s6步骤：
5、s1、在实时交互过程中，获得多模态数据图表，通过和用户进行实时交互，选择图表的展示形式，并且根据指定的展示形式，选择相应的二三维空间实时交互无缝切换方式；
6、s2、获取图表的当前位置以及目标图表放置位置，首先获取当前正在展示的图表的三维空间中起始位置并且记录，随后获取目标图表的放置位置并且记录，获取目标图表的放置位置的方法包括，根据目标图表所处的二维或三维空间特性，计算目标图表在相应空间中可能放置的位置，计算出目标图表可能放置的位置后，确定图表位置的包围盒是否与其他图表包围盒相交而相互遮挡，自动调整位置和图表朝向，规避遮挡；
7、s3、收集并整合多模态数据，根据多模态数据的特点和可视化需求，选择合适的图表类型来展示数据，调用渲染引擎，绘制动态多模态数据图表到gpu纹理数据中，根据数据的变化，实时更新gpu纹理中的像素数据；
8、s4、根据步骤s2中获取到的图表的起始位置以及目标图表放置位置，计算出从图表当前位置，到图表最终放置的目标位置之间的平移与旋转动态插值路径，使用多种有效的插值方法来计算路径，以实现平滑、自然的切换过程；
9、s5、在多模态数据图表切换过程中，基于实时更新的gpu纹理数据，以及动态路径插值数据，在三维空间中绘制出动态多模态数据图表；
10、s6、到达多模态数据图表目标位置后，图表位置静止，图表内容依然动态刷新。
11、在采用上述技术方案的基础上，本专利技术还可采用以下进一步的技术方案，或对这些进一步的技术方案组合使用：
12、所述步骤s2中获取图表的起始位置以及目标图表放置位置，首先获取当前正在展示的图表的起始位置并且记录，随后获取目标图表的放置位置，获取目标图表的放置位置的方法包括，根据目标图表所处的二维或三维空间特性，计算目标图表在相应空本文档来自技高网...
【技术保护点】
1.一种多模态数据图表可视化方法，其特征在于，包括步骤：
2.根据权利要求1所述的多模态数据图表可视化方法，其特征在于，所述步骤S2中获取图表的当前位置，通过实时交互中，用户选中的图表的所处空间特性及图表在当前空间中的位置，生成图表的当前三维空间位置并记录。
3.根据权利要求2所述的多模态数据图表可视化方法，其特征在于，所述步骤S2包括以下具体步骤：
4.根据权利要求3所述的多模态数据图表可视化方法，其特征在于，所述步骤S2.2.3使用模拟退火算法来进行遮挡调整包括以下步骤：
5.根据权利要求3所述的多模态数据图表可视化方法，其特征在于，所述步骤S2.2.4根据三维空间中视角的转换自动进行图表目标放置的朝向的变化，包括以下步骤：
6.根据权利要求1所述的多模态数据图表可视化方法，其特征在于，所述步骤S3具体包括：
7.根据权利要求1所述的多模态数据图表可视化方法，其特征在于，所述步骤S4中使用多种样条曲线插值方法来计算路径，具体包括：
8.根据权利要求1所述的多模态数据图表可视化方法，其特征在于，
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至8任一项所述的多模态数据图表可视化方法的步骤。
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至8任一项所述的多模态数据图表可视化方法的步骤。
...【技术特征摘要】
1.一种多模态数据图表可视化方法，其特征在于，包括步骤：
2.根据权利要求1所述的多模态数据图表可视化方法，其特征在于，所述步骤s2中获取图表的当前位置，通过实时交互中，用户选中的图表的所处空间特性及图表在当前空间中的位置，生成图表的当前三维空间位置并记录。
3.根据权利要求2所述的多模态数据图表可视化方法，其特征在于，所述步骤s2包括以下具体步骤：
4.根据权利要求3所述的多模态数据图表可视化方法，其特征在于，所述步骤s2.2.3使用模拟退火算法来进行遮挡调整包括以下步骤：
5.根据权利要求3所述的多模态数据图表可视化方法，其特征在于，所述步骤s2.2.4根据三维空间中视角的转换自动进行图表目标放置的朝向的变化，包括以下步骤：
<...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。