System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种基于异质数据流图的多领域融合执行方法技术_技高网
当前位置: 首页 > 专利查询>之江实验室专利>正文

一种基于异质数据流图的多领域融合执行方法技术

技术编号:44568989 阅读:0 留言:0更新日期:2025-03-11 14:27
本发明专利技术公开了一种基于异质数据流图的多领域融合执行方法,属于计算机系统技术领域。本方法通过将应用程序抽象为指令级数据流图,并通过对指令级、线程级和程序块级数据流节点进行层次化抽象与融合,最终形成一个高效的异质数据流图;定义了异质数据流图抽象机,并详细描述了异质数据流图在硬件层面的分配、存储、调度及执行过程,以实现该模型的高效执行;通过设计具体的映射规则,将异质数据流图精准地映射到异质数据流图抽象机,最后将异质数据流图再映射到具体硬件中。本发明专利技术利用了数据流图天然数据的并发性,成功解决了多领域有效融合的难题。

【技术实现步骤摘要】

本专利技术涉及计算机系统,尤其涉及一种基于异质数据流图的多领域融合执行方法


技术介绍

1、在当今科技迅猛发展的进程中,各领域之间的传统界限正在经历着前所未有的变革,呈现出日益模糊的态势。例如,图计算凭借其对图结构数据(如社交网络关系、生物分子结构等)进行高效处理的能力,而机器学习则在数据挖掘、模式识别等方面展现出强大的功能,二者相互补充、相互渗透,从而催生出图机器学习这一充满活力的新兴领域。

2、图机器学习领域并非孤立发展,它进一步与大模型领域发生融合。大模型以其海量数据处理能力和广泛的适用性为基础,与图机器学习相结合后,衍生出超图模型、大图模型等一系列具有广阔应用前景的领域。这种跨领域的融合现象并非偶然,而是在技术发展到一定阶段后,各领域内在需求和技术互补性共同驱动的必然结果,并且已经成为当下科技发展进程中不可阻挡的强劲趋势。

3、例如,在天文计算领域针对fast(500米口径球面射电望远镜)数据的处理过程中,就鲜明地体现了多领域交叉应用的特点。fast所获取的数据具有海量、复杂、高维度等特性,这就要求在数据处理时必须综合运用多种技术手段。其中,高性能计算提供了强大的计算能力支撑,确保数据能够快速处理;深度学习算法通过构建深度神经网络模型,能够挖掘数据中的隐藏模式和特征;大数据处理技术负责数据的存储、管理和初步筛选,以应对海量数据带来的挑战;图计算则针对数据中的图结构关系(例如天体之间的相互关系等)进行有效分析。这一实例充分表明,在多领域交叉融合的背景下,为了高效处理复杂的实际问题,迫切需要构建高效的加速平台来满足日益增长的需求。这种加速平台应当能够整合多领域的技术优势,打破不同技术之间的壁垒,实现各领域技术的协同工作,从而为解决实际问题提供更为强大、高效的解决方案。

4、在多领域融合这一复杂的进程中,数据流被视作攻克多领域融合难题的一种行之有效的途径。具体来说,各个不同领域所采用的计算模式均能够被统一抽象化为数据流图的形式。从本质上讲,数据流图是一种对计算过程进行抽象描述的模型,它以数据的流动和处理过程为核心,能够清晰地展现数据在系统中的流动路径以及在各个处理节点上的操作情况。借助数据流范式,便能够针对这些被抽象出来的数据流图有条不紊地开展系统性的数据处理工作。这种处理工作涵盖了数据的采集、传输、存储、分析以及最终结果的输出等多个环节,并且能够依据数据流图的结构和特性进行优化,从而提高整个系统的运行效率和数据处理的准确性。

5、常见的数据流图类型包含指令级数据流图、线程级数据流图和程序块级数据流图等。指令级数据流图侧重于从最基本的指令操作层面来描述数据的流动和处理过程,它能够细致地反映出每一条指令对数据的操作以及数据在指令之间的传递关系,对于分析底层的计算逻辑具有重要意义;线程级数据流图则着眼于线程这一并发执行的基本单位,描述了在多线程环境下数据在线程之间的交互和流动情况,这对于研究并行计算中的数据共享和同步问题至关重要;程序块级数据流图主要关注程序中的代码块之间的数据流动,能够从宏观的程序结构角度来展现数据的走向,有助于理解程序的整体逻辑架构。然而,需要注意的是,任何一种单一的数据流图在面对交叉领域的复杂情况时,都难以对其进行全面而有效的表达。

6、例如,在图神经网络计算这一典型的交叉领域计算任务中,它可以明确地分为聚合阶段和结合阶段。在聚合阶段,数据的处理往往涉及到众多细粒度的操作,这些操作之间存在着紧密的指令级别的依赖关系,因此这一阶段更适合运用指令级数据流图进行表达。指令级数据流图能够精确地描述每一个微小操作对数据的影响以及数据在这些操作之间的传递路径,从而准确地呈现出聚合阶段的数据流动和处理模式。而在结合阶段,数据的处理更多地体现为程序块之间的协同工作,各个程序块具有相对独立的功能,并且它们之间的数据交互具有一定的宏观性和结构性,此时使用程序块级数据流图进行表达则更为合适。程序块级数据流图能够从整体上把握各个程序块之间的数据流向,清晰地展示出结合阶段的数据处理逻辑。

7、鉴于单一数据流图在表达交叉领域时的局限性,构建异质数据流图就显得尤为重要。在异质数据流图中,不同的节点被赋予了不同的表现类型,这些不同类型的节点能够各自适应交叉领域中不同的计算场景和数据处理需求,从而巧妙地应对当前领域融合所面临的各种挑战。一些节点可以专门用于处理类似指令级数据流图所擅长的细粒度操作,而另一些节点则可以负责处理程序块级数据流图所对应的宏观数据交互,通过不同类型节点之间的协同工作,异质数据流图能够更加全面、准确地描述领域融合中的复杂计算过程,为解决多领域融合中的数据处理问题提供了一种更为有效的解决方案。


技术实现思路

1、本专利技术的目的在于针对现有技术的不足,提供一种基于异质数据流图的多领域融合执行方法,以解决多领域有效融合的难题。

2、本专利技术的目的是通过以下技术方案来实现的:一种基于异质数据流图的多领域融合执行方法,包括以下步骤:

3、将一个应用程序抽象为指令级数据流图,所述指令级数据流图中的每个节点代表一项指令级数据流节点,连接节点间的边则象征节点之间的数据依赖关系;

4、把所述指令级数据流图中的数据流节点抽象为一种符号;

5、识别所述指令级数据流图中的串行逻辑结构,以定位反映连续操作特性的指令级数据流节点集合,将所述串行逻辑结构提炼成线程级数据流节点,每一线程级数据流节点封装一组相关指令级数据流节点;

6、识别融合了线程级数据流节点的数据流图中具有数据局部性的数据局部性片段,找到数据流图中数据局部性片段对应的指令级数据流节点或者线程级数据流节点,将每一个具有数据局部性片段的指令级数据流节点或者线程级数据流节点抽象为一个程序块级数据流节点;得到异质数据流图;

7、将构建完成的异质数据流图部署到具体硬件进行执行。

8、进一步地,所述将一个应用程序抽象为指令级数据流图具体为:

9、识别应用程序中的顺序结构、选择结构和循环结构,将三种所述结构抽象为指令级数据流图对应的指令级数据流节点,并将应用程序中的运算操作统一抽象为运算操作节点。

10、进一步地,所述将三种所述结构抽象为指令级数据流图对应的指令级数据流节点具体为:

11、所述指令级数据流图包括数据链和布尔链,所述数据链用于在数据弧上传输数据,其记号值为整数、实数、复数或者字符串,所述布尔链用于在控制弧上传输布尔值;

12、所述指令级数据流图包含四种动作节点:操作节点,代表各类运算,数据通过该类节点得到的输出是数据值,包括整数、实数、复数或者字符串;判断节点,数据通过该类节点输出的是布尔值;控制节点,若控制记号为真,则允许输入记号通过,反之则阻止记号通过;合并节点,若控制记号为真,则真值为真的输入通过合并节点,若控制记号为假,则真值为假的输入通过合并节点;

13、对于顺序结构部分,每一条代码语句抽象为一个操作节点;

14、对于选择结构部分,使用判本文档来自技高网...

【技术保护点】

1.一种基于异质数据流图的多领域融合执行方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种基于异质数据流图的多领域融合执行方法,其特征在于,所述将一个应用程序抽象为指令级数据流图具体为:

3.根据权利要求2所述的一种基于异质数据流图的多领域融合执行方法,其特征在于,所述将三种所述结构抽象为指令级数据流图对应的指令级数据流节点具体为:

4.根据权利要求1所述的一种基于异质数据流图的多领域融合执行方法,其特征在于,所述识别所述指令级数据流图中的串行逻辑结构具体为:

5.根据权利要求1所述的一种基于异质数据流图的多领域融合执行方法,其特征在于,所述将每一个具有数据局部性片段的指令级数据流节点或者线程级数据流节点抽象为一个程序块级数据流节点具体为:

6.根据权利要求1所述的一种基于异质数据流图的多领域融合执行方法,其特征在于,所述将构建完成的异质数据流图部署到具体硬件进行执行具体为:

7.根据权利要求6所述的一种基于异质数据流图的多领域融合执行方法,其特征在于,所述对已经构造好的异质数据流图进行子图划分具体为:

8.根据权利要求6所述的一种基于异质数据流图的多领域融合执行方法,其特征在于,所述将划分好的子图映射到异质数据流图抽象机中,异质数据流图与异质数据流图抽象机的映射规则如下:

9.根据权利要求6所述的一种基于异质数据流图的多领域融合执行方法,其特征在于,所述具体硬件选用神威•太湖之光超级计算机,将异质数据流图抽象机和神威•太湖之光超级计算机进行映射,具体为:

10.一种计算机可读存储介质,其上存储有程序,其特征在于,该程序被处理器执行时,用于实现权利要求1-9中任一项所述的一种基于异质数据流图的多领域融合执行方法。

...

【技术特征摘要】

1.一种基于异质数据流图的多领域融合执行方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种基于异质数据流图的多领域融合执行方法,其特征在于,所述将一个应用程序抽象为指令级数据流图具体为:

3.根据权利要求2所述的一种基于异质数据流图的多领域融合执行方法,其特征在于,所述将三种所述结构抽象为指令级数据流图对应的指令级数据流节点具体为:

4.根据权利要求1所述的一种基于异质数据流图的多领域融合执行方法,其特征在于,所述识别所述指令级数据流图中的串行逻辑结构具体为:

5.根据权利要求1所述的一种基于异质数据流图的多领域融合执行方法,其特征在于,所述将每一个具有数据局部性片段的指令级数据流节点或者线程级数据流节点抽象为一个程序块级数据流节点具体为:

6.根据权利要求1所述的一种基于异质数据流图的多领域融合...

【专利技术属性】
技术研发人员:王庆刚刘黄海郑龙黄禹
申请(专利权)人:之江实验室
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1