生成遥感影像的场景图的方法、系统、装置和介质制造方法及图纸

公开了一种用于生成遥感影像的场景图的方法，包括：生成遥感影像中的目标集合；基于遥感领域知识图谱选择多个存在潜在关系的目标对；以及对目标对执行关系预测以生成该遥感影像的场景图。还公开了用于生成遥感影像的场景图的系统、装置和介质。装置和介质。装置和介质。

【技术实现步骤摘要】
生成遥感影像的场景图的方法、系统、装置和介质


[0001]本申请涉及遥感影像，尤其涉及生成遥感影像的场景图的方法、系统、装置和介质。

技术介绍

[0002]目前，遥感影像(又可称为“遥感图像”、“遥感影像图”、“Remote Sensing Image”等)得到了越来越多的应用。对遥感影像进行场景分类有助于更好地对遥感影像进行分析。
[0003]对遥感影像的场景分类、语义分割、目标检测等等操作一般仅能在“感知”的层面理解遥感影像，即从遥感影像中提取地物信息，而缺乏对影像的“认知”，即更深层次地理解地物间的关系。
[0004]因此，需要能够生成遥感影像的场景图的改进方案。

技术实现思路

[0005]本说明书的一个或多个实施例通过以下技术方案来实现其上述目的。
[0006]在一个方面中，提供了一种用于生成遥感影像的场景图的方法，包括：对该遥感影像执行目标检测，以生成目标集合；至少部分地基于遥感领域知识图谱从该目标集合中选择多个存在潜在关系的目标对；以及对该多个存在潜在关系的目标对执行关系预测以生成该遥感影像的场景图。
[0007]优选地，至少部分地基于遥感领域知识图谱从该目标集合中选择多个存在潜在关系的目标对包括：至少部分地基于两个目标的目标类别在该遥感领域知识图谱中是否存在关系来确定是否将所属两个目标选择为存在潜在关系的目标对。
[0008]优选地，将满足以下条件的两个目标选择为存在潜在关系的目标对：两个目标的目标类别在该遥感领域知识图谱中存在关系并且两个目标的目标框之间的中心距离小于阈值距离；或者两个目标的目标框相交。
[0009]优选地，对该多个存在潜在关系的目标对执行关系预测以生成该遥感影像的场景图包括：提取该目标对联合的目标视觉特征、目标框空间特征以及目标类别语义特征。
[0010]优选地，对该多个存在潜在关系的目标对执行关系预测以生成该遥感影像的场景图包括：对该目标视觉特征、目标框空间特征以及目标类别语义特征执行特征融合。
[0011]优选地，该方法进一步包括：利用该遥感领域知识图谱对该关系预测的置信度进行修正。
[0012]优选地，利用该遥感领域知识图谱对该关系预测的置信度进行修正包括：基于存在潜在关系的目标对中的两个目标在该遥感领域知识图谱中的对应关系的统计概率，通过加权求和来对该关系预测的置信度进行修正。
[0013]在另一方面，公开了一种用于生成遥感影像的场景图的系统，包括：用于对该遥感影像执行目标检测，以生成目标集合的装置；用于至少部分地基于遥感领域知识图谱从该目标集合中选择多个存在潜在关系的目标对的装置；以及用于对该多个存在潜在关系的目
标对执行关系预测以生成该遥感影像的场景图的装置。
[0014]优选地，将满足以下条件的两个目标选择为存在潜在关系的目标对：两个目标的目标类别在该遥感领域知识图谱中存在关系并且两个目标的目标框之间的中心距离小于阈值距离；或者两个目标的目标框相交。
[0015]优选地，对该多个存在潜在关系的目标对执行关系预测以生成该遥感影像的场景图包括：提取该目标对联合的目标视觉特征、目标框空间特征以及目标类别语义特征；以及对该目标视觉特征、目标框空间特征以及目标类别语义特征执行特征融合。
[0016]优选地，该系统进一步包括：利用该遥感领域知识图谱对该关系预测的置信度进行修正。
[0017]在又一方面，公开了一种用于生成遥感影像的场景图的方法，包括：对该遥感影像执行目标检测，以生成目标集合；对该目标集合中的目标对执行关系预测；利用该遥感领域知识图谱对该关系预测的置信度进行修正；以及基于经修正的置信度来使用关系预测生成该场景图。
[0018]在又另一方面中，提供了一种用于生成遥感影像的场景图的装置，包括处理器；以及与该处理器耦合的存储器，该存储器存储有处理器可执行指令，该指令在被该处理器执行时使该处理器执行如上所述的方法。
[0019]在又另一方面中，提供了一种非瞬态处理器可读存储介质，包括处理器可执行指令，该指令在被处理器执行时使该处理器执行如上所述的方法。
[0020]与现有技术相比，本说明书的一个或多个实施例能够实现以下技术效果中的一者或多者：
[0021]利用先验知识；
[0022]有助于更深层次地理解地物间的关系；
[0023]提升关系预测的效率；
[0024]提升关系预测的准确度。
附图说明
[0025]以上
技术实现思路
以及下面的具体实施方式在结合附图阅读时会得到更好的理解。需要说明的是，附图仅作为所请求保护的专利技术的示例。在附图中，相同的附图标记代表相同或类似的元素。
[0026]图1示出根据本说明书实施例的用于构建遥感领域知识图谱的示例过程的概括性示意框图。
[0027]图2示出根据本说明书实施例的本体定义的一部分的示例的示意图。
[0028]图3示出根据本说明书实施例的实体类的示例的示意图。
[0029]图4示出根据本说明书实施例的实体的属性的示例的示意图。
[0030]图5示出根据本说明书实施例的关系的示例的示意图。
[0031]图6示出中国的全国农产品地理标志查询系统的一部分的截图。
[0032]图7示出根据本说明书实施例的将遥感影像转换为场景图的示意图。
[0033]图8示出根据本说明书实施例的用于生成遥感影像的场景图的示例方法的流程图。
[0034]图9示出根据本说明书的优选实施例的用于生成遥感影像的场景图的示例过程的工作流程图。
[0035]图10示出根据本说明书实施例的用于生成遥感影像的场景图的示例系统的示意图
[0036]图11示出根据本说明书实施例的用于生成遥感影像的场景图的另一示例方法的流程图。
[0037]图12示出用于实现根据本说明书一个或多个实施例的系统的装置的示意框图。
具体实施方式
[0038]以下具体实施方式的内容足以使任何本领域技术人员了解本说明书的一个或多个实施例的
技术实现思路
并据以实施，且根据本说明书所揭露的说明书、权利要求及附图，本领域技术人员可轻易地理解本说明书的一个或多个实施例相关的目的及优点。
[0039]如上文所述，目前，尚未出现遥感领域知识图谱。在本说明书中，遥感领域知识图谱也可称遥感知识图谱、遥感领域相关知识图谱、遥感领域的知识图谱等，是指与遥感影像相关的领域知识图谱。
[0040]对于例如医学领域、金融领域等领域知识图谱而言，其构建过程通常涉及仅基于文本信息来进行构建。然而，遥感领域是一类特殊的领域，其涉及的是图像，而且是遥感影像这类特殊图像。
[0041]参见图1，其示出了根据本说明书实施例的用于构建遥感领域知识图谱的示例过程100的概括性示意框图。
[0042]如图1所示，用于构建遥感领域知识图谱的过程100可包括数据准备102、本体建模104、实体发现106和关系构建108等操作。优选地，该过程还可包括词本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于生成遥感影像的场景图的方法，包括：对所述遥感影像执行目标检测，以生成目标集合；至少部分地基于遥感领域知识图谱从所述目标集合中选择多个存在潜在关系的目标对；以及对所述多个存在潜在关系的目标对执行关系预测以生成所述遥感影像的场景图。2.如权利要求1所述的方法，其中至少部分地基于遥感领域知识图谱从所述目标集合中选择多个存在潜在关系的目标对包括：至少部分地基于两个目标的目标类别在所述遥感领域知识图谱中是否存在关系来确定是否将所属两个目标选择为存在潜在关系的目标对。3.如权利要求2所述的方法，其中将满足以下条件的两个目标选择为存在潜在关系的目标对：两个目标的目标类别在所述遥感领域知识图谱中存在关系并且两个目标的目标框之间的中心距离小于阈值距离；或者两个目标的目标框相交。4.如权利要求1所述的方法，对所述多个存在潜在关系的目标对执行关系预测以生成所述遥感影像的场景图包括：提取所述目标对联合的目标视觉特征、目标框空间特征以及目标类别语义特征。5.如权利要求4所述的方法，对所述多个存在潜在关系的目标对执行关系预测以生成所述遥感影像的场景图包括：对所述目标视觉特征、目标框空间特征以及目标类别语义特征执行特征融合。6.如权利要求1所述的方法，进一步包括：利用所述遥感领域知识图谱对所述关系预测的置信度进行修正。7.如权利要求6所述的方法，其中利用所述遥感领域知识图谱对所述关系预测的置信度进行修正包括：基于存在潜在关系的目标对中的两个目标在所述遥感领域知识图谱中的对应关系的统计概率，通过加权求和来对所述关系预测的置信度进行修正。8.一种用于生成遥感影像的场景图的系统，包括：用于对所述遥感影像执行目标...

【专利技术属性】
技术研发人员：劳江微，仲力恒，洪炜翔，张营营，王剑，陈景东，褚崴，胡丁相，邹旭苗，何慧梅，方彦明，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：