【技术实现步骤摘要】
本专利技术涉及天文学与人工智能结合的实时天文瞬变源识别领域，更具体地说，涉及一种多模态模型动态更新的天文瞬变源识别方法。
技术介绍
1、现代天文观测设备的快速发展，特别是大视场高采样率望远镜的广泛应用，使得天文学家能够捕捉到极为短暂且快速变化的天文现象。这些设备每晚产生海量数据流，数据量之大、更新频率之高对天文瞬变源的识别提出了极大挑战。传统的瞬变源识别方法主要依赖单一的图像数据，通常使用卷积神经网络对图像特征进行提取并分类。这类方法仅在小视场、图像特征差异明显的场景中能够取得效果，但在大视场观测环境中存在显著局限性。首先，在大视场观测中，望远镜的视场覆盖范围广泛，图像的不同视场的特征存在差异，特别是不同视场的点扩散函数变化较大，导致图像特征不均匀，进而影响模型的识别准确性。其次，单一图像模态的信息不足以全面描述瞬变源特征，特别是在观测设备性能、天气条件及成像系统等因素影响下，图像中的暗弱目标难以被有效捕捉和识别。此外，随着望远镜拍摄时间的推移，观测条件及天空环境的变化可能导致图像质量的变化，观测模型的适应性和准确性难以保障，导致识别性能下降，在处理具有新特征或复杂背景的观测数据时，观测模型可能出现误判。单一模型无法在新的数据保持良好性能。传统的方法使得模型在面对新数据时无法灵活调整，导致在面对新数据时模型表现受限。
技术实现思路
1、针对现有技术存在的不足，本专利技术的目的在于提供一种多模态模型动态更新的天文瞬变源识别方法，该专利技术通过结合图像数据、点扩散函数与物理信息，并引入
2、为实现上述目的，本专利技术提供了如下技术方案：
3、一种多模态模型动态更新的天文瞬变源识别方法，通过多模态模型接收图像数据、点扩散函数和物理信息，将图像数据提取的特征、点扩散函数提取的特征和物理信息提取的特征拼接后，利用多模态模型的分类层完成分类并通过可视化界面显示分类结果，结合人工审查选取分类错误的样本和可能的瞬变源候选体作为新样本存储到原始训练样本集，利用新样本实现对原始训练样本集的更新；利用设定的阈值对多模态模型进行评估，若多模态模型的查全率或查准率小于阈值时，将新样本集注入原始训练样本集，加载新样本注入前最后一次训练的权重作为预训练权重进行重新训练，直至多模态模型性能达到阈值要求，实现多模态模型的动态更新和优化，提高瞬变源识别的准确性和可靠性，具体包括以下步骤：
4、步骤1.构建原始训练样本集：利用图像相减技术，将观测图像与模板图像相减得到的残差星象作为多模态模型训练负样本；根据望远镜系统成像特性、观测设备性能和大气湍流影响，生成带有仿真星象的模拟图像，利用图像相减技术，将模拟图像与模板图像相减得到的仿真星象作为多模态模型训练正样本；
5、步骤2.构建多模态模型：多模态模型包括图像特征提取、点扩散函数特征提取和物理信息特征提取，将通过图像特征提取、点扩散函数特征提取和物理信息特征提取的三个独立的特征向量在相同的维度上进行特征拼接，形成一个多模态特征向量，传递至全连接层、relu激活函数和sigmod激活函数组成的分类层进行分类，得到分类的概率值；
6、步骤3.分类结果可视化与人工审查：对多模态模型的分类结果进行可视化处理和人工审查，将分类结果存入数据库，通过前端页面展示并与用户进行交互；
7、步骤4.多模态模型动态调整：通过计算多模态模型在验证集上的查全率和查准率评估多模态模型的性能。
8、进一步，卷积神经网络包含四个卷积层，每个卷积层后跟随relu激活函数和dropout层，以增强多模态模型的泛化能力，并在前两个卷积层中使用最大池化层以减少特征图的尺寸，最后将提取到的特征展平为一维向量。
9、进一步，多模态模型使用以resnet50为主干的卷积神经网络进行特征提取，并将卷积神经网络resnet50的最后一个全连接层替换为恒等映射；点扩散函数特征提取部分的输入为观测图像的点扩散函数，通过卷积神经网络提取点扩散函数特征；物理信息通过全连接层和relu激活函数组成的特征提取网络进行特征提取，所提取的特征向量经过逐步扩展的全连接层，将特征映射到更高维度的空间，最终生成高维特征向量。
10、进一步，物理信息通过查询gaia星系探测卫星星表获取，根据待分类目标的天文坐标赤经ra,赤纬dec确定查询中心位置，设定查询区域的半径，在盖亚第三批数据gaiadr3中查询设定半径范围内的天体信息。
11、进一步，人工审查根据可视化结果选取两类样本：第一类是分类错误的样本，通过多模态模型自动对比样本的预测标签和真实标签，标记出分类错误的样本供人工审查；第二类是极有可能是瞬变源的样本，特征包括目标轮廓呈现规则圆形，并且连续出现在多帧图像中，同时结合视星等mag、半高全宽fwhm、续帧出现次数count、置信度confidence，通过人工审查进一步判断是否符合瞬变源特征；并对两类样本进行修正后存储至原始训练样本集以实现原始训练样本集的更新。
12、进一步，阈值设定为97～99％。
13、进一步，步骤4中，多模态模型动态调整方法如下：当多模态模型的查全率或查准率未达到设定阈值或出现下降时，将步骤3中存储的新样本注入到原始训练样本集中，扩展并更新训练样本集，并加载多模态模型在更新样本集前最后一次训练的权重作为预训练权重进行重新训练；训练完成后，重复步骤3的可视化与人工审查流程，并再次进行多模态模型性能评估，持续循环直至多模态模型性能达到要求。
14、综上所述，专利技术具有如下有益效果：
15、本专利技术结合望远镜系统的成像特性、观测设备性能和大气湍流的影响，生成带有仿真星象的模拟图像，利用图像相减技术，将模拟图像与模板图像相减后所得的仿真星象作为原始训练样本集的正样本，仿真星象反映了目标在不同视场中的不同形态以及周围的环境信息。其中，不同形态反映了目标在图像不同位置的不同轮廓信息，周围的环境信息反映了目标与周围其它星或星系的关联性。点扩散函数和物理信息为多模态模型提供更全面的特征信息。
16、本专利技术采用多模态网络架构，实现了物理信息、点扩散函数与图像数据的高效结合，使得多模态分类模型能够更全面地理解天文瞬变源的特征，从而显著提高识别精度。
17、本专利技术引入分类结果可视化和人工审查利用直观的页面使得分类结果可直接被人工识别和验证，从而快速、准确地发现分类错误和潜在的瞬变源候选体，弥补了多模态模型在自动分类中的不足，通过人工审查不断调整原始训练样本集，实现对多模态模型的调整。
18、本专利技术通过多模态模型的动态更新，持续引入新的训练样本并重新训练多模态模型，根据实际观测实时调整多模态模型，确保多模态模型在长期使用中的稳定性和准确性。结合人工审查结果与多模态模型的动态调整，不仅提升了多模态模型的训练效率，还增强了多模本文档来自技高网...
【技术保护点】
1.一种多模态模型动态更新的天文瞬变源识别方法，其特征在于，通过多模态模型接收图像数据、点扩散函数和物理信息，将图像数据提取的特征、点扩散函数提取的特征和物理信息提取的特征拼接后，利用多模态模型的分类层完成分类并通过可视化界面显示分类结果，结合人工审查选取分类错误的样本和可能的瞬变源候选体作为新样本存储到原始训练样本集，利用新样本实现对原始训练样本集的更新；利用设定的阈值对多模态模型进行评估，若多模态模型的查全率或查准率小于阈值时，将新样本集注入原始训练样本集，加载新样本注入前最后一次训练的权重作为预训练权重进行重新训练，直至多模态模型性能达到阈值要求，实现多模态模型的动态更新和优化，提高瞬变源识别的准确性和可靠性，具体包括以下步骤：
2.根据权利要求1所述的多模态模型动态更新的天文瞬变源识别方法，其特征在于，所述卷积神经网络包含四个卷积层，每个卷积层后跟随ReLU激活函数和dropout层，以增强多模态模型的泛化能力，并在前两个卷积层中使用最大池化层以减少特征图的尺寸，最后将提取到的特征展平为一维向量。
3.根据权利要求1所述的多模态模型动态更新的天文瞬
4.根据权利要求3所述的多模态模型动态更新的天文瞬变源识别方法，其特征在于，所述物理信息通过查询Gaia星系探测卫星星表获取，根据待分类目标的天文坐标赤经RA,赤纬Dec确定查询中心位置，设定查询区域的半径，在盖亚第三批数据Gaia DR3中查询设定半径范围内的天体信息。
5.根据权利要求1所述的多模态模型动态更新的天文瞬变源识别方法，其特征在于，所述人工审查根据可视化结果选取两类样本：第一类是分类错误的样本，通过多模态模型自动对比样本的预测标签和真实标签，标记出分类错误的样本供人工审查；第二类是极有可能是瞬变源的样本，特征包括目标轮廓呈现规则圆形，并且连续出现在多帧图像中，同时结合视星等Mag、半高全宽FWHM、续帧出现次数Count、置信度Confidence，通过人工审查进一步判断是否符合瞬变源特征；对两类样本进行修正后存储至原始训练样本集以实现原始训练样本集的更新。
6.根据权利要求1所述的多模态模型动态更新的天文瞬变源识别方法，其特征在于，所述阈值设定为97～99％。
7.根据权利要求1所述的多模态模型动态更新的天文瞬变源识别方法，其特征在于，所述步骤4中，多模态模型动态调整方法如下：当多模态模型的查全率或查准率未达到设定阈值或出现下降时，将步骤3中存储的新样本注入到原始训练样本集中，扩展并更新训练样本集，并加载多模态模型在更新样本集前最后一次训练的权重作为预训练权重进行重新训练；训练完成后，重复步骤3的可视化与人工审查流程，并再次进行多模态模型性能评估，持续循环直至多模态模型性能达到要求。
...【技术特征摘要】
1.一种多模态模型动态更新的天文瞬变源识别方法，其特征在于，通过多模态模型接收图像数据、点扩散函数和物理信息，将图像数据提取的特征、点扩散函数提取的特征和物理信息提取的特征拼接后，利用多模态模型的分类层完成分类并通过可视化界面显示分类结果，结合人工审查选取分类错误的样本和可能的瞬变源候选体作为新样本存储到原始训练样本集，利用新样本实现对原始训练样本集的更新；利用设定的阈值对多模态模型进行评估，若多模态模型的查全率或查准率小于阈值时，将新样本集注入原始训练样本集，加载新样本注入前最后一次训练的权重作为预训练权重进行重新训练，直至多模态模型性能达到阈值要求，实现多模态模型的动态更新和优化，提高瞬变源识别的准确性和可靠性，具体包括以下步骤：
2.根据权利要求1所述的多模态模型动态更新的天文瞬变源识别方法，其特征在于，所述卷积神经网络包含四个卷积层，每个卷积层后跟随relu激活函数和dropout层，以增强多模态模型的泛化能力，并在前两个卷积层中使用最大池化层以减少特征图的尺寸，最后将提取到的特征展平为一维向量。
3.根据权利要求1所述的多模态模型动态更新的天文瞬变源识别方法，其特征在于，所述多模态模型使用以resnet50为主干的卷积神经网络进行特征提取，并将卷积神经网络resnet50的最后一个全连接层替换为恒等映射；点扩散函数特征提取部分的输入为观测图像的点扩散函数，通过卷积神经网络提取点扩散函数特征；物理信息通过全连接层和relu激活函数组成的特征提取网络进行特征提取，所提取的特征向量经过逐步扩展的全连接层，将特征映射到更高维度的空间，最终生...
【专利技术属性】
技术研发人员：贾鹏，李嘉欣，曹亮，田少楠，徐胭艳，周朴，
申请(专利权)人：太原理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。