【技术实现步骤摘要】
本专利技术属于施工日志，具体而言，涉及一种基于语言大模型的施工日志生成方法、介质及系统。
技术介绍
1、施工日志是记录建筑施工过程中各种重要信息的文档,通常包括当日施工区域的具体工作内容、进度情况、施工人员、天气条件等内容。施工日志为项目管理人员提供了宝贵的信息支持,可用于追溯施工历程、分析问题根源、优化施工计划等。因此,如何高效、准确地生成施工日志一直是业界关注的重点问题。
2、目前,施工日志的生成主要依赖于现场施工人员的手工记录。他们需要根据当日的施工情况,撰写文字描述并附上相关图片,记录整个施工过程。这种人工编写的方式虽然能够全面反映施工现场的实际进展情况,但存在诸多问题:
3、1)记录效率低下:施工人员需要花费大量时间和精力才能完成日志的撰写,影响了施工的进度和效率。尤其对于大型复杂工程来说,每天积累的日志信息非常庞大,对于管理人员的审阅和整理也造成了沉重的负担。
4、2)记录内容质量不稳定:不同施工人员的记录习惯、表达能力存在较大差异,导致日志内容的一致性和完整性难以保证。有时记录会过于简单笼统,或者过于繁琐啰嗦,难以满足管理人员的信息需求。
技术实现思路
1、有鉴于此，本专利技术提供一种基于语言大模型的施工日志生成方法、介质及系统，能够解决现有的建筑施工日志主要依赖现场施工人员手工记录，存在效率低下和内容质量由于不同施工人员的记录习惯、表达能力存在较大差异,导致日志内容的一致性和完整性难以保证的技术问题。
2、本专利技术是
3、本专利技术的第一方面提供一种基于语言大模型的施工日志生成方法，特征在于，包括以下步骤：
4、s10、获取施工人员提供的当前日的多个施工区域的施工进度，所述施工进度包括施工进度文本及对应的施工开始图像、施工结束图像；
5、s20、采用基于自注意力机制的transformer模型，对所述施工进度文本进行特征提取，得到语义特征；
6、s30、对所述施工开始图像、施工结束图像进行预处理后，进行对齐操作；
7、s40、将对齐后的施工开始图像、施工结束图像分别进行特征提取，得到施工开始特征矩阵和施工结束特征矩阵；
8、s50、计算所述施工开始特征矩阵和施工结束特征矩阵的差异矩阵，并将所述差异矩阵输入到预选训练的施工图像进度生成模型，得到施工进度描述矩阵；
9、s60、将所述语义特征和所述施工进度描述矩阵分别输入到transformer编码器中，得到两者的隐藏层表示，并在transformer解码器中利用注意力机制,将两者的隐藏层表示表示进行融合，得到融合矩阵；
10、s70、将所述融合矩阵输入到预选训练的施工日志生成模型，得到施工日志；
11、s80、合并当前日的多个施工区域的施工日志，得到整个项目当前日的施工日志并输出。
12、其中，所述步骤s10获取施工人员提供的当前日的多个施工区域的施工进度的具体实施方式包括:通过人机交互界面或移动应用程序,获取施工人员输入的当天各施工区域的施工进度信息,所述施工进度信息包括施工进度文本描述和对应的施工开始图像及施工结束图像；对输入的施工进度文本描述和图像进行必要的合法性和一致性检查,将收集到的施工进度信息进行格式化和存储。
13、合法性和一致性检查包括：设置文本描述字数下限,检查图像尺寸和格式是否符合要求等。
14、其中，所述步骤s20采用基于自注意力机制的transformer模型对施工进度文本进行特征提取的具体实施方式包括:采用transformer模型作为文本特征提取器,利用自注意力机制在编码器部分对输入的施工进度文本进行特征编码,提取出蕴含文本语义信息的特征向量。
15、进一步的，为增强特征表达能力,可将transformer编码器的输出与词嵌入、命名实体等其他文本特征进行拼接或融合。
16、其中，所述进行对齐操作的方法为几何变换对齐。
17、所述步骤s30对施工开始图像和施工结束图像进行预处理和对齐的具体实施方式包括:对输入的施工开始图像和施工结束图像进行统一的尺寸缩放和格式转换,并根据需要进行亮度、对比度等基本的图像增强处理；采用特征点匹配和变换估计的方法,将施工开始图像和结束图像进行几何变换对齐,使两张图像在空间位置和尺度上保持一致；可设置相似度阈值,只有当两张图像的特征匹配度超过该阈值时,才认为对齐成功,阈值可设为0.7。
18、其中，所述将对齐后的施工开始图像、施工结束图像分别进行特征提取步骤中，进行特征提取的方法为采用卷积神经网络作为图像特征提取器进行特征提取。
19、所述步骤s40将对齐后的施工开始图像和施工结束图像进行特征提取的具体实施方式包括:采用卷积神经网络作为图像特征提取器,在编码器部分分别输入施工开始图像和施工结束图像,经过一系列卷积、池化等操作,最终得到两个特征矩阵,即施工开始特征矩阵和施工结束特征矩阵；为增强特征提取能力,可采用预训练的cnn模型作为特征提取器的初始化,并在施工图像数据集上进行微调训练。
20、其中，所述差异矩阵中的元素值表示对应位置特征向量的距离或差异程度。
21、所述步骤s50计算施工开始特征矩阵和施工结束特征矩阵的差异矩阵,并将该差异矩阵输入到预训练的施工图像进度生成模型的具体实施方式包括:计算两个特征矩阵之间的差异矩阵,差异矩阵中的元素值表示对应位置特征向量的距离或差异程度；将差异矩阵输入到预先训练好的施工图像进度生成模型,该模型采用卷积神经网络或transformer架构,能够从差异矩阵中提取出反映施工进度变化的视觉特征,生成施工进度描述矩阵。
22、所述步骤s60将语义特征和施工进度描述矩阵输入到transformer编码器,并在transformer解码器中利用注意力机制进行融合的具体实施方式包括:将步骤s20提取的语义特征和步骤s50得到的施工进度描述矩阵分别输入到transformer编码器,经过编码处理得到两者的隐藏层表示；在transformer解码器部分,采用注意力机制将语义特征和进度描述矩阵的隐藏层表示进行融合,生成蕴含文本语义和视觉进度信息的融合矩阵。
23、其中，所述施工图像进度生成模型的训练步骤包括:收集大量施工现场的图像序列数据集,每个序列包含施工开始和结束的图像以及对应的进度描述标注；采用卷积神经网络或transformer等架构构建进度生成模型,在该数据集上进行端到端监督学习训练,学习从图像差异到进度描述之间的映射关系。
24、进一步的，为提高模型泛化能力,可采用数据增强、迁移学习等技术,并利用相关领域的预训练模型参数进行初始化。所述的收集大量施工现场的图像序列数据集，一般取100组以上。
25、其中，所述施工日志生成模型的训练步骤包括:收集大量实际施工现场的施工日志文本数据集,每条日志文本都有丰富的施工进度信息；采用基于transforme本文档来自技高网...
【技术保护点】
1.一种基于语言大模型的施工日志生成方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于语言大模型的施工日志生成方法，其特征在于，所述步骤S10获取施工人员提供的当前日的多个施工区域的施工进度的具体实施方式包括:通过人机交互界面或移动应用程序,获取施工人员输入的当天各施工区域的施工进度信息,所述施工进度信息包括施工进度文本描述和对应的施工开始图像及施工结束图像；对输入的施工进度文本描述和图像进行必要的合法性和一致性检查,将收集到的施工进度信息进行格式化和存储。
3.根据权利要求1所述的一种基于语言大模型的施工日志生成方法，其特征在于，所述步骤S20采用基于自注意力机制的Transformer模型对施工进度文本进行特征提取的具体实施方式包括:采用Transformer模型作为文本特征提取器,利用自注意力机制在编码器部分对输入的施工进度文本进行特征编码,提取出蕴含文本语义信息的特征向量。
4.根据权利要求1所述的一种基于语言大模型的施工日志生成方法，其特征在于，所述进行对齐操作的方法为几何变换对齐。
5.根据权利要求1所述
6.根据权利要求1所述的一种基于语言大模型的施工日志生成方法，其特征在于，所述差异矩阵中的元素值表示对应位置特征向量的距离或差异程度。
7.根据权利要求1所述的一种基于语言大模型的施工日志生成方法，其特征在于，所述施工图像进度生成模型的训练步骤包括:收集大量施工现场的图像序列数据集,每个序列包含施工开始和结束的图像以及对应的进度描述标注；采用卷积神经网络或Transformer等架构构建进度生成模型,在该数据集上进行端到端监督学习训练,学习从图像差异到进度描述之间的映射关系。
8.根据权利要求1所述的一种基于语言大模型的施工日志生成方法，其特征在于，所述施工日志生成模型的训练步骤包括:收集大量实际施工现场的施工日志文本数据集,每条日志文本都有丰富的施工进度信息；采用基于Transformer的语言生成模型作为日志生成器,在该数据集上进行端到端监督学习训练,学习从多模态进度特征到自然语言日志的转换规律。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有程序指令，所述程序指令运行时，用于执行权利要求1-8任一项所述的一种基于语言大模型的施工日志生成方法。
10.一种基于语言大模型的施工日志生成系统，其特征在于，包含权利要求9所述的计算机可读存储介质。
...【技术特征摘要】
1.一种基于语言大模型的施工日志生成方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于语言大模型的施工日志生成方法，其特征在于，所述步骤s10获取施工人员提供的当前日的多个施工区域的施工进度的具体实施方式包括:通过人机交互界面或移动应用程序,获取施工人员输入的当天各施工区域的施工进度信息,所述施工进度信息包括施工进度文本描述和对应的施工开始图像及施工结束图像；对输入的施工进度文本描述和图像进行必要的合法性和一致性检查,将收集到的施工进度信息进行格式化和存储。
3.根据权利要求1所述的一种基于语言大模型的施工日志生成方法，其特征在于，所述步骤s20采用基于自注意力机制的transformer模型对施工进度文本进行特征提取的具体实施方式包括:采用transformer模型作为文本特征提取器,利用自注意力机制在编码器部分对输入的施工进度文本进行特征编码,提取出蕴含文本语义信息的特征向量。
4.根据权利要求1所述的一种基于语言大模型的施工日志生成方法，其特征在于，所述进行对齐操作的方法为几何变换对齐。
5.根据权利要求1所述的一种基于语言大模型的施工日志生成方法，其特征在于，所述将对齐后的施工开始图像、施工结束图像分别进行特征提取步骤中，进行特征提取的方法为采用卷积神经网络作为图像特征提取...
【专利技术属性】
技术研发人员：马伟伟，李保成，高鑫，孙皓，
申请(专利权)人：中建八局发展建设有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。