【技术实现步骤摘要】
本专利技术涉及一种生成旅游类短视频描述的方法，同时也涉及一种生成旅游类短视频描述的系统，属于视频标注。
技术介绍
1、在移动互联网时代，短视频作为用户生成内容(ugc)的一种形式，已经成为信息交流的重要载体。然而，短视频通常只包含标题和关键字等基本信息，这使得在视频检索和内容浏览方面存在诸多不便。为了满足更精细的搜索需求，基于人工智能(ai)的视频内容标注技术成为解决这一问题的关键发展方向。此外，视频推荐、视频分类、视频标签生成等应用场景也依赖于此类技术。
2、在专利号为zl 202310011629.5的中国专利技术专利中，公开了一种基于互联网的视频融媒体内容分析管理系统。该系统首先利用待选素材视频提取模块自动从融媒体平台获取视频素材，并通过图像处理技术如灰度化和二值化处理，提取关键帧图像集合。随后，备选素材视频内容分析模块对比这些图像与存储库中的标准宣传图像，计算内容信息符合度系数，评估视频内容与城市景点宣传标准信息的一致性。同时，该系统还分析视频的宣传效益参数，如播放量、下载量和转发量，以及城市景点的实际运营效益参数，如人流量和人均消费，以确定视频的宣传价值和景点的热门程度。最终，通过目标城市宣传视频拼接模块，将筛选出的视频素材根据效益评估系数进行排序并拼接，生成既符合城市景点特色又具有吸引力的宣传视频。
3、基于人工智能的视频内容标注技术可以对视频数据进行分类、标记和注释，为机器学习算法提供训练数据。该技术详细描述并精确标记视频中的元素、场景、动作、人物、物体等，以提高视频内容的理解和使用。视频标
技术实现思路
1、本专利技术所要解决的首要技术问题在于提供一种生成旅游类短视频描述的方法。
2、本专利技术所要解决的另一技术问题在于提供一种生成旅游类短视频描述的系统。
3、为实现上述技术目的，本专利技术采用以下的技术方案：
4、根据本专利技术实施例的第一方面，提供一种生成旅游类短视频描述的方法，包括如下步骤：
5、s1：采集用户生成内容的网页信息，所述用户生成内容的网页信息包括旅游景点图片和相关文字；
6、s2：采集短视频，抽取短视频中的图像帧；
7、s3：利用知识图谱，为步骤s1和步骤s2采集到的图片和图像帧生成图文对；
8、s4：生成并训练大语言模型；
9、s5：利用步骤s4中训练好的大语言模型，根据步骤s3中生成的图文对，生成短视频的文本描述。
10、其中较优地，所述步骤s1中，对于每张采集到的图片，采集该图片前后的k句话作为对应的文本，其中k为正整数。
11、其中较优地，所述步骤s3中，包括如下子步骤：
12、使用知识图谱根据采集到的图片解析该图片对应的文本，通过构建依存树，识别所述图片中的命名实体，并提取关键字。
13、其中较优地，所述步骤s3中，还包括如下子步骤：
14、将命名实体识别关键字储存为关系的属性值，并将图文信息封装为图文对。
15、其中较优地，所述图文对包括采集到的图片、该图片对应的文本、图文匹配结果以及该图片对应的文本在段落中的位置。
16、其中较优地，通过如下子步骤计算图文匹配结果：
17、s01：构造采集到的图片的上下文；
18、s02：进行向量拼接；
19、s03：将匹配的图片与采集到的图片对应的文本进行关联。
20、其中较优地，通过如下子步骤进行向量拼接：
21、s021：根据待匹配的图片，采集对应的上下文；
22、s022：识别待匹配的图片的类别和内容，使用待匹配的图片的上下文扩充维度，形成第一向量：[待匹配的图片，待匹配的图片的上下文]；
23、s023：根据采集到的图片和采集到的图片的上下文，形成第二向量：[采集到的图片，采集到的图片的上下文]；
24、s024：设置相似度阈值，并计算第一向量和第二向量的余弦相似度，作为图文匹配结果；
25、若计算得到的相似度大于或等于相似度阈值，则认为图文匹配，保存匹配的图片；若计算得到的相似度小于相似度阈值，则认为图文不匹配，剔除待匹配的图片，结束匹配。
26、其中较优地，所述步骤s4中，通过处理微调样本数据训练所述大语言模型，所述微调样本数据包括图像特征向量、文本描述的词向量和匹配信息编码后的向量。
27、根据本专利技术实施例的第二方面，提供一种生成旅游类短视频描述的系统，包括处理器和存储器；其中，所述存储器与所述处理器耦接，用于存储计算机程序，当该计算机程序被所述处理器执行时，使处理器实现上述方法。
28、与现有技术相比较，本专利技术通过采集用户生成的旅游景点图片和相关文字，以及从短视频中抽取图像帧，利用知识图谱生成图文对，并运用大语言模型如bert进行训练和生成描述，本专利技术能够有效提升旅游类短视频内容的可检索性和可理解性。此外，该方法通过精确的图文匹配技术和细致的上下文分析，生成的描述能够更准确地反映视频内容，从而提高了视频推荐的准确性和用户浏览体验。测试结果表明，本专利技术在旅游类短视频描述生成方面，相较于现有技术，展现出更高的准确度和连贯性，具有显著的技术效果和应用价值。
本文档来自技高网...【技术保护点】
1.一种生成旅游类短视频描述的方法，其特征在于包括如下步骤：
2.如权利要求1所述的方法，其特征在于所述步骤S1中，对于每张采集到的图片，采集该图片前后的K句话作为对应的文本，其中K为正整数。
3.如权利要求2所述的方法，其特征在于所述步骤S3中，包括如下子步骤：
4.如权利要求3所述的方法，其特征在于所述步骤S3中，还包括如下子步骤：
5.如权利要求4所述的方法，其特征在于：
6.如权利要求5所述的方法，其特征在于通过如下子步骤计算图文匹配结果：
7.如权利要求6所述的方法，其特征在于通过如下子步骤进行向量拼接：
8.如权利要求1所述的方法，其特征在于所述步骤S4中，通过处理微调样本数据训练所述大语言模型，所述微调样本数据包括图像特征向量、文本描述的词向量和匹配信息编码后的向量。
9.如权利要求1～8中任意一项所述的方法，其特征在于：
10.一种生成旅游类短视频描述的系统，其特征在于包括处理器和存储器；其中，所述存储器与所述处理器耦接，用于存储计算机程序，当该计算机程序被
...【技术特征摘要】
1.一种生成旅游类短视频描述的方法，其特征在于包括如下步骤：
2.如权利要求1所述的方法，其特征在于所述步骤s1中，对于每张采集到的图片，采集该图片前后的k句话作为对应的文本，其中k为正整数。
3.如权利要求2所述的方法，其特征在于所述步骤s3中，包括如下子步骤：
4.如权利要求3所述的方法，其特征在于所述步骤s3中，还包括如下子步骤：
5.如权利要求4所述的方法，其特征在于：
6.如权利要求5所述的方法，其特征在于通过如下子步骤计算图文匹配结果：
7....
【专利技术属性】
技术研发人员：徐永士，权潇，边彬彬，曲寒冰，
申请(专利权)人：北京市新技术应用研究所有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。