System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种利用图像采样和人工智能的花展数字风格化重构系统技术方案_技高网

一种利用图像采样和人工智能的花展数字风格化重构系统技术方案

技术编号:43910445 阅读:3 留言:0更新日期:2025-01-03 13:18
本发明专利技术提供了一种利用图像采样和人工智能的花展数字风格化重构系统,利用图像采样与人工智能技术实现花展现场的数字化重建,系统涵盖图像采样、处理、风格模型、智能生成、交互控制和虚拟导览六大模块,图像采样模块捕获高清图像;图像处理模块优化并提取特征;风格模型模块通过扩散模型和Lora模型组组合算法精确重建风格参数;智能生成模块在利用扩散模型结合参数重绘风格化图像;交互控制模块通过Touchdesigner结合comfyUI组件实现提示词以及参数的交互,实时采样转化反馈,配合触觉和手势反馈提升交互性;虚拟导览模块辅助用户导航,系统通过Poisson重建算法生成光滑表面,确保模型质量,整体设计提升用户体验。

【技术实现步骤摘要】

本专利技术涉及图像处理和虚拟现实领域,更具体地,涉及一种利用图像采样和人工智能的花展数字风格化重构系统


技术介绍

1、在现代科技的推动下,图像处理和人工智能(ai)技术已经取得了显著进展,这些技术在视觉艺术领域的应用逐渐增多,尤其是在花展设计和数字风格化重构方面,花展数字风格化重构系统结合了图像采样、计算机视觉和机器学习等先进技术,以实现对花卉展览的数字化、艺术化再现。

2、现有技术花展重构系统无法满足特定风格化的需求,且自动化程度低导致渲染效率低下。


技术实现思路

1、为了克服现有技术花展重构系统无法满足特定风格化的需求,且自动化程度低导致渲染效率低下,本专利技术一种利用图像采样和人工智能的花展数字风格化重构系统能有效解决上述问题。

2、为解决上述技术问题,本专利技术的技术方案如下:

3、一种利用图像采样和人工智能的花展数字风格化重构系统,图像采样模块、图像处理模块、风格模型模块、生成模块、交互控制模块和虚拟导览模块;

4、所述图像采样模块用于通过图像采集设备获取花展现场的高清图像数据;

5、所述图像处理模块对所述图像采样模块获取的图像数据进行预处理和优化,对图像数据分割和特征提取,提取出对风格化图像生成有用的信息;

6、所述风格模型模块利用所述图像处理模块提供的图像数据,结合自训练数据lora模型,通过comfyui自动化工作流模型组合算法生成花展现场的风格化参数;

7、所述生成模块基于所述风格模型模块生成的图像进行重构,进一步构建完整的风格化重绘;

8、所述交互控制模块用于控制处理用户与风格化描述之间的交互操作,将人工智能生成系统的参数调整,链接外部的感应器;

9、所述虚拟导览模块为用户提供导航和指引服务,帮助用户更好地了解花展现场的布局和特色。

10、优选地,所述图像采样模块包括图像分割子模块、非均匀采样子模块和模块数据序列化子模块;

11、所述图像分割子模块用于将图像数据分割成多个小块或区域;

12、所述非均匀采样子模块根据图像数据中疑似缺陷出现的频率和位置,侧重地进行图像数据采样,在疑似缺陷频次较高的区域会进行更多的采样,而在缺陷频次较低的区域则减少采样;

13、所述模块数据序列化子模块将采样得到的图像块数据进行汇总和序列化,形成序列化数据对。

14、优选地,所述风格模型模块包括风格特征提取子模块、风格库管理子模块、lora子模块和风格参数生成子模块;

15、所述风格特征提取子模块用于从图像处理模块提供的图像数据中进一步提取与风格化相关的特征;

16、所述风格库管理子模块用于管理和维护一个风格库,该库包含多种预定义的风格模板或风格参数;

17、所述lora子模块利用自训练的lora模型对提取的风格特征进行处理;

18、所述风格参数生成子模块结合图像处理模块提取的特征和风格库中的模板,通过comfyui自动化工作流模型组合算法,生成针对当前花展现场图像的风格化参数。

19、优选地,所述lora子模块用于将导出的模型导入stablediffusion,并进行初步集成详细步骤包括:

20、创建数据集项目,收集相关风格图像,标注参数以及提示词,创建一个新的训练模型项目,训练一个风格化迁移模型;

21、导入模型,在comfyui中,创建workflow,首先构建图像导入组、缩放像素统一组,自动化裁切组,结合扩散diffusion大模型,选择自训练训练的lora模型文件,点击generate,根据效果调整参数;

22、调整模型的generate settings,包括权重因子、计算步数和固定提示词,确保模型在stablediffusion中正常读取;

23、添加交互和虚拟现实支持,安装交互支持插件,配置软件协同,在comfyui中测试模型的显示效果和交互功能,根据需要调整模型的参数和模型组设置。

24、优选地,所述生成模块包括风格应用子模块、图像重构子模块和渲染优化子模块;

25、所述风格应用子模块将所述风格模型模块生成的所述风格化参数应用到所述图像处理模块提供的图像数据上,通过调整图像的颜色、纹理和对比度属性,使其符合目标风格特征;

26、所述图像重构子模块在风格应用子模块的基础上,所述图像重构子模块进一步对图像进行整体优化和重构;

27、所述渲染优化子模块用于提高生成图像的质量和渲染效率,对图像渲染过程进行优化。

28、优选地,所述渲染优化子模块使用msaa算法,其详细步骤如下:

29、启用msaa,在渲染管线中开启msaa功能;

30、创建msaa framebuffer,创建一个支持msaa的framebuffer,并为其分配必要的颜色和深度和模板附件;

31、配置采样模式,设置所需的采样模式,确定每个像素的采样点数量:

32、调整视口和scissor矩形,确保视口和scissor矩形考虑了msaa的采样模式,以便正确裁剪渲染输出;

33、进行深度和模板测试,在每个子采样点上执行深度和模板测试,生成覆盖和遮挡信息;

34、执行着色操作,在像素级别执行着色操作,对通过深度和模板测试的子采样点写入颜色值;

35、执行msaa resolve操作,在渲染完成后,将子采样点的颜色值解析为最终像素颜色。

36、优选地,交互控制模块包括提示词模块、生成参数模块、视觉交互模块;

37、所述提示词模块用于调整提示词中的可变提示词,在模型训练中自标注提示词,映射成可供选择的参数,将风格化集中于固定范围内;

38、所述生成参数模块将生成系统的生成参数数据组,链接在物理世界感应器中,使用触觉或手势改变参数,影响生成图像结果;

39、所述视觉交互模块与触觉、手势反馈设备配合,提供物理触感,在生成图像内容基础上叠加互动视觉效果,增强交互的反馈感。

40、与现有技术相比,本专利技术技术方案的有益效果是:本专利技术通过风格特征提取子模块通过从图像处理模块提供的图像数据中进一步提取与风格化相关的特征,确保后续风格化处理的准确性和针对性,风格库管理子模块管理和维护一个包含多种预定义风格模板或风格参数的风格库,这为系统提供了丰富的风格选择基础,lora子模块利用自训练的lora模型对提取的风格特征进行处理,通过深度学习技术,lora模型能够学习并模拟各种复杂的艺术风格,从而满足用户对于特定风格化的需求,风格参数生成子模块结合图像处理模块提取的特征和风格库中的模板,通过comfyui自动化工作流模型组合算法,生成针对当前花展现场图像的风格化参数,这一步骤确保了风格化参数的精确性和个性化,满足了用户对于特定风格化效果的追求,生成模块的精细化处理,风格应用子模块将风格模型模块生成的风格化参本文档来自技高网...

【技术保护点】

1.一种利用图像采样和人工智能的花展数字风格化重构系统,其特征在于,图像采样模块(1)、图像处理模块(2)、风格模型模块(3)、生成模块(4)、交互控制模块(5)和虚拟导览模块(6);

2.根据权利要求1所述的一种利用图像采样和人工智能的花展数字风格化重构系统,其特征在于,所述图像采样模块(1)包括图像分割子模块(11)、非均匀采样子模块(12)和模块数据序列化子模块(13);

3.根据权利要求1所述的一种利用图像采样和人工智能的花展数字风格化重构系统,其特征在于,所述风格模型模块(3)包括风格特征提取子模块(31)、风格库管理子模块(32)、Lora子模块(33)和风格参数生成子模块(34);

4.根据权利要求3所述的一种利用图像采样和人工智能的花展数字风格化重构系统,其特征在于,所述Lora子模块(33)用于将导出的模型导入stablediffusion,并进行初步集成详细步骤包括:

5.根据权利要求1所述的一种利用图像采样和人工智能的花展数字风格化重构系统,其特征在于,所述生成模块(4)包括风格应用子模块(41)、图像重构子模块(42)和渲染优化子模块(43);

6.根据权利要求5所述的一种利用图像采样和人工智能的花展数字风格化重构系统,其特征在于,所述渲染优化子模块(43)使用MSAA算法,其详细步骤如下:

7.根据权利要求1所述的一种利用图像采样和人工智能的花展数字风格化重构系统,其特征在于,交互控制模块(5)包括提示词模块(51)、生成参数模块(52)、视觉交互模块(53);

...

【技术特征摘要】

1.一种利用图像采样和人工智能的花展数字风格化重构系统,其特征在于,图像采样模块(1)、图像处理模块(2)、风格模型模块(3)、生成模块(4)、交互控制模块(5)和虚拟导览模块(6);

2.根据权利要求1所述的一种利用图像采样和人工智能的花展数字风格化重构系统,其特征在于,所述图像采样模块(1)包括图像分割子模块(11)、非均匀采样子模块(12)和模块数据序列化子模块(13);

3.根据权利要求1所述的一种利用图像采样和人工智能的花展数字风格化重构系统,其特征在于,所述风格模型模块(3)包括风格特征提取子模块(31)、风格库管理子模块(32)、lora子模块(33)和风格参数生成子模块(34);

4.根据权利要求3所述的一种利用图像采样和人工智能...

【专利技术属性】
技术研发人员:李维颜哲宇蒋结玲
申请(专利权)人:广州美术学院
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1