基于复杂场景的AI产品推理性能评估方法、装置及系统制造方法及图纸

本发明专利技术公开了一种基于复杂场景的AI产品推理性能评估方法、装置及系统，其中该方法包括：基于复杂环境参数可调的数据增强模型对预设数据集中图像进行模拟渲染不同天气场景进行数据增强，获得数据增强后图像；其中，所述预设数据集为VOC数据集或coco数据集；获取视频流，将所述视频流作为训练数据，对AI产品推理性能模型进行训练，获得AI产品推理性能优化模型，利用所述AI产品推理性能优化模型进行机器视觉性能评测，其中，所述视频流为摄像头对数据增强后图像进行采集而生成。本发明专利技术提出参数可控的复杂场景数据增强SDK，根据机器视觉任务生成具有典型特征的训练数据，提升AI模型泛化性能。化性能。化性能。

【技术实现步骤摘要】
基于复杂场景的AI产品推理性能评估方法、装置及系统


[0001]本专利技术涉及人工智能
，尤其涉及基于复杂场景的AI产品推理性能评估方法、装置及系统。

技术介绍

[0002]本部分旨在为权利要求书中陈述的本专利技术实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
[0003]机器视觉是工业智能控制设备的灵魂之窗，从物件/条码辨识、产品检测、外观尺寸量测到自动驾驶等，都是机器视觉技术发挥的舞台。对于机器视觉，会涉及到复杂场景，复杂场景理解指的是车辆根据周围环境来区分车辆所处的场景，如城市繁华地段道路环境，或是行人密集的住宅区和校园，或是高速公路上，再或者是车辆行人较少的村镇道路等等，不同的路段具有不同的环境特点和复杂程度。对于机器视觉性能评测，复杂场景会有很大的影响，未来具有挑战性的天气条件将是影响AI在机器视觉相关任务中推理准确度的关键因素。对于恶劣环境下的AI模型性能评测难点：缺乏可量化环境因素的数据集，复杂环境下的数据标注工作量大，难度高。

技术实现思路

[0004]本专利技术实施例提供一种基于复杂场景的AI产品推理性能评估方法，该方法包括：
[0005]基于复杂环境参数可调的数据增强模型对预设数据集中图像进行模拟渲染不同天气场景进行数据增强，获得数据增强后图像；其中，所述预设数据集为VOC数据集或coco数据集；
[0006]获取视频流，将所述视频流作为训练数据，对AI产品推理性能模型进行训练，获得AI产品推理性能优化模型，利用所述AI产品推理性能优化模型进行机器视觉性能评测，其中，所述视频流为摄像头对数据增强后图像进行采集而生成。
[0007]本专利技术实施例还提供一种基于复杂场景的AI产品推理性能评估装置，该装置包括：
[0008]数据增强模块，用于基于复杂环境参数可调的数据增强模型对预设数据集中图像进行模拟渲染不同天气场景进行数据增强，获得数据增强后图像；其中，所述预设数据集为VOC数据集或coco数据集；
[0009]训练优化模块，用于获取视频流，将所述视频流作为训练数据，对AI产品推理性能模型进行训练，获得AI产品推理性能优化模型，利用所述AI产品推理性能优化模型进行机器视觉性能评测，其中，所述视频流为摄像头对数据增强后图像进行采集而生成。
[0010]本专利技术实施例还提供一种基于复杂场景的AI产品推理性能评估系统，该系统包括：基于复杂场景的AI产品推理性能评估装置和摄像头。
[0011]本专利技术实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于复杂场
景的AI产品推理性能评估方法。
[0012]本专利技术实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述所述基于复杂场景的AI产品推理性能评估方法的步骤。
[0013]本专利技术实施例中，与现有技术中对于恶劣环境下的AI模型性能评测难点：缺乏可量化环境因素的数据集，复杂环境下的数据标注工作量大，难度高的技术方案相比，本专利技术通过基于复杂环境参数可调的数据增强模型对预设数据集中图像进行模拟渲染不同天气场景进行数据增强，获得数据增强后图像；其中，所述预设数据集为VOC数据集或coco数据集；获取视频流，将所述视频流作为训练数据，对AI产品推理性能模型进行训练，获得AI产品推理性能优化模型，利用所述AI产品推理性能优化模型进行机器视觉性能评测，其中，所述视频流为摄像头对数据增强后图像进行采集而生成，本专利技术提出参数可控的复杂场景数据增强SDK，根据机器视觉任务生成具有典型特征的训练数据，提升AI模型泛化性能。
附图说明
[0014]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
[0015]图1为本专利技术实施例中基于复杂场景的AI产品推理性能评估方法流程图一；
[0016]图2为本专利技术实施例中基于复杂场景的AI产品推理性能评估系统示意图；
[0017]图3为本专利技术实施例中基于复杂场景的AI产品推理性能评估方法流程图二；
[0018]图4为本专利技术实施例中基于复杂场景的AI产品推理性能评估方法流程图三；
[0019]图5为本专利技术实施例中基于Unet网络的颜色校正算法的颜色校正示意图；
[0020]图6为本专利技术实施例中基于Unet网络的颜色校正算法的校正结果示意图；
[0021]图7为本专利技术实施例中基于复杂场景的AI产品推理性能评估装置结构框图一；
[0022]图8为本专利技术实施例中基于复杂场景的AI产品推理性能评估装置结构框图二；
[0023]图9为本专利技术实施例中基于复杂场景的AI产品推理性能评估装置结构框图三。
具体实施方式
[0024]为使本专利技术实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本专利技术实施例做进一步详细说明。在此，本专利技术的示意性实施例及其说明用于解释本专利技术，但并不作为对本专利技术的限定。
[0025]本专利技术提出一种基于虚拟现实(VR)技术的视觉数据增强方案。通过VR技术实现参数可量化的天气(雾、雨、雪和不同光照条件等)与场景融合，用于评测AI产品在复杂场景中的性能。
[0026]图1为本专利技术实施例中基于复杂场景的AI产品推理性能评估方法流程图一，如图1所示，该方法包括：
[0027]步骤101：基于复杂环境参数可调的数据增强模型对预设数据集中图像进行模拟渲染不同天气场景进行数据增强，获得数据增强后图像；其中，所述预设数据集为VOC数据集或coco数据集；
[0028]步骤102：获取视频流，将所述视频流作为训练数据，对AI产品推理性能模型进行训练，获得AI产品推理性能优化模型，利用所述AI产品推理性能优化模型进行机器视觉性能评测，其中，所述视频流为摄像头对数据增强后图像进行采集而生成。
[0029]具体的，计算机视觉的一个主要任务是理解视觉场景，要理解视觉场景就要涉及到一系列主要的视觉任务包括对象检测与识别、图像语义描述、场景分割、场景属性与特征描述等。ImageNet与Pascal VOC数据集主要关注图像分类、对象检测与图像语义分割，而COCO(common object in context)主要关注图像场景与实例分割。
[0030]在图像收集阶段，COCO数据集专注可分类，高频次、常见应用场景的图像分类对象收集，对一些不好定位位置信息，比如天空、草地、街道等不做分类收集，对具体的分类图像如dog、person等可能收集的只是其子类或者部分，比如人脸/手/腿可能是人的一部份，牧羊犬可能只是狗的子类。
[0031]具体的，如图2所示，本专利技术研发了参数可控的复杂场景数据增强SDK，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于复杂场景的AI产品推理性能评估方法，其特征在于，包括：基于复杂环境参数可调的数据增强模型对预设数据集中图像进行模拟渲染不同天气场景进行数据增强，获得数据增强后图像；其中，所述预设数据集为VOC数据集或coco数据集；获取视频流，将所述视频流作为训练数据，对AI产品推理性能模型进行训练，获得AI产品推理性能优化模型，利用所述AI产品推理性能优化模型进行机器视觉性能评测，其中，所述视频流为摄像头对数据增强后图像进行采集而生成。2.如权利要求1所述的基于复杂场景的AI产品推理性能评估方法，其特征在于，还包括：对数据增强后图像进行空间配准。3.如权利要求2所述的基于复杂场景的AI产品推理性能评估方法，其特征在于，对数据增强后图像进行空间配准，包括：利用Harris角点检测算法检测数据增强后图像中的关键点；对数据增强后图像中的关键点进行弹性放射变换矩阵计算，得到图像仿射变换矩阵；基于所述图像仿射变换矩阵进行空间配准。4.如权利要求1所述的基于复杂场景的AI产品推理性能评估方法，其特征在于，还包括：对视频流中的图像进行颜色矫正。5.如权利要求4所述的基于复杂场景的AI产品推理性能评估方法，其特征在于，对视频流中的图像进行颜色矫正，包括：基于Unet网络的颜色校正算法，对视频流中的图像进行颜色矫正。6.一种基于...

【专利技术属性】
技术研发人员：李从胜，魏博文，杨蕾，徐旭，李兰飞，巫彤宁，
申请(专利权)人：中国信息通信研究院，
类型：发明
国别省市：