用于视频分析的计算机化的方法、系统和存储介质技术方案

本发明专利技术涉及一种计算机化的方法，用于提供零配置的对象识别视频分析，该方法包括：生成数据库，数据库存储在计算机存储器中并包括在初始地点集成像的识别出的对象的标识图像，初始地点集包括至少一个地点；使用所述数据库作为训练集来训练模式识别引擎；上传外加地点的图像，外加地点包括不属于所述初始地点集的至少一个外加地点；对上传的图像使用模式识别引擎来为外加地点提供对象识别结果；验证对象识别结果；并且对在每个外加地点生成的图像，使用处理器来操作模式识别引擎，包括根据所述验证并当由所述验证指示时修改模式识别引擎，从而提供在外加地点的零配置的对象识别视频分析。

A computerized method, system, and storage medium for video analysis

\u672c\u53d1\u660e\u6d89\u53ca\u4e00\u79cd\u8ba1\u7b97\u673a\u5316\u7684\u65b9\u6cd5\uff0c\u7528\u4e8e\u63d0\u4f9b\u96f6\u914d\u7f6e\u7684\u5bf9\u8c61\u8bc6\u522b\u89c6\u9891\u5206\u6790\uff0c\u8be5\u65b9\u6cd5\u5305\u62ec\uff1a\u751f\u6210\u6570\u636e\u5e93\uff0c\u6570\u636e\u5e93\u5b58\u50a8\u5728\u8ba1\u7b97\u673a\u5b58\u50a8\u5668\u4e2d\u5e76\u5305\u62ec\u5728\u521d\u59cb\u5730\u70b9\u96c6\u6210\u50cf\u7684\u8bc6\u522b\u51fa\u7684\u5bf9\u8c61\u7684\u6807\u8bc6\u56fe\u50cf\uff0c\u521d\u59cb\u5730\u70b9\u96c6\u5305\u62ec\u81f3\u5c11\u4e00\u4e2a\u5730\u70b9\uff1b\u4f7f\u7528\u6240\u8ff0\u6570\u636e\u5e93\u4f5c\u4e3a\u8bad\u7ec3\u96c6\u6765\u8bad\u7ec3\u6a21\u5f0f\u8bc6\u522b\u5f15\u64ce\uff1b\u4e0a\u4f20\u5916\u52a0\u5730\u70b9\u7684\u56fe\u50cf\uff0c\u5916\u52a0\u5730\u70b9\u5305\u62ec\u4e0d\u5c5e\u4e8e\u6240\u8ff0\u521d\u59cb\u5730\u70b9\u96c6\u7684\u81f3\u5c11\u4e00\u4e2a\u5916\u52a0\u5730\u70b9\uff1b\u5bf9\u4e0a\u4f20\u7684\u56fe\u50cf\u4f7f\u7528\u6a21\u5f0f\u8bc6\u522b\u5f15\u64ce\u6765\u4e3a\u5916\u52a0\u5730\u70b9\u63d0\u4f9b\u5bf9\u8c61\u8bc6\u522b\u7ed3\u679c\uff1b\u9a8c\u8bc1\u5bf9\u8c61\u8bc6\u522b\u7ed3\u679c\uff1b\u5e76\u4e14\u5bf9\u5728\u6bcf\u4e2a\u5916\u52a0\u5730\u70b9\u751f\u6210\u7684\u56fe\u50cf\uff0c\u4f7f\u7528\u5904\u7406\u5668\u6765\u64cd\u4f5c\u6a21\u5f0f\u8bc6\u522b\u5f15\u64ce\uff0c\u5305\u62ec\u6839\u636e\u6240\u8ff0\u9a8c\u8bc1\u5e76\u5f53\u7531\u6240\u8ff0\u9a8c\u8bc1\u6307\u793a\u65f6\u4fee\u6539\u6a21\u5f0f\u8bc6\u522b\u5f15\u64ce\uff0c This provides a zero configuration of object recognition video analysis at an applied location.

【技术实现步骤摘要】
用于视频分析的计算机化的方法、系统和存储介质
本专利技术总体涉及计算机化系统，尤其涉及用于视频分析的计算机化系统。本申请基于申请号为US15/480,709、申请日为2017年04月06日的美国专利申请提出，并要求该美国专利申请的优先权，该美国专利申请的全部内容在此引入本申请作为参考。
技术介绍
在非专利文献1的第3-6页记载有：“为了设定人体尺寸属性，要使人在该区域的底部四处走动，并调节人体尺寸近宽和近高参数使得蓝色框(近人体)的尺寸与黄色检测框相同。点击保存。然后，使人在该区域的顶部四处走动，并调节人体尺寸远宽和远高参数，使得紫色框(远人体)的尺寸与围住他们的黄色检测框相同。点击保存。黄色检测框在适配于最小(远人体)和最大(近人体)边界框之间时将改变为橘黄色。设定人体尺寸宽容度以允许在检测到的人体尺寸中有预期的变动。10％的宽容度将使得近边界框增加10％且远边界框减小10％。宽容度独立于人体尺寸和车辆尺寸而设定。使用适当的车辆重复该相同的练习以确定车辆尺寸参数。最后，设定车辆尺寸宽容度以允许在检测到的车辆尺寸中有预期的变动。10％的宽容度将使得近边界框增加10％且远边界框减小10％。宽容度独立于人体尺寸和车辆尺寸而设定。”属于高氏的专利文献1描述了用于确定相机间关系的方法：“在图2的动作62中，接收相机与一个以上其他相机的关系。处理器响应于来自用户的输入而接收相互关系信息。用户表明相机是否或如何相关。上述关系可以用于视场重叠，用于观察同一位置，或用于基于业务流的连接。例如，一个视场中的出口点/入口点(例如转换点)可导向走廊，而该走廊具有另一相机的视场中的另一端处的出口点/入口点。相机被相关以使得即使视场不重叠，业务也能从一个进度到另一个进度……热点定义了人能进入或离开视野的有效场所(例如，走廊或门)……定义了一个以上的热点。热点为与视频分析关联的位置。在一个例子中，热点为相机视场的进口位置和出口位置。在另一个例子中，热点附加地或备选地是相机更可能能够看到人、汽车牌照或其他区别特征的位置。可以使用取决于所执行的分析类型的其他热点。热点输入到图像上，但备选地可在地图上指定。用户使用绘画工具定义热点……可自动生成一个以上的热点。……可使用跟踪移动对象来自动检测热点。对人们从相机的视场或场景中出现或消失的位置进行检测，例如对脚部位置进行检测。这些事件的密度可表明热点。”说明书中提及的所有出版物和专利文献以及其中所引用的出版物和专利文献的公开内容特此通过参照的方式直接或间接合并于此。未承认这样的出版物和专利文献的对于可专利性的重要性。现有技术的视频分析系统的安装过程典型地包括对视频分析系统的相机进行的所谓的“配置”。例如，专利文献1指出，“熟练的操作者会需要大约八分钟来配置相机，期间操作者可能点击鼠标按键超过100次”。该过程如此费力以至于有时整体上的成本比视频分析系统硬件的总成本还要高。该过程意味着不能指望最终用户自己动手来进行安装，而且甚至对上门服务的技术人员也需要进行广泛地培训以使得他们将变得适当地“熟练”。特别是，待测环境典型地是预先成像的，即特定地用于配置过程，而系统也相应地对于其检测任务预先进行过训练。现有技术文献专利文献1：美国专利第9282296号非专利文献1：FLIR的FC系列安装手册，以如下链接在线可得：Http://flir.com/uploadedfiles/CVS_Americas/Security_-_NEW/Products/FC-Series/FLIR-FC-Series-S-Installation-Manual.pdf
技术实现思路
某些实施例旨在提供一种自配置可视辅助系统。有鉴于如
技术介绍
部分中的例子为代表的实情，即异常苛求的视频分析配置过程使得安装的复杂性对于很多甚至全部潜在的最终用户而言是无法接受的，某些实施例旨在简化视频分析系统的安装。某些实施例旨在提供一种视频分析系统，其特征在于对象识别功能，通过如下动作实现安装时只需少量设置或不需设置：使用第一地点的标记对象来训练语义分段引擎(或对象识别引擎或对象检测器)，在第二地点使用该引擎并改进引擎特别是对第二地点的对象识别功能，典型地使用场外的，典型的手动过程验证引擎的性能，并相应地修改引擎。某些实施例旨在提供改进的用于配置视频分析系统的方法，包括使用图像数据容器来训练模式识别引擎，例如但不限于语义分段、对象检测、对象识别。某些实施例旨在通过对一个以上相机观察到的对象进行辨识，并通过对比由不同相机成像的对象的图像来得出相机之间的空间关系，来提供相机间的共同配置和几何关系的自动识别。某些实施例旨在例如基于上述的自动识别来对环境类型进行分类，且选择并/或配置或参数化适用于所检测到的环境的至少一个视频分析应用。某些实施例旨在提供自配置可视辅助系统，包括视频分析，其操作用于自动配置上述系统，例如识别可疑的或紧急的事情，包括对来自下列来源中的一个、一些或全部的数据进行组合：a.识别图像中的对象/项目，b.对声音的监听，c.分析位置(例如来自无线，或通过GPS)d.从与设备连接的手机APP收集与用户有关的信息，和/或使用标尺对区域进行掩蔽用于将来的视频分析和/或修改标尺，例如通过启动与用户的对话并响应于对话修改至少一个标尺。下列术语可根据其在现有技术文献中的定义或根据说明书中的定义来理解，或作如下理解：卷积神经网络：例如但不限于在2015年Long的《用于语义分割的全卷积网络》中所描述的那些。乔纳森·朗(JonathanLong)*伊万·谢尔哈默(EvanShelhamer)*特雷弗·达雷尔(TrevorDarrell)；CVPR2015。视频分析：意在包括各种各样的视频分析或视频内容分析或视频内容分析(又名VCA，Videocontentanalytics)，包括自动分析视频以检测和/或分类时间和空间事件。视频分析应用：意在包括适于某些使用事例的特定任务或任务集，例如，安全监管应用、相对的有零售店管理应用。视频分析系统：意在包括使用视频相机和可选的其他传感器来调查环境或场景或地点的任何视频系统，并在本地或在云端处理所获取的视频和传感信息，例如为了提取信息和/或检测事件和/或执行任务和/或触发警报。模式识别引擎：意在包括可操作用于所录制图像的语义分割和/或所录制图像中的对象的识别或检测的引擎。功能验证：意在包括对语义分割的图像和/或识别的对象的任何检测和/或跟踪以验证(或者不)每个分段和/或每个识别的对象是如期望的那样使用的，例如通过标识的语义和/或通过如标识的或辨识的关于该分段或对象的先验知识来使用。如果发现对象或分段未如期望的那样表现，可采取如下描述的合适的行动：可改变对象或分段的标识和/或可调准执行对象检测和/或对象识别和/或语义分割的引擎。因此本专利技术典型地包括至少如下实施例：实施例1一种计算机化的方法，用于提供零配置的对象识别视频分析，该方法包括：生成数据库，所述数据库存储在计算机存储器中并包括在初始地点集成像的识别出的对象的标识图像，初始地点集包括至少一个地点；使用所述数据库作为训练集来训练模式识别引擎，例如语义分割引擎；上传外加地点的图像，外加地点包括不属于所述初始地点集的至少一个外加地点；对上传的图像使用语义分割本文档来自技高网...

【技术保护点】
一种计算机化的方法，用于提供零配置的对象识别视频分析，该方法包括：生成数据库，所述数据库存储在计算机存储器中并包括在初始地点集处成像的识别出的对象的标识图像，初始地点集包括至少一个地点；使用所述数据库作为训练集来训练模式识别引擎；上传外加地点的图像，外加地点包括不属于所述初始地点集的至少一个外加地点；针对上传的所述图像，使用模式识别引擎来为外加地点提供对象识别结果；验证所述对象识别结果；以及对在每个所述外加地点生成的图像使用处理器来操作所述模式识别引擎，包括根据所述验证并当由所述验证指示时修改所述模式识别引擎，从而提供在所述外加地点的零配置的对象识别视频分析。

【技术特征摘要】
2017.04.06 US 15/480,7091.一种计算机化的方法，用于提供零配置的对象识别视频分析，该方法包括：生成数据库，所述数据库存储在计算机存储器中并包括在初始地点集处成像的识别出的对象的标识图像，初始地点集包括至少一个地点；使用所述数据库作为训练集来训练模式识别引擎；上传外加地点的图像，外加地点包括不属于所述初始地点集的至少一个外加地点；针对上传的所述图像，使用模式识别引擎来为外加地点提供对象识别结果；验证所述对象识别结果；以及对在每个所述外加地点生成的图像使用处理器来操作所述模式识别引擎，包括根据所述验证并当由所述验证指示时修改所述模式识别引擎，从而提供在所述外加地点的零配置的对象识别视频分析。2.根据权利要求1的方法，其中所述验证是对于外加地点远程执行的。3.根据权利要求1的方法，其中所述验证包括将所述对象识别结果表示给人并接受所述人提供的验证输入。4.根据权利要求3的方法，其中所述接受包括向所述人显示对应于“对象”和“非对象”的2个可选择的选项，并接受所述人对这两个选项之一的选择。5.一种计算机化的系统，用于提供零配置的对象识别视频分析，该系统包括：用户界面，用于接受外加地点的上传图像，外加地点包括不属于所述初始地点集的至少一个外加地点；和处理器，配置为通过对上传的所述图像使用模式识别引擎来为所述外加地点提供对象识别结果；验证所述对象识别结果；对在...

【专利技术属性】
技术研发人员：罗恩·弗瑞丹特尔，伊利亚·布雷瓦兹，
申请(专利权)人：小蚁科技香港有限公司，
类型：发明
国别省市：中国香港,81