>> 您的位置:首页 > 技术与创新 > 云计算 > 正文
智能视频分析技术的最新发展与应用
2013/12/10 16:44:00      来源:中国安防    作者:李鹏飞 孙苗苗 高磊 赵炫
随着各国政府在社会公共安全领域投入的加大,以及人类对自身安全和公共安全意识的提高,智能视频分析技术得到了迅速的发展。本文对智能视频分析技术进行了全面的论述,分析了其产生的背景、目前的研究及应用现状,并对智能视频分析技术的发展趋势进行了预测。

智能视频分析技术的最新发展与应用

文/李鹏飞  孙苗苗  高磊  赵炫     公安部第一研究所

【摘要】随着各国政府在社会公共安全领域投入的加大,以及人类对自身安全和公共安全意识的提高,智能视频分析技术得到了迅速的发展。本文对智能视频分析技术进行了全面的论述,分析了其产生的背景、目前的研究及应用现状,并对智能视频分析技术的发展趋势进行了预测。

【关键词】视频监控系统  智能视频分析  目标跟踪  流量统计  密度检测  异常事件检测  视频浓缩

一、智能视频分析技术产生的背景

近年来,随着恐怖主义威胁的加剧,人类对于自身安全和公共安全意识得到显著的提高。作为一种有效的安防产品,视频监控系统得到很广泛的应用。在机场、银行、公共交通、繁忙的市中心,甚至一些私人的住所,越来越多的视频监控系统被安装,产生了海量的视频信息,大量需要肉眼观看处理的视频信息使得监控对于安保人员来说成为一项单调乏味的工作。而且,由于大部分时间内视频流的内容都是正常的,这样使得安保人员很容易疏忽,从而漏过可疑目标或异常事件。

为此,新一代的智能视频监控技术得到了世界各国政府和学者的密切关注。智能视频监控借助计算机强大的数据处理功能,对视频画面海量数据进行高速分析,将其中的无用信息过滤掉,自动分析、抽取画面中有价值的关键信息。通过智能视频分析可以防范于未然,而非仅仅在事后对录像进行查证,还可以减少由于人员疏忽或离开错过重要监控事件的情况,避免产生严重的安全事故。如果将监控摄像机看作人的眼睛,那么智能视频分析系统就可以看作是人的大脑,由此视频监控系统实现从目视解释向自动解释的转变,这是智能视频监控系统与普通监控系统的最大区别,也是视频监控技术发展的必然。

二、智能视频分析技术研究现状

智能视频分析技术源于计算机视觉技术,融合了图像处理技术、模式识别技术、计算机图形学等多项技术,其发展目标在于在监控图像与图像描述之间建立一种映射关系。智能视频分析技术在经济、军事等方面具有广泛的应用前景和潜在的经济价值,受到学术界、产业界和管理部门的高度重视,美、英等发达国家投入了巨大的人力和财力开展了相关项目的研究。

1997年,美国国防高级研究项目署(DARPA)资助卡内基梅隆大学、MIT、SARNOFF研究中心等著名大学和公司合作,进行了视频监控项目VSAM的研发。其目标主要是研究用于对战场及普通民用场景进行监控的自动视频理解技术,用于实现对未来战争中人力监控费用昂贵、非常危险或者人力无法实现等场合的监控。

AVS是1998年至2002年间受DARPA支持的重要项目,主要研究如何准确实时地分析和登记检测到的静止物体或运动物体的相关信息,以及如何实现对多目标的同时监控和不同物理空间的事件监控等。

1999年欧盟IST的Framework 5程序委员会设立重大项目ADVISOR,旨在开发一个系统来有效地管理公共交通系统,从而缓解城市压力,它覆盖了人群和个人的行为模式分析、人机交互等研究。

HID计划是DARPA在2000年资助的又一重大项目,它的任务就是开发多模式的监控技术来实现远距离情况下对人的检测、分类和识别,从而增强对边防和民用等场合的保护能力。

CAVIAR项目也是由欧盟IST资助的项目,从2002年10月1日持续到2005年9月30日。其主要目的在于解决城市中心监控和商场的应用。它分析检测城市中心监控中一些不寻常的事件,如人的奔跑、聚集、静止等,然后可以通过报警通知安全中心的工作人员。而在商场,则分析潜在客户的行为,帮助商场对其布局做一个评估,并对其进行调整,以吸引更多的顾客。

美国的VACE项目开始于2000年,在VACE的第一阶段和第二阶段(2000~2006年),项目主要关注人脸、手、人、车以及文本等运动目标的自动检测和跟踪等算法的研究;在VACE的第二阶段中(2002~2006年),南佛罗里达大学(USF)和美国国家标准和技术协会(NIST)协作进行了算法性能评估方面的工作;2006年进入第三个阶段,开始更多地关注算法处理的准确度、速度等方面的问题。

日本也开展了用于公共区域及智能小区的视觉监控的计划CDVP等。我国在十一五、十二五期间也资助了一系列的智能视频监控研发项目,如由公安部组织正在进行的国家十二五科技支撑计划项目“基于视频及公共动态信息的智能研判技术研究及应用示范”,智能视频分析技术就是其核心研究内容之一。

除了受各国政府资助的智能视频监控项目研发,国外有很多知名的公司也对智能视频分析技术进行了研究,并开发了相应的产品。

美国ObjectVideo拥有多项算法和应用专利,主要提供底层算法和管理软件的OEM,一般不面向直接用户。加拿大Verint拥有智能视频监控全系列产品,之前使用自己研发的算法,后来主要应用OV的算法。美国Cernium主要为机场和重要通道提供人群分析系统。以色列NICE的系统被广泛应用在青藏铁路、京津高铁、北京地铁以及西安地铁。该公司早期使用别人算法,现在主要使用自己的算法。以色列Mate的产品主要侧重于三重防护,比如周界防护、目标设施监控、门禁控制管理等,案例有海关周界、海岸线监控、鸟巢监控等。以色列Ioimage的智能视频分析产品被应用在DHL、BMW、以色列大学等,该公司已被美国的DVTel公司收购。澳大利亚iomniscient的产品主要分为三类:事件检测、人像/车牌搜索识别、图像智能捕捉。加拿大aimetis是一家视频管理系统和分析系统的软件公司,主要提供基于PC的视频分析软件。加拿大March主要提供基于软件的人像识别和车辆测速产品。美国Vigilant Video是专注于算法的软件提供商,提供基于PC的视频分析系统。

国内方面,中盾、智安邦、文安等公司也在智能视频分析技术研发方面投入了很大的研发力量,研制了一批具有自主知识产权的智能视频分析产品。

三、智能视频分析技术应用现状

近些年来,在智能视频分析系统的市场需求急剧增长的刺激下,市场上涌现了大量的智能视频分析产品,该产品在商业、公共安全和军事应用领域中的应用越来越多。根据作者对市场的分析及调研,目前智能视频分析产品的主要应用范围包括重点区域的人员监控、重要车辆监控以及重要物品的监控等,下面将进行具体的介绍。

1. PTZ目标跟踪

即使用带坐标定位功能的快球摄像机对监控区域内的特定移动目标进行跟踪监控,确保跟踪目标持续以放大画面出现在镜头中央。PTZ目标跟踪的应用可有效弥补定摄像机监控视野窄的缺点,是安全监控系统中比较基本的应用。PTZ目标跟踪的核心技术在于运动目标检测及跟踪技术,该技术也是绝大多数智能视频分析的基础。因此,在场景复杂、目标遮挡严重的情况下,PTZ目标跟踪难度会很大。

2. 目标移动范围监测

在运动目标检测及跟踪的基础上,根据目标的运动轨迹及运动方向判断其移动范围是否在用户设定的合理范围内,具体应用包括绊线检测和入侵检测。绊线检测即在摄像机监视的场景范围内,根据监控需要和目的设置检测线,并制定穿越检测线的非法方向。当有移动目标按照禁止穿越方向穿越用户设定的检测线时进行告警。入侵检测即在监控场景视频中设定检测区域,对目标进入、离开或突然出现在该区域的事件进行检测并及时告警。目标移动范围监测是应用最广的智能视频分析功能之一,适合于军事禁区、监狱、看守所、重要物资仓库、银行、博物馆等需要对可疑目标重点防范的场所。这项技术目前已经相对成熟,在实际应用中取得了较好的效果。

3. 目标逆行检测

在监控场景中设定检测区域及正常运动方向,对区域内目标不按正常方向运动的事件进行检测。该技术可应用于道路交通监控中,对违章逆向行驶的车辆进行监测告警;也可应用于城市治安监控中,对与规定方向反向运动的人进行监测报警。

4. 徘徊检测

在视频中设定检测区域,对同一目标在该区域内运动超过一定时间的事件进行检测。可用于银行、政府机关、大使馆、文化与宗教聚集地、高安全周界、商业区和住宅区等场所的智能监控,发现可疑目标并及时发出警告,以排除安全隐患。此应用取决于目标跟踪算法的准确程度,在背景复杂、遮挡较严重的场景下效果不够理想。

5. 目标识别

目标识别方面比较成熟的应用是车牌识别,主要应用于治安卡口、十字路口、停车场出入口等场所。近几年,人脸识别技术也被引入到安防监控系统中,应用于银行金库、监狱、看守所、地铁等场所,但其对光照、摄像机架设角度、图像质量等要求较高。

6. 遗留物体检测

遗留物体检测是在视频中设定检测区域,对物体移入该区域且保持静止超过一定时间的事件进行检测。可应用于道路交通监控,对在禁止停车区域中违章停车或者路面上积留液体进行监测;也可用于地铁、车站、码头等公共区域,对危险遗留物进行监测。目前比较成熟的应用有违章停车、ATM机异物检测等,而地铁、车站等公共区域的危险遗留物检测距离实用还有一段距离。

7. 物体移除检测

物体移除检测是在视频中设定检测区域,对物体移出该区域超过一定时间的事件进行检测。可应用于博物馆、工厂、仓库、超市等场所的监控,防止贵重物品的丢失。此应用在光照变化较大的场景下效果不够理想。

8. 流量统计

流量统计是在视频中设定一个或多个检测区域(或检测线),对单位时间内按指定方向进入或离开该区域(或穿越检测线)的目标数量进行统计。流量统计可以应用于博物馆、商场、监狱,对进出人数进行统计;也可应用在交通监控中,对车辆流量进行统计,为智能交通动态调度提供依据。此项应用目前对场景范围大小、人/车密集程度、摄像机的架设角度都有一定的要求。

9. 密度检测

密度检测是在视频中设定检测区域,对该区域内的目标稠密程度或目标数进行估计。可用于广场、政府机关门口、文化与宗教聚集地等场所,观测人群密度或人数的动态变化,结合地点、时间等信息判断是否存在异常聚集情况;也可用于道路交通监控,获取车辆密集程度数据,供交管部门进行调度决策。

10. 视频浓缩

也称之为视频摘要,是近两年来在市场上宣传比较多的智能视频分析功能,其主要目的是对监控视频在时间长度上进行压缩,使得用户能够在很短的时间内浏览完一段很长的视频,而不遗漏其中的关键内容。基于目标运动信息的视频浓缩技术于2006年由以色列的耶路撒冷希伯来大学的一个视觉研究组提出,其主要思想就是将来自不同帧的不同目标体在同一帧里显示,以达到最大程度地在时间域压缩视频。视频浓缩在很大程度上取决于运动目标跟踪效果的好坏。此外,对于目标密集的场景,达不到视频压缩的目的。

除了以上列出的一些智能视频分析技术应用,智能视频分析技术还可以用于打架斗殴、奔跑等人员特殊行为的检测,其应用前景如何尚有待市场检验。

四、智能视频分析技术发展趋势

这些年来,虽然各科研院所、公司在智能视频分析技术研发上投入的力量越来越大,越来越多新的智能视频分析算法被提出,市场上出现的智能产品也越来越多,但不可否认的是,视频分析本身仍然是一个世界性的难题。实际环境中光照变化、目标运动复杂性、遮挡、目标与背景颜色相似、背景杂乱等都会增加视频分析的难度。通过对目前安防监控需求和智能视频分析技术研究及应用现状进行分析,作者认为未来智能视频分析技术存在以下几个发展趋势:

(1)运动目标检测及跟踪处于智能视频监控系统的最底层,为后续的目标行为分析与理解提供可靠的数据来源。目前的目标检测及跟踪技术对光照变化较大、目标遮挡、动态背景干扰等场景进行处理时效果并不理想。因此需对目标检测及跟踪技术继续深入研究,提高算法的鲁棒性,使之能够适应更为复杂和多变的现场环境。此外,目前市面上已有的智能视频分析功能大多集中在对单路摄像头采集的单源视频进行独立分析,缺乏多路多源监控视频的协同分析,因此应对跨摄像机目标跟踪技术进行研究,从而获取目标在大场景内的行踪轨迹,以进行更准确的行为分析。

(2)目标行为分析技术尚处于初级阶段,难以提供真正有用的信息,因此,需继续在此方面开展研究,缩小目标底层特征与高层行为语义之间的鸿沟。此外,对于视频监控的需求,特别是对于智能视频分析技术的应用需求,不同的行业间有着很明显的差异,这决定了不同行业检测行为类型与异常事件的差异性。因此,要深入了解各行业的具体问题,立足行业用户需求,分析定义更多的行为和异常事件,将智能视频分析的技术的功能落实到应用的实处。

(3)目前在安防监控系统中部署高清摄像机已经成为常态,而对高清视频进行智能分析又十分耗费计算资源。此外,目前条件下不可能对所有摄像机进行实时智能视频分析,而是将视频记录下来用作事后的证据,因此在事后取证时需要应用智能视频分析相关算法在大量离线视频数据中检测出可疑目标或者异常事件,这项工作也需要大量的计算资源。基于这些需求,研究提高智能视频分析算法的执行效率成为了未来发展的一个趋势。

(4)随着越来越多智能视频分析产品的上市,判断这些产品实用性的工作开始变得至关重要。目前智能视频分析产品的测试工作主要由各厂家或者算法设计者自己进行,给出的性能指标缺乏说服力。因此,需要研究建立智能视频分析产品性能评价标准及体系,这不仅有助于智能视频分析设备生产厂商进行算法的改进,同时可以帮助智能视频监控系统用户对产品进行选择。

五、结束语

随着安防视频监控系统建设的不断推进,以及各研发机构对智能视频分析技术研究投入力量的加大,智能视频分析技术在近几年得到了很大的发展,市场上出现了各种各样面向不同应用的产品。虽然这些产品目前离用户期望的标准还有一些差距,但随着安防市场对新技术、新产品的需求,智能视频分析技术必将得到更快的发展,以其为核心的智能监控产品也会越来越成熟,应用也会越来越广。

参考文献:

[1] 陈刚,续磊.视频监控图像侦查方法研究[J].中国人民公安大学学报(社会科学版),2012.28(3),120-125.

[2] 王凌志,陈军辉.视频智能分析技术应用研究[J].警察技术,2012(2),66-68.

[3] Collins R., et al. A system for video surveillance and monitoring: VSAM final report. Carnegie Mellon University: Technical Report: CMU-RI-TR-00-12, 2000.

[4] CAVIAR: Context Aware Vision using Image-based Active Recognition.[EB/OL].http://homepages.inf.ed.ac.uk/rbf/CAVIAR/caviar.htm.

[5] ARDA VACE II: ENVIE.[EB/OL]. http://www.informedia.cs.cmu.edu/arda/vaceII.html.

[6] ObjectVideo.[EB/OL].http://www.objectvideo.com.

[7] VERINT.[EB/OL]. http://www.verint.com.cn.

[8] Cernium.[EB/OL].http://www.cernium.com.

[9] NICE.[EB/OL]. http://www.nice.com.

[10] MATE.[EB/OL]. http://www.mateusa.net.

[11] ioimage.[EB/OL].http://www.ioimage.com.

[12] iomniscient.[EB/OL].http://www.iomniscient.com/.

[13] aimetis.[EB/OL]. http://www.aimetis.com/.

[14] MARCH.[EB/OL]. http://www.marchnetworks.com.

[15] Vigilant Video.[EB/OL]. http://www.vigilantvideo.com.

[16] 韩汨鸿, VCS视频图像采集摘要比对器.[J].警察技术,2012(3),62-64.

[17] Rav-Acha A.,Pritch Y.,Peleg S..Make a Long Video Short:Dynamic Video Synopsis[C]. In Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition.2006,V1:435-441.

编辑:
注:本文版权归《中国安防》杂志社和《中国安防》杂志网所有,任何媒体或个人未经书面授权严禁部分或全文转载, 违者将严厉追究法律责任。更多详情请订阅《中国安防》杂志。