>> 您的位置:首页 > 环球安防 > 案例分享 > 正文
利用波士顿马拉松爆炸案研究无约束条件人脸识别
2014/12/16 9:40:00      来源:《中国安防》    作者:吴建文 钟鑫
    在波士顿马拉松爆炸案的调查过程中,自动人脸识别技术并没有得到很好地利用。为了研究人脸识别技术在实战中到底是否可行,本文使用3款商业人脸识别系统进行研究,通过和低质量的目标脸部图像进行比对,以评估人脸识别技术的成熟度。
  

  【摘要】在波士顿马拉松爆炸案的调查过程中,自动人脸识别技术并没有得到很好地利用。为了研究人脸识别技术在实战中到底是否可行,本文使用3款商业人脸识别系统进行研究,通过和低质量的目标脸部图像进行比对,以评估人脸识别技术的成熟度。实验结果显示,与百万级脸部数据库比对,有1款商业人脸识别系统返回了嫌犯DzhokharTsarnaev的图像。尽管还有诸如姿势、模糊、分辨率等很多问题困扰着人脸识别系统,但对于支持司法机构的调查,人脸识别已取得了重大进步。
  【关键词】人脸识别犯罪调查波士顿爆炸案
  引言
  2013年4月15日下午当地时间两点四十几分,两颗炸弹在波士顿马拉松比赛终点附近爆炸,造成3人死亡、264人受伤,比赛意外终止,警察在爆炸周围划出12块犯罪现场。联邦调查局介入调查,拿到的最重要的原始证据表明:爆炸设备是个装满钉子等物品的压力锅,可能隐藏在黑色的尼龙背包中。
  爆炸发生后不久,超过1000名跨部门的执法人员开始调查,查看政府和公共数据库,采访目击者,审查视频监控资料,警察收到了“海量视频证据”。在查看照片、视频和其他证据之后,联邦调查局发布了两个嫌疑人的相关图像和视频,如图1所示。此外,为寻求帮助,通过新闻媒体发布仅限于伤害群众的嫌疑目标的图像和视频。新闻发布后不久,两名嫌疑人的亲属致电联邦调查局,确认为兄弟两人,姓名是TamerlanTsarnaev和DzhokharTsarnaev。但是发布嫌犯照片的举动激起了两名嫌犯更猛烈的暴力行为,他们射杀麻省理工学院的校警并劫持一辆奔驰SUV车,这些事件促使警方加强了对该兄弟的追捕,最终引发警方与嫌犯的冲突,结果导致TamerlanTsarnaev被击毙,DzhokharTsarnaev受伤并被抓获。
  波士顿马拉松爆炸案调查概要如图2所示,该案例已经被媒体视作自动人脸识别的失败案例,Dzhokhar有马塞诸塞州的驾驶证,而Tamerlan早就是联邦调查局的调查对象。即使Tsarnaevs兄弟的照片早已存在于政府数据库中,人脸识别技术的目的还是落空了。
  为了研究人脸识别技术在实战中到底是否可行,本文研究无约束条件下的人脸识别。我们使用两个嫌犯的图像照片,应用3款最新商业人脸识别系统,将嫌疑照片与一系列背景大头照比对,用以评估无约束条件下人脸识别技术的成熟度。

  图1联邦调查局发布的两个嫌疑犯的照片和视频,嫌疑人TamerlanTsarnaev戴黑帽子,嫌疑人DzhokharTsarnaev戴白帽子

  图2围绕波士顿爆炸案调查的时间线,对人脸识别有88小时的时间窗口
  此前有很多类似波士顿马拉松爆炸案的事件,在这些事件中,成熟的人脸识别技术原本也可以协助司法调查以识别嫌疑人,下面摘取了3个类似的案例:
  2005年7月7日,伦敦公共运输系统内4个炸弹被引爆,造成52人死亡,700多人受伤。司法部门可动用的CCTV镜头超过6000小时,并据此重建爆炸者从实施爆炸前直至进入地铁系统的行动轨迹。但据我们所知,调查人员没有尝试对CCTV视频使用自动人脸识别技术。
  2011年6月15日,温哥华法裔加人队在在斯坦利杯决赛中失利后,温哥华城镇爆发骚乱,导致140人受伤。骚乱联合调查小组收集到大约15000张照片以及近3000多段有关事件的视频。调查小组在网站上发布参与骚乱者的脸部照片,寻求公众帮助指认,大概有1390万照片被浏览,并且有221名嫌疑人因此受到指控,调查小组因担心侵犯隐私而没有采用自动人脸识别技术帮助识别骚乱者。
  2011年8月6日至10日间,在和平抗议警方处置MarkDuggan射击案之后,伦敦爆发骚乱,司法部门公布电视台拍摄到的骚乱者的照片,希望知情者指认嫌疑人。此事件中自动人脸识别技术几乎没有发挥作用。
  一、实验步骤
  我们利用最先进的商用人脸识别软件模拟波士顿马拉松爆炸案人脸识别方案,使用的照片由司法和新闻部门发布,下面介绍如何选择数据对象和识别系统。

  图3是本实验的5个取样图像,都是从图1中截取出来的,注册前不做任何处理。尽管测试的2a和2b出现在最初的图象中,但2b在发布前可能被修改过,这些照片均由司法人员手工抽取。
  图3联邦调查局发布的两个嫌犯的样本图像

  图4不同渠道获取的两嫌犯照片
  1.数据集合
  图4是通过不同渠道收集到的两个嫌疑犯照片,1x是TamerlanTsarnaev在2009年在马塞诸塞州坎布里奇被捕时登记的照片,1y是该嫌犯在2010年马塞诸塞州络威尔新英格兰获得金手套冠军接受纪念品时的照片,1z是该嫌犯2009年在犹他州盐湖城拳击比赛时的照片。图像2x是联邦调查局发布的抓捕前识别出的DzhokharTsarnaev的照片,2y是该嫌犯高中毕业时的照片,2z是波士顿地区情报中心发布的该嫌犯照片。
  6组照片将与皮内拉斯县警长办公室提供的百万人脸照片库进行比对,图5是PCSO人口统计的数据集,图6是一些示例样本。

  图5百万人口库的统计图

  图6百万人脸库照片示例
  2.识别系统
  我们选取两个最先进的商业识别系统——NECNeoFace3.1和CognitecFaceVACS8.6,因为它们在2010年美国国家标准与技术研究所(NIST)举行的基于多生物特征识别测试中表现最优异。相对于160万照片的数据集,NeoFace首位识别率为92%,排第一名;FaceVACS首位识别率为83%,排第三名。NeoFace在偏角、时段、视距、压缩中表现很强的稳定性。同时还选了另一款商用系统PittPatt5.2.2,该识别系统在社区执法中,对于非正面照比对表现优异。本研究中,对比对系统不作限制,自由设置,以达到最佳效果。
  二、人脸比对结果
  下文将对3款识别软件分别进行3次独立测试,以评估其性能。
  1.全库比对(盲搜)
  盲搜就是将样本照片与全库比对,而不使用统计信息。表1是各样本的比对排名,1a和1b手工定位眼睛,以便在FaceVACS系统上注册,但没法在PittPatt上注册,因为它的SDK不允许手工定位眼睛。实验结果是NeoFace比FaceVACS和PittPatt要好,而对于样本2a\2b\2c,PittPatt胜过FaceVACS。

  表1盲搜(全库比对)排名
  从2010的国家标准与技术研究所模型引擎中可以看出:NeoFace和FaceVACS引擎协议不同,FaceVACS在脸部细节有优势,包括疤痕、面部的痣以及一些三级特征。这些能够解释FaceVACS低误识率,但对高压缩图像性能较差。相反,NeoFace对于一、二级特征整体性能较好,因此误识率稍差,而对高压缩图像识别率则较好。下面集中讨论本实验中识别率高的NeoFace系统。
  DzhokharTsarnaev较年轻,识别率要比TamerlanTsarnaev要好。因为脸部被太阳镜挡住了,2b是2a增强版,匹配率较低。对最重要的部分,1y与2y比对结果最差,2c与2y比对结果排第一,其中姿势一致是关键因素。
  图7、8、9分别是NeoFace3.1、FaceVACS8.6和PittPatt5.2.2各自前三的返回结果。戴太阳镜的哥哥比中率显著降低。一般来讲,按人口统计设置过滤条件会提高识别率。

  图7NeoFace3.1盲搜比对前三名

  图8FaceVACS盲搜比对前三名

  图9PittPatt5.2.2盲搜比对前三名
  2.条件过滤比对
  在条件过滤比对中,每个样本都只与符合统计学的照片比对。统计条件如下:嫌疑人1,白人,男性,20~30岁;嫌疑人2,白人,男性,15~25岁。这相当于减小了比对库,分别从100万降到174718和131462。
  表2是每个样本返回的排名,图10、11、12是各样本对于NeoFace3.1、FaceVACS8.6和PittPatt5.2.2各自的前三名返回结果。因为减小了比对库的大小,基于人口统计学过滤大大提高了比对结果。

  表2条件限制比对排名

  图10基于人口统计条件比对的前三名结果

  图11基于人口统计条件比对的前三名结果

  图12基于人口统计条件比对的前三名结果
  3.融合比对
  融合比对中,同一嫌疑人不同样本照片匹配得到分值进行累加,表3展示了设置过滤条件和不设置过滤条件的不同比对结果。一般来说,融合比对对于相似排名的样本能提高速度,对相差较大的样本则会降低性能。

  表3设置和不设置人口统计过滤条件的融合排名
  三、小结
  虽然波士顿马拉松爆炸案仅提供了一小部分发布的脸部照片以供人脸识别,但我们认为实验结果很有价值。并不是所有的商业人脸识别系统一开始都适应无限制条件识别方案。NeoFace和FaceVACS两个系统对于传统的“照片对照片”的识别效果都很好,其中NeoFace的算法展现更好的性能,PittPatt则排在NeoFace和FaceVACS两系统中间,我们希望将这些结果扩展到其他商业系统。
  NeoFace的匹配精度没有达到司法层面上百分之百确定的程度,还有很多待改进的地方,比如克服姿势、分辨率以减少限制条件。同时,通过人口统计条件过滤、多重注册,最先进的商业人脸识别系统还是能支持司法部门及时逮捕嫌疑犯的。DzhokharTsarnaev的图像命中例子就说明了这个能力,然而这是因为样本与Facebook上的毕业照姿势基本相同,这也说明多次注册数据库比对具有潜在的价值。

编辑:侯雨婷
注:本文版权归《中国安防》杂志社和《中国安防》杂志网所有,任何媒体或个人未经书面授权严禁部分或全文转载, 违者将严厉追究法律责任。更多详情请订阅《中国安防》杂志。