基于E-V融合的线上-线下联合监控技术
唐诗洋 , 疏学明 , 胡俊 , 吴津津 , 申世飞     
清华大学 工程物理系, 北京 100084
摘要:近期在世界各地发生的群体性事件、恐怖事件等社会安全事件对社会安全管理提出了新的挑战。在警力资源有限的情况下,如何有效处理这类重大突发事件就成为公共安全研究的一个重要课题。针对现存的安全问题,基于线上-线下多源信息联合监控方案,该文提出一种基于E-V融合的信息融合系统,该系统同时采集手机信号数据(E数据)和监控摄像头数据(V数据),并通过数据融合从两方面获取人的位置与身份信息。通过实验室测试,结果表明:该系统能够在少数人情况下完成视频的人物位置信息、手机MAC(media access control)地址、手机接收信号强度(receive signal strength,RSS)信息的融合,完成作为线上信息与线下信息结合点的功能。
关键词数据融合    社会安全    WiFi信号    视频分析    
Online-offline associated surveillance system based on E-V fusion
TANG Shiyang, SHU Xueming, HU Jun, WU Jinjin, SHEN Shifei     
Department of Engineering Physics, Tsinghua University, Beijing 100084, China
Abstract: Recent mass disturbances and terrorist attacks have presented new challenges for public management. Thus, more research is need on how to cope with serous public security incident with limited police forces. An novel online-offline public security incident surveillance system is described here with an E-V information fusion system. The system collects surveillance video data and cellphone data to identify human locations and IDs. Tests show that the system can combine human locations in videos, cellphone MAC addresses and cellphone RSS data in situations with few people by combing online and offline information.
Key words: data fusion     social security     WiFi signal     video analyze    

近年来,各种社会安全突发事件给人们的生活带来了重大变化。2015年发生的11·13巴黎恐怖袭击事件导致超过100人死亡,震惊了国际社会;2017年8月13日,美国弗吉尼亚州发生了群体性暴动,导致该州进入紧急状态。这类重大社会安全事件均对经济与社会造成难以弥补的伤害。

然而,目前尚未有非常完整的社会安全自动监控技术,布控人员进行监控依然是最有效的方法。通过数据技术辅助社会安全管理成为一个研究热点。

在犯罪数据自动分析技术上,美国警务人员率先通过对犯罪地点时间数据进行统计学分析,得出了犯罪热点图等关键信息[1]。国内同类研究包括于红志等[2]通过改进的BP(back-propagation)神经网络进行犯罪预测;王雨晨等[3]通过随机森林算法进行犯罪风险预测;马国富等[4]研究机器学习算法预测服刑人员再犯危险性;刘莹等[5]将文本分类技术应用于犯罪文本分类中。然而上述研究主要通过犯罪预测结果辅助警务人员工作,不具备监控的功能。

针对犯罪行为监测的数据研究有Dhaka等[6]提出的基于对设备的存储信息和通信信息进行网络犯罪的检测;吕林涛等[7]使用径向基函数(radial based function,RBF)神经网络识别金融交易中的洗钱行为;Khan等[8]通过手机通话记录数据获得对象的社会关系网,从而对辅助犯罪调查;还有Weinstein等[9]通过对各种多媒体数据进行内容分析,并根据对象社会网络进行分类,监测恐怖活动;李泽等[10]通过神经网络模型对恐怖组织社会网络的变化进行分类,从而对恐怖事件进行监测与识别。除此之外,美国国家安全局通过对手机通信数据进行分析,通过机器学习方法对其分类从而识别用户是否为恐怖分子[11]

上述研究侧重于模型和算法的研究。在针对重大社会安全事件进行监控时,可能存在无法直接获得网络用户真实信息,重大事件数据量较少等问题。

本研究提出一种同时采集互联网线上信息和摄像头、传感器等线下信息,并与过去案例知识相结合的新类型监控系统。该系统更加侧重于对现场实时信息的采集,可以同时分析线上线下信息,完成对社会安全风险的监控。

1 线上-线下身份信息融合

在对个人行为进行分析和判断之前,首先需要确定所采集的哪些数据属于某个人的行为。通常,身份证、手机号码等个人信息长期稳定不变。但对于有意引发大规模安全事件的人而言,他们可以使用多个经由他人身份信息注册的手机号或者使用不同人的账号在网上进行操作。

2017年6月1日生效的《中华人民共和国网络安全法》要求网络运营者在提供服务时应当要求用户提供真实信息。在具体操作上,由于目前手机号码的实名制登记工作基本完成,网络运营者往往通过手机验证的方法获得用户的真实信息。但如果犯罪分子通过非正规手段获取其他人已登记真实姓名的手机号码或者使用没有实名登记的国外手机号码时,线上操作者的真实身份就难以确定。

由此可知,确定手机号码与实际使用者之间的身份关系就变得非常重要。因此,本文提出一种低成本、消耗极少计算资源的视频-手机身份信息融合方法,可以在特定场所对场所内部人员信息进行身份信息的监测与融合。具体通过采集手机WiFi通信数据与监控摄像头视频数据,完成手机ID与视频中的人的融合。

2 系统概述

身份信息融合系统分为两部分:1)布置在特定公共场所的摄像头以及WiFi上网信息采集系统;2)放置在固定场所的视频数据、WiFi数据、多源数据分析系统。

第1部分中的摄像头和WiFi系统主要布置在机场、银行、医院、政府单位等居民在生活当中必然前往并且很有可能长时间等待的场所。其中的摄像头将拍摄建筑物内部的信息,并通过图像处理技术识别出人的移动,同时也通过人脸识别技术获取人的身份数据。WiFi信息采集系统主要采集建筑内部人员在上网时的访问信息、信号强度信息以及MAC地址。

第2部分的主要功能包括从公共场所的摄像头、WiFi传感器、通信运营商、服务提供商获取在特定公共场所使用网络的用户信息,并通过各类信息,获取网络使用者的真实身份。最终将用户身份、手机MAC地址、手机号码3个信息结合为一个整体,为后续犯罪动态行为分析提供正确的处理数据。

现有的视频信息与无线电信息结合的研究有Teng等[12]人提出的通过使用视频分析信息辅助无线定位,提高无线定位精度;Zhu等[13]提出通过使用定向天线进行无线定位,并使用无线定位数据辅助视频跟踪;Li等[14]提出通过视频分析减少人体对电磁波的阻挡,从而提高无线定位的精度。

上述研究普遍存在的不足之处主要在于:1)视频识别人的时候仅通过其外表识别个体,一个人换衣服后可能导致无法识别为同一个人;2)实验测试时选择较高的空间进行测试,不符合一般楼层高度情况。如果将摄像头按照一般楼层高度设置,基于视频的定位将增加非常大的难度。

3 E-V信息融合流程

本研究通过室内实验验证视频-手机身份信息融合方案的可行性。实验主要验证该方案中的手机数据与视频中人物信息的融合这一关键内容。信息融合系统的工作流程如图 1所示。视频数据与WiFi数据需要分别进行采集和预处理,对预处理的数据进行基于人工神经网络算法的匹配,最终获取WiFi信号强度与视频中的人的位置之间的关系模型。

图 1 系统工作流程图

3.1 视频数据(V数据)采集与预处理

视频数据的采集以及预处理将为最终的神经网络计算提供符合要求的信息。工作步骤如下:

步骤1  实验场地为清华大学刘卿楼1017。于实验室内按照常规监控摄像头高度设置视频录像机。

步骤2  启动录像机并先拍摄计算机上显示的在线标准时间,为后续数据处理提供视频中每一帧的时间。

步骤3  拍摄实验人员在实验中使用手机通过WiFi上网时在实验室内部的移动情况。

步骤4  对视频使用背景差分算法,获取前景移动人物,并计算出前景人物在视频中的中心坐标。同时,排除视频中其他干扰物体的监测结果。

步骤5  补充编写算法,补充实验人员在没有移动时,位置不变的坐标。

步骤6  根据实验前拍摄的标准时间和视频帧率,计算视频中每一帧的现实时间。

步骤7  将视