2. 国防科技大学 智能科学学院, 长沙 410073;
3. 国防科技大学 系统工程学院, 长沙 410073;
4. 中国人民警察大学 智慧警务学院, 廊坊 065000
2. College of Intelligence Science and Technology, National University of Defense Technology, Changsha 410073, China;
3. College of Systems Engineering, National University of Defense Technology, Changsha 410073, China;
4. School of Intelligence Policing, China People's Police University, Langfang 065000, China
公共安全问题,特别是重大综合灾害,具有规模大、复杂程度高等特点,影响着国计民生,甚至国家重大战略。中国持续关注公共安全科技支撑能力建设,但仍与发达国家存在差距,重大耦合灾害综合防控能力仍然不足。基于多尺度实验、大计算、大数据的高度融合来研发重大综合灾害耦合实验和模拟技术,构建具有高度智能化的情景推演和综合分析平台,是国家公共安全保障的重大需求。目前关于灾害的大数据融合分析和虚实结合动态交互及情景推演技术的研究已经取得了一些成果:1) 在情景推演技术方面,美国国土安全部提出了15种重大突发事件情景[1-2],美国兰德公司开展了战略层面的情景推演研究[3];清华大学牵头完成了情景推演总集成平台的研究[4-5]。2) 在灾害现场信息交互方面,美、日已将机器人用于灾害现场信息获取,国防科技大学、中国科学院沈阳自动化研究所等也开展了相关研究[6-7]。
救援机器人环境适应能力强,能够通过携带的各式传感器进行环境侦查、人员搜索、危险探测,降低了救援人员救灾过程可能受到的伤害[6-7]。但在现有技术条件下,机器智能的发展还处于较低水平,机器人还不足以非常自主地完成复杂环境的搜索任务,因而需要以“人在回路”的方式对机器人进行主动操控,利用人机协同的方式完成复杂任务。机器人将感知到的灾情信息传递给控制台,构建沉浸式的灾情现场虚拟现实图景,便于救援人员对灾情进行精准研判,进而通过操控设备向机器人发出进一步的环境搜索指令,为灾情现场情景的构建和后续救援措施的实施奠定了坚实基础。
灾害现场机器人的加入可以在“黄金时间”内对灾害进行科学处置,将生命财产损失降到最小,并尽量保全宝贵的救援力量。因此,亟待研制包括面向现场机器人和大型实验装置在内的多类型大数据融合分析与虚实结合的动态交互原型系统,构建可实现现场机器人-实验-仿真-数据系统交互集成的情景推演平台,为重大综合灾害的预防和应对提供新技术、新方法。
本文首先基于真实操作、虚拟模拟、构造模拟(live,virtual simulation,constructive simulation,LVC)提出增强LVC(enhanced-LVC,E-LVC),并研发了基于E-LVC的救援机器人、大型实验装置、仿真和数据系统的动态交互技术,然后综合运用E-LVC技术,面向大规模耦合灾害场景进行虚实模拟和情景推演,最后通过案例分析验证了方法的可靠性。
1 基于E-LVC技术的动态交互方法本文针对灾害现场、计算仿真、数据系统三者孤立的难题,提出基于LVC的动态交互技术,发展基于仿生计算模型的现场机器人感知方法,研发基于E-LVC的救援机器人、大型实验装置、仿真和数据系统的动态交互技术。在灾害耦合场景下,由机器人进入灾情现场,通过基于E-LVC的动态交互技术将灾情信息实时回传至控制台,构建虚实结合的决策支持平台,融合人类智能指引智能机器人进一步对危险灾情现场进行探索,构建全灾情现场图景,为灾情的辅助研判打下坚实基础。
1.1 E-LVC技术LVC最初是由美军提出的一种综合实装、模拟器和计算机仿真的集成训练方式,综合了实兵训练、虚拟模拟器训练和推演模拟训练三者的优点,目前广泛用于军事训练、武器装备试验鉴定[8]。其中:L(live)为实兵训练,指真实的人操作真实的系统,表现为传统的实兵演习、首长机关作业演习以及训练靶场的武器装备作战试验等;V(virtual simulation)为虚拟模拟,指真实的人操作虚拟的系统,表现为决策指挥训练以及模拟器技能训练等;C(constructive simulation)为构造模拟,指虚拟的人操纵虚拟的系统,表现为计算机兵棋推演、计算机作战模拟和武器装备系统仿真等[9]。
本文引入了LVC的思想,同时针对重大灾害情景的复现引入了大型实验装置,从而形成了E-LVC的仿真思路(如图 1所示)。借鉴LVC互联技术进行一体化综合灾情推演系统构建,E-LVC综合运用机器人装备采集现场灾情(对应L,真实操作)、虚拟场景(对应V,虚拟模拟)、灾害构造以及交通人员行为仿真(对应C,构造模拟)。同时,加入缩尺等效物理实验和大型实验装置,从多方面对推演系统进行了增强。因此,本文将所提出的推演系统架构命名为E-LVC,E-LVC是一种针对重大耦合灾害情景推演的原创性方法。该方法有效整合了大型实验装置、模拟仿真计算、智能移动机器人、指挥调度人员,提供时空一致、互联互通的动态交互架构,同时基于虚拟现实/增强现实(VR/AR)技术为人员提供虚实互动的人机交互效果,支持“人在回路”的重大灾害情景可视化沉浸式推演,形成“情景快速构建—现场信息融合—综合态势评估—灾害现场处置”的动态迭代回路,一方面缓解了现场灾情探查的成本问题,另一方面也在一定程度上解决了虚拟环境和灾害构造的置信问题。
1.2 E-LVC动态交互集成
构建E-LVC环境需要一体化的集成环境设计,将不同的系统如研究中的实验装置、机器人、仿真和数据系统等互联在一起共同运行。由于各系统采取的技术手段不同,运行方式和数据格式各异,要将这些异构系统联合运行是一项复杂的工程。参考LVC集成平台的框架设计,面向E-LVC的大型增强型实验装置(E)、虚拟模拟(V)、构造模拟(C)和真实操作(L) 4种类型异构应用交互集成需解决的技术问题主要包括:1) 如何实现不同系统之间数据的相互识别;2) 如何保证多系统联合运行的逻辑合理性(包括实时性、可靠性等);3) 如何保证训练系统具有良好的可扩展性和灵活的可组合性。
针对以上问题,本文采用基于灾情主题内容的动态公布/订阅方法作为数据传输的基础。基于发布/订阅方法的数据通信与监控环境体系结构主要分为3部分:通信服务总线、网关实用程序和实用工具。其中:通信服务总线为核心部分;网关实用程序负责实现与E-LVC中已有应用系统(包括灾害仿真数值计算、机器人系统等)的互联互通;实用工具包括应用系统开发的支持工具和数据分发监控管理工具等。基于灾情主题内容的动态公布/订阅方法根据实际分系统特点设计合理的数据主题模型(公共对象模型)和高效的事件匹配算法,解决数据内容的供需匹配和服务质量的供需动态匹配问题,在减轻网络负载的同时,尽可能地保证实时通信传输效率。
2 前线数据获取和灾害现场情景构建现场态势感知和灾害现场情景构建需要前线灾情数据(如图 2所示)的支撑。本文基于现场机器人来获取前线数据。激光雷达点云、深度图像(RGB-D)及视频数据是3种用于灾情现场重建的数据源。
2.1 基于机器人的前线灾情数据感知
本文基于机器人获取前线灾情数据来构建实时灾情情景,依靠车载的环境信息感知传感器采集机器人环境信息(如激光雷达、视觉摄像头、超声波等)。在实现过程中,采用自主研制的NuBot救援机器人,可在典型的灾难环境中通过自身携带的传感器获得环境信息,探测环境中的遇险者,并标记出遇险者的位置(该机器人已多次在国际机器人救援比赛中荣获大奖[10])。该机器人采用履带式移动结构,配有两条动力主履带,可通过多种不平整、非结构化的场地,在复杂环境中能较好地发挥机动性能[11]。在实验过程中,无线通信设备水平放置,惯性测量单元(inertial measurement unit, IMU)位于激光雷达正下方,与激光雷达平行安装,激光雷达、IMU的Z轴和机器人体坐标系的Z轴重合,如图 3所示。
2.2 基于环境建图技术的前线灾情情景构建
本文基于改进迭代最近点(iterative closest point, ICP)算法的异频实时同步定位与地图绘制(simultaneous localization and mapping, SLAM)算法(即实时激光里程计与建图(lidar odometry and mapping in real-time, LOAM)算法)来实现机器人的位姿估计,并构建机器人在灾害现场的环境地图。LOAM算法可以精准地估计机器人位姿和构建机器人所处环境的三维地图。以室内救援场地(如图 4a所示)为测试场地,基于Velodyne VLP-16激光雷达和IMU构建三维环境地图,建图结果如图 4b所示,图中不同颜色表示同一帧点云内的点云高度信息。
3 情景推演角色设计
在计算机渲染出虚拟灾害场景后,需要将计算机渲染的虚拟灾害场景与真实环境进行叠加和融合,接下来便需要在环境中加入“虚拟人”和其他重要角色,用于“人在回路”的重大灾害情景可视化沉浸式推演。“虚拟人”的5种主要“席位”包括:治安户籍人员、抢险救灾人员、消防救援人员、应急医疗人员、在灾害现场用于搜救和获取前线数据的现场机器人(如图 5所示)。每种席位有各自的任务,灾害现场不同的角色间也需要协同应对,这就需要研究“人在回路”的灾害情景推演系统设计方法,分析情景表达力与动态性对系统性能、效率与可用性的影响,提出考虑主动、被动、交互3类角色的灾害情景推演与系统增强方法,实现重大灾害情景推演的演练脚本设计和现场处置流程的优化。
4 重大耦合灾害情景推演平台设计与系统实现
本文基于E-LVC技术的多尺度实验、大规模计算、大数据分析、现场态势的综合集成分析方法实现了虚实增强的重大综合灾害情景的四维建模(三维地理信息系统(geographic information system,GIS)+实时灾情)与高清可视化,构建了基于跨领域技术混合驱动的多维度、多尺度、虚实一体化的情景推演与综合分析平台。
4.1 情景推演框架设计重大耦合灾害下的情景推演与综合分析平台的框架设计如图 6所示:1) 基于机器人/无人机获取前线现场数据,从而实现前线灾情的实时感知;2) 将实时获取的前线数据传到指挥中心进行现场显示,并进行情景推演,主要包括建筑结构破坏、风场模拟、在风场作用下的烟气扩散模拟,还包括交通受阻情景下的交通疏散和人员行为研究;3) 应急处置专家参考情景推演的结果提供应急处置方案。该平台实现了与现场机器人-实验-仿真-数据系统的交互集成的重大灾害情景推演平台,集成灾害种类不低于8种,推演和分析平台与外部数据交换、互动的数据源不低于5类,灾害链数量不低于6种。
4.2 情景推演系统实现
基于虚实结合的场景构建技术和异构数据、协议的标准化方法,研发了一套将实验-数据-仿真-现场高度融合与实时交互的分布式虚拟现实系统,可实现多灾场景如火灾、爆炸、危化品泄漏、极端自然灾害等突发事件及其耦合的虚实结合场景的在线构建。
4.2.1 初始情景设置研究选用人口密度极高的国际都市——北京市作为研究对象。假设北京市发生大地震,并由此引发一系列的次生衍生灾害,如路网破坏导致交通受阻、建筑物倒塌导致危化品泄漏,进而引发火灾、爆炸或中毒事件等。假定北京发生大地震引发火灾,并耦合风场作为灾害耦合场景。在这种重大耦合灾害场景下,需要实施一场大规模疏散[12],模拟疏散者前往城市内公共避难场所的过程(如图 7所示)。
4.2.2 情景推演结果
下面主要以假设的北京大地震后导致的危化品泄漏(假设北三环东路附近发生氯气泄漏事件,泄漏速度10 000 mg/s,影响范围4 km2,4.5万人急需疏散)为背景,耦合火灾爆炸引发灾后应急疏散(包括人员疏散和城市大规模交通疏散)为例,进行情景推演结果的展示。
1) 应急演练系统。本文研发了基于跨领域技术混合驱动的多维度、多尺度、虚实一体化的情景推演平台与综合分析平台,实现重大耦合灾害情景的高精度可视、跨时空交互、虚实动态推演和综合集成分析[13-14]。将演练方案、三维场景和模型、演练脚本和模型、综合灾情事件等演练数据和模型打包形成演练包进行管理,实现演练软件平台与演练数据分离,最终完成推演系统的搭建(如图 8所示)。“情景推演与综合分析测试技术和系统”可检验典型灾害场景的表达有效性、推演可靠性、分析准确性,并对系统可操控性等进行测试,能为快速有效地应对灾害提供决策支持。
2) 城市大规模疏散。为了使城市受影响区域的人和车得到快速疏散,进行了城市大规模疏散的应急推演。假设城市总共有39个避难场所,单位场所容纳人数为399 230人,避难场所的位置分布如图 9所示。车辆的出发时间在1 h内均匀分布,疏散目的地和疏散路径由疏散者自行决定。
交通疏散仿真推演结果表明:将北京市区内的41万辆车疏散至市内39个避难场所,总共需要约422 min(约7 h);在疏散的中段,疏散效率(即单位时间内到达目的地的人数)基本保持不变,疏散速度约为750人/min。该仿真实验证明了本文所研发的情景推演系统具有应急决策辅助支持能力。
5 结论面向大规模耦合灾害,本文提出了一种基于E-LVC的重大综合灾害耦合情景推演方法,研发了一套将实验-数据-仿真-现场高度融合与实时交互的分布式虚拟现实系统,可实现多灾场景如火灾、爆炸、危化品泄漏、地震、极端自然灾害等突发事件及其耦合的虚实结合场景的在线构建。在耦合灾害场景下,救援机器人首先进入灾情现场,实时高效探索灾情现场环境,基于获取的前线现场数据,构建全灾情现场环境地图,并将不同的角色加入到灾害情景中,实现“人在回路”的应急演练推演。最后,本文假定北京大地震导致危化品泄漏,耦合火灾爆炸,并引发灾后应急疏散(包括人员疏散和城市大规模交通疏散)情景为例进行了案例研究,验证了本文所研发的系统具备面向重大综合灾害耦合情景提供可靠应急决策辅助支持的能力。
[1] |
Homeland Security Council, Department of Homeland Security, USA. National planning scenarios[Z]. 2005.
|
[2] |
BURCH H, KITLEY C A, NAEEM M. Department of Homeland Security national planning scenarios: A spectrum of imaging findings to educate the radiologists[J]. Emergency Radiology, 2010, 17(4): 275-284. DOI:10.1007/s10140-009-0849-z |
[3] |
HEGINBOTHAM E, NIXON M, MORGAN F E, et al. The U. S.-China military scorecard: Forces, geography, and the evolving balance of power, 1996-2017[M]. Santa Monica, USA: RAND, 2015.
|
[4] |
张辉, 刘奕. 基于"情景-应对"的国家应急平台体系基础科学问题与集成平台[J]. 系统工程理论与实践, 2012, 32(5): 947-953. ZHANG H, LIU Y. Key problems on fundamental science and technology integration in "scenario-response" based national emergency response platform system[J]. Systems Engineering: Theory & Practice, 2012, 32(5): 947-953. DOI:10.3969/j.issn.1000-6788.2012.05.005 (in Chinese) |
[5] |
朱伟, 刘呈, 刘奕. 面向应急决策的突发事件情景模型[J]. 清华大学学报(自然科学版), 2018, 58(9): 858-864. ZHU W, LIU C, LIU Y. Scenario model for emergency decision-making[J]. Journal of Tsinghua University (Science and Technology), 2018, 58(9): 858-864. (in Chinese) |
[6] |
贾硕, 张文昌, 吴航, 等. 救援机器人研究现状及其发展趋势[J]. 医疗卫生装备, 2019, 40(8): 90-95, 100. JIA S, ZHANG W C, WU H, et al. Development status and trend of rescue robot[J]. Chinese Medical Equipment Journal, 2019, 40(8): 90-95, 100. (in Chinese) |
[7] |
唐诗洋, 疏学明, 申世飞, 等. 基于伪基站的地震废墟人员搜寻定位技术[J]. 清华大学学报(自然科学版), 2016, 56(12): 1278-1283. TANG S Y, SHU X M, SHEN S F, et al. Disaster relief based on pseudo base stations[J]. Journal of Tsinghua University (Science and Technology), 2016, 56(12): 1278-1283. (in Chinese) |
[8] |
张昱, 张明智, 胡晓峰. 面向LVC训练的多系统互联技术综述[J]. 系统仿真学报, 2013, 25(11): 2515-2521. ZHANG Y, ZHANG M Z, HU X F. On multi-system integration technology oriented to LVC training[J]. Journal of System Simulation, 2013, 25(11): 2515-2521. (in Chinese) |
[9] |
PHIL H, STEVEN H, MICHAEL D. Joint training: Live, virtual, and constructive (L-V-C)[R]. Kirtland, USA: Air Force Distributed Mission Operation Center, 2008.
|
[10] |
张辉, 蔡向东, 海丹, 等. NuBot救援机器人整体设计[J]. 机器人技术与应用, 2010(4): 17-19. ZHANG H, CAI X D, HAI D, et al. Overall design of NuBot rescue robot[J]. Robot Technique and Application, 2010(4): 17-19. DOI:10.3969/j.issn.1004-6437.2010.04.005 (in Chinese) |
[11] |
唐梦旖, 王倪珂, 田畅, 等. 履带式越障救援机器人的研究及发展综述[J]. 高校实验室科学技术, 2019(2): 138-140. TANG M Y, WANG N K, TIAN C, et al. Research and development of crawler obstacle surmounting rescue robot[J]. University Laboratory Science and Technology, 2019(2): 138-140. (in Chinese) |
[12] |
HIDALGA P, AGUSTIN A, RAFAEL M, et al. A multi-scale and multi-physics simulation methodology with the state-of-the-art tools for safety analysis in light water reactors applied to a turbine trip scenario: PART I[J]. Nuclear Engineering and Design, 2019, 350: 195-204. DOI:10.1016/j.nucengdes.2019.05.008 |
[13] |
范乐, 王燕语, 张靖岩, 等. 基于安全韧性分析的地震应急救援实训功能设计策略[J]. 清华大学学报(自然科学版), 2020, 60(1): 9-17. FAN L, WANG Y Y, ZHANG J Y, et al. Earthquake emergency rescue training function design strategies based on safety resilience evaluation[J]. Journal of Tsinghua University (Science and Technology), 2020, 60(1): 9-17. (in Chinese) |
[14] |
李瑞奇, 黄弘, 周睿. 基于韧性曲线的城市安全韧性建模[J]. 清华大学学报(自然科学版), 2020, 60(1): 1-8. LI R Q, HUANG H, ZHOU R. Resilience curve modelling of urban safety resilience[J]. Journal of Tsinghua University (Science and Technology), 2020, 60(1): 1-8. (in Chinese) |