效能评估技术主要用来衡量武器装备系统在给定任务中发挥作用的有效程度，是武器装备体系发展研究的重要基础。随着以信息技术为核心驱动力的新技术革命的蓬勃发展，涌现出了大批集成高新技术的武器装备系统，呈现出自动化、网络化、智能化的特点，因此也对现代武器装备系统的效能评估提出了控制成本、注重解释、细分层级等新要求^[1]。开展现代装备系统的效能评估研究，对于优化装备系统的全生命周期管理、装备体系发展方向的科学决策有非常重要的意义。

为适应新的效能评估要求，本文采用基于模型的系统工程理论(model-based systems engineering, MBSE)，提出一套模型驱动的效能评估方法——HSEB-MOE(harmony systems engineering-based measure of effectiveness)，将系统建模与效能评估结合，通过流程仿真获取武器装备系统效能，提高了评估的可操作性，降低了评估成本，并可辅助设计优化与开发决策。以舰艇损管系统(damage control system, DCS)的效能评估为例，验证了所提出的方法的有效性和应用方面的优势。

1 效能评估的概念界定与理论发展 1.1 效能评估的基本概念

效能是用于度量装备可用性及完成指定任务能力大小的性能指标。国内外已有大量效能评估相关的研究成果，对效能的理解与定义基本达成一致。

国家军用标准GJB1364-92《装备费用-效能分析》定义效能为：在规定的条件下达到规定使用目标的能力。郭齐胜^[2]定义效能为：系统在规定的条件下达到规定目标的能力。其中，规定条件指的是规定的外界环境因素、人员技能熟练度、时间等，规定目标指的是装备所承担的使命。Green等^[3]认为效能是系统在规定环境下发挥预定功能的程度，并进一步区分了性能、单项效能、系统效能的内涵和范畴。美国国防部(US DoD)认为效能是指用于评估系统行为、能力或操作环境变化的标准，与测量最终状态的实现、目标的达成、效果的产生等均相关^[4]。

美国工业界武器系统效能咨询委员会(Weapon System Effectiveness Industry Advisory Committee, WSEIAC)构建了经典的ADC装备系统效能模型，其中“A”指的是装备系统的可用性，“D”指的是装备系统的可信赖性，“C”指的是装备系统的固有能力^[5]。对于大多数装备系统来说，系统效能E指的是完成给定任务集M的概率，且满足关系：E=A·D·C。其中E表示系统效能，A、D、C通常为矩阵形式。ADC模型是目前广受认可的效能模型。

综合国内外相关研究，可以认为效能应指在给定任务背景下，系统在规定条件和规定约束下能够实现规定目标的能力，通常用实现目标的概率来衡量。此外，考虑到新型武器装备系统多是由一群系统连接组成，因此一个系统或者装备的效能定义还应兼顾该系统或装备所应用的环境以及其对于任务系统全局的作用。

基于上述效能定义，效能评估应从系统工程的角度出发，针对效能评估的目标，综合采用解析方法、仿真模拟、数据统计等，结合定性定量的指标处理方法，开展多维度的效能评估计算。效能评估的常规步骤包括：明确评估任务、定义系统边界、选择效能变量、确定效能指标、构造评估模型、获取评估数据、设立评估案例、验证评估结果。在装备系统建设发展的过程中，效能评估发挥着巨大的作用。

1.2 效能评估的理论发展

从20世纪60年代开始，各国在效能评估领域开展了大量的研究工作，建立了适用于不同作战环境、不同装备的评估模型，包括前文提到的ADC模型等，逐步形成了军事系统工程的方法论体系，效能评估技术得到了广泛的研究^[6]。随着理论研究与实际应用结合的越发深入，产生了多种效能评估方法，一般可根据评价结果的获取方式分为5类：性能参数法、试验统计法、解析法、多指标综合评价法、作战模拟法，如图 1所示。

性能参数法是综合系统的某些典型效能指标用以描述系统效能的方法，简便易操作，但是不够全面^[7]。试验统计法是通过实践、训练、试验获得大量数据进行分析的方法，得到的结果较为准确，但需要耗费较大的成本^[8]。解析法是根据效能指标与效能之间的函数关系来计算效能值的方法，计算透明性好且便于进行变量间的分析，但是函数构造比较困难且所得结果过于抽象^[9]。多指标综合评价法是针对一些复杂的装备系统采用的分层评估方法，适用性强，但是受评估人主观因素影响大。模拟法是以计算机为主要手段在给定条件下进行仿真实验的方法，可多次重复试验，但是模拟精度不高^[10]。

综上所述，传统效能评估方法存在一定不足，且均为事后评估法，即评估发生在系统开发完成之后，难以在系统设计阶段发挥作用。为了增强效能评估方法的精确性和针对性、降低效能评估的成本，在评估过程中提高对系统的认识，从而更好地辅助系统设计决策，本文结合模拟法与试验统计法的优点，设计了一套模型驱动的效能评估方法。采用MBSE方法，通过多个视图的模型来理解系统，并通过流程仿真获得系统的效能值。

2 模型驱动的效能评估方法构建

效能评估开展的前提是对被评估系统有全面客观的认识，将MBSE应用于效能评估，既可以全面规范地描述系统，又可以在梳理需求和业务流程时明确系统的目标以及目标的实现程度，从而更加精细化地衡量系统效能。

2.1 基于模型的系统工程(MBSE)理论概述

由于传统的系统工程方法(traditional systems engineering, TSE)描述方法单一、复用性差，其不再适用于现代复杂系统的设计、实施与评估，MBSE理论从20世纪90年代开始渐渐受到国内外学者的关注。国际系统工程委员会(International Council on Systems Engineering, INCOSE)于2007年正式向工业界和学术界发起MBSE倡议：MBSE是建模的规范化应用，可以支持系统从概念设计阶段到开发阶段再到后期服务阶段全生命周期各阶段的需求、设计、分析、验证和确认活动^[11]。

MBSE是模型驱动方法发展的新阶段，与TSE的主要区别在于将系统的表达由以文档为中心转为以模型为中心^[12]。MBSE采用标准系统建模语言和多视角通用架构框架为表示方法，实现跨领域模型的可追踪、可验证与动态关联。与TSE相比，MBSE主要具有知识表示的无二义性、系统描述的完整性、系统内容的可重用性等优点。

MBSE理论由3部分组成，分别是建模语言、建模工具和建模方法。建模语言包括SysML(systems modeling language)、UPDM(unified profile for DoDAF/MoDAF)、BPMN(business process modeling notation)等。建模工具包括Rational Rhapsody、Enterprise Architect、MagicDraw等。建模方法包括Harmony SE(Harmony systems engineering)、OOSEM(object-oriented systems engineering method)等。

2.2 模型驱动的效能评估方法构建

借鉴MBSE理论的思路，本文采用SysML作为系统描述语言，并基于Harmony SE的建模方法构建了模型驱动的新型效能评估方法——HSEB-MOE(Harmony systems engineering based measure of effectiveness)方法，其架构如图 2所示。Harmony是由IBM公司提出来的一种典型的MBSE方法论，与经典的系统工程V模型类似，包含用于系统分解设计的Harmony SE和用于系统集成开发的Harmony ERTD(Harmony embedded real time development)两部分。将待评估系统放入上层的任务系统中，通过对待评估系统的有无或者其不同实现程度下的任务系统进行建模并仿真对比分析其完成给定任务的能力，精准地刻画待评估系统的效能。该方法可以从系统的系统(system of systems, SoS)的维度逐级展开，实现对不同层级系统乃至个体单元的精细化效能评估。

Harmony SE流程主要包括需求分析、系统功能分析和设计综合3个阶段，它们形成了增量迭代式的周期活动流。需求分析定义了系统必须的功能需求以及服务需求的质量，系统功能分析将系统功能需求转化为系统操作，设计综合则是基于系统实施功能所需的能力对其物理架构进行设计^[13]。图 2中右半部分“迭代式系统设计”采用Harmony SE建模方法，左半部分“递进式效能评估”则为本文所提出的模型驱动的效能评估方法的实施流程。与迭代式系统设计的3个阶段相对应，递进式效能评估也包含3个步骤，分别是“系统目标分析”“系统流程分析”和“系统效能评估”。迭代式系统设计产生的需求和模型储存于“模型库、系统需求库”，递进式效能评估通过“模型库、系统需求库”与迭代式系统设计联系起来，其各步骤需要的输入为迭代式系统设计各阶段的输出。递进式效能评估与迭代式系统设计之间的关系十分紧密，二者结合起来构成了完整的HSEB-MOE效能评估方法。

系统目标分析阶段需要在外界给定任务和约束条件的情况下，明确任务系统设定的目标。根据前文对效能的定义，系统完成目标的程度即为效能，因而可用完成目标的成功概率表征系统效能。根据系统需求和约束条件，选定影响系统效能的核心指标向量i_核心指标，比如[时间，成本，尺寸]等，作为后续仿真的关键变量，满足关系E=f(i_核心指标)。在此阶段也需要把系统的目标分解到系统的不同用例上，形成足以支撑目标实现的用例组合，用于下一阶段的工作。

系统流程分析阶段在上一阶段提供的用例组合的基础上，结合模型库中储存的用例活动图(黑盒)和用例场景(黑盒)，抽象提炼出任务系统的泛化流程，进而构造任务系统的泛化可执行系统状态图。其中，待评估系统的黑盒模型对于任务系统来说是其白盒模型的一部分。此外，在系统发展建设的全生命周期中，后期生产及使用阶段的效能评估还需要系统的实际运行情况作为输入。

系统效能评估阶段需要完成2项工作：一是基于架构分析模型完成待评估系统在有无或者不同实现程度的条件下的可执行任务系统状态图，并针对系统完成规定目标的成功率进行仿真对比分析以获得系统效能。待评估系统对任务系统的影响主要包括重构业务流程和提高业务流程中工作流的核心效能指标值，需要根据实际情况综合判断待评估系统产生的影响。二是设计系统的架构模型，沿SoS向下分解，包括子系统、组件的分解和对效能评估任务的分解，再返回初始阶段，针对分解后的子系统、组件开展更加精细化的效能评估。SoS展开的深度由效能评估需求的粒度决定。

采用HSEB-MOE方法实施效能评估时，按照图 2中效能评估工作流的方向从上至下开展各阶段工作，评估所需要的基本模型和系统需求可参照“模型库、系统需求库”。模型贯穿于HSEB-MOE的全过程，各阶段需要的模型均可以用SysML的视图加以表示，例如用例图、活动图、序列图、模块定义图、内部模块图、状态机图等。

所构建的HSEB-MOE效能评估方法与传统效能评估方法对比如表 1所示。

3 舰艇损管系统效能评估实例分析 3.1 评估实例简述

舰艇损管系统(damage control system, DCS)作为综合平台管理功能系统的重要组成分系统之一，核心目标是提高舰艇的损管能力，本文对其采用了HSEB-MOE方法进行效能评估。DCS是一个信息检索和设备监控的系统，支持舰艇人员检测、分析并处理各种对舰艇有害的情况^[14]，典型情况包括灭火、防沉堵漏等。本文选择灭火作为任务，在灭火任务系统下比较有无DCS带来的影响，从而评估DCS的效能值。

3.2 灭火任务流程建模

通过文献调研和与相关负责人探讨，了解到舰艇上是否配备DCS时灭火的简化流程分别如图 3、4所示^[15]。对比2个流程，当舰艇上配备DCS时，由于DCS能在灭火任务中将灭火状态实时展示出来，因此减少了信息上下反复通报的过程，并且允许各分任务并发地执行，从而使得各个部门之间的行动快速、配合紧密。

3.3 系统效能评估

舰艇救火任务下DCS效能评估不能仅仅定性地进行评价，需要有可靠的数据支撑，因此该实例采用PyroSim软件仿真获取效能评价需要的相关数据。然后基于Rational Rhapsody建模软件，针对节3.2中提到的灭火任务流程实施HSEB-MOE效能评估，对有无配备DCS的系统进行仿真对比。

1) PyroSim火灾特性仿真。

PyroSim是一款用于消防动态模拟的图形化软件，在火灾模拟软件FDS之上开发^[16]。舰艇本身内部构造复杂、可燃物构成多样，为简化问题，本研究构建了一个3层共24房间结构的舰艇主甲板模拟舱室。模型的基本参数如表 2所示。

根据英国实验生理学家Blagdon于1775年进行的自体实验可知，潮湿环境下即使只是48~50 ℃都会很快对人体产生伤害^[17]。由于舰艇舱室属于潮湿环境，因此仿真中选取50 ℃作为对人体带来损害的温度，当温度达到50 ℃即认为该区域已经受火情影响。

以温度曾经达到过50 ℃作为受灾标准，计算一层某处着火后受灾区域面积百分比随时间变化结果。不进行灭火操作和在火灾发生后10、20、30、40 s采取灭火操作，可得到5组不同的受灾区域面积百分比随时间变化的数据，如图 5所示。

由图 5可知，在舱室这种相对密闭的空间内，船舱一旦着火，其温度迅速上升，越早采取灭火措施，可以使得最终受灾区域面积百分比越低，即受灾面积越小。在不采取灭火措施的情况下，大约120 s时，一层受灾区域面积百分比达到100%，灭火任务失败。

根据文[18]的研究, 火灾过程中火源热释放速率与时间的平方成正比，由图 5可知，采取灭火措施前的受灾区域面积曲线呈现二次函数曲线形状，可见受灾区域面积百分比与时间的平方也近似成正比。因此，假设受灾区域面积百分比与时间关系为

$ H(t) = \left\{ {\begin{array}{*{20}{l}} {6.944 \times {{10}^{ - 3}} \times {t^2}, }&{t < 120;}\\ {100, }&{t \ge 120.} \end{array}} \right. $

(1)

其中：H代表受灾区域面积百分点的值，其取值范围为[0, 100]，当时H=100时，灭火任务失败；t代表燃烧时间，单位为s。

选择时间作为DCS效能评估的核心效能指标，任务为监测并消灭舰艇火灾，约束条件为在120 s内控制火情，效能可以用灭火成功率来衡量。

2) Rhapsody仿真分析。

Rational Rhapsody是IBM公司的软件产品，为系统建模和设计活动提供可靠的解决方案。

系统目标分析阶段：第一步，采用需求图描述任务系统的需求——在120 s内控制住火情并成功灭火；第二步，通过用例图定义任务系统“综合舰艇系统”的用例——灭火，如图 6所示。基于任务层级的主用例已经可以演示HSEB-MOE方法的执行流程并验证其可行性和科学性，由于篇幅有限，且未涉及到对DCS子系统、子模块的效能评估，因此不再对用例进一步分解。

系统流程分析阶段：构建“灭火”用例的可执行用例模型，基于模块定义图和序列图分别描述用例活动图(黑盒)和用例场景，并参考DCS在任务系统中的实际运行情况，生成可执行系统状态图，仿真验证概念模型的可行性。

系统效能评估阶段：分别构建可执行系统状态图，研究有无DCS对于灭火任务系统的影响。对比图 3和4中灭火流程的差异性，未装配DCS时也会有其他的子系统、组件或者官兵承担灭火需要的能力。即不论有无DCS，舰艇灭火流程均可以用灭火任务系统的4个状态的跳转进行表示，这4个状态包括监测火灾状态、灭火准备状态、实施灭火状态、灾后处理状态，各状态内部定义了具体的操作，如图 7所示。

对每个状态的停留时间和停留时间结束之后状态成功跳转的概率进行了定义，如表 3所示。各参数的选择主要是基于经验所得，为了便于仿真作了一定理想化的处理。

监测火灾主要依靠的是舰艇上安装的烟雾探测器等硬件设备，与DCS无关，因此不论有无装配DCS，监测火灾的时间与成功概率均相同。灭火准备过程与灾后处理过程需要不同区域以及不同个体之间信息的交互，DCS的信息集成能力可以有效减少动作时间并提高成功概率。灭火成功概率需要考虑火灾已经发生的时间，根据PyroSim仿真结果，燃烧越久，受灾区域面积越大，灭火难度越大，相应的灭火成功概率越小。因而有以下假设：

$ {p_{{\rm{implement }}}} = 1 - H/100. $

(2)

结合式(1)和(2)，有：

$ p\left( {{t_{{\rm{total }}}}} \right) = \left\{ {\begin{array}{*{20}{l}} {1 - 6.944 \times {{10}^{ - 5}} \times {t_{{\rm{total}}}}^2, }&{{t_{{\rm{total }}}} < 120;}\\ {0, }&{{t_{{\rm{total }}}} \ge 120.} \end{array}} \right. $

(3)

$ {t_{{\rm{total }}}} = l \times {t_{{\rm{detect }}}} + m \times {t_{{\rm{prepare }}}} + n \times {t_{{\rm{implement }}}} $

(4)

其中：l、m和n分别表示监测火灾、灭火准备和实施灭火在成功状态跳转前状态停留的次数。

对有无DCS两种情况下的任务系统状态图分别仿真1 000次，装配有DCS的情况下成功灭火次数为940次，灭火成功率94%；未装配DCS的情况下，成功灭火次数为806次，灭火成功率80.6%。将成功灭火的仿真结果列于表 4。

有无装配DCS的灭火总时间的直方分布对比图如图 8所示。

根据状态图仿真结果，在核心效能指标——时间方面，装配了DCS之后的灭火总时间比未装配DCS的灭火总时间明显要短，且在分布上更加集中。而且装配了DCS之后的灭火成功率比未装配DCS时有了较大的提升，即二者的效能分别是0.94与0.806，表明DCS对于舰艇灭火效能的提升产生了正向的作用。如果需要更加精细化的评估DCS效能，可以将DCS进一步分解为子系统组合，并将灭火任务分解到子系统上进行效能评估。

由于火灾发生频率低、造成危害大，对DCS的评价应该在系统设计阶段即展开，传统效能评估方法又多为事后评价，不适用于此类评估项目。具体而言，传统效能评估方法中的性能参数法难以获得指标值，试验统计法难以开展试验，解析法难以构建理想的函数关系，多指标综合法的主观性太强，模拟法的模拟成本较高，可见本文构建的模型驱动的效能评估方法在该评估场景下有较大优势。

4 结论

本文比较总结了传统效能评估方法的优缺点，基于MBSE理论，提出了一种模型驱动的新型武器装备系统效能评估方法HSEB-MOE。该方法将系统建模引入效能评估，通过流程仿真对比分析获取效能值，具有评估精准性高、操作成本低、结果解释性强等优点，可以有效地解决复杂装备系统的效能评估问题，并辅助开发决策与系统的设计优化。将HSEB-MOE应用于DCS的效能评估，验证了该方法的有效性和应用方面的优势。