中国科技核心期刊      中国指挥与控制学会会刊     军事装备类重点期刊
Command Control and Simulation

Command Control and Simulation >

2023 , Vol. 45 >Issue 2: 53 - 59

DOI: https://doi.org/10.3969/j.issn.1673-3819.2023.02.008

Equipment Technology

Research on the application of meta-evaluation theory in equipment support capability evaluation

  • ZHANG Yao-long ,
  • RUAN Yong-jun ,
  • LI Zhen ,
  • YAN Peng ,
  • ZHAO Lu-hao
Expand
  • Shijiazhuang Campus of Army Engineering University, Shijiazhuang 050003, China

Received date: 2022-07-30

  Revised date: 2022-09-29

  Online published: 2023-04-17

Fold

Abstract

The evaluation of equipment support capability has strong interest, and its quality problem has important influence on the unit being evaluated. Meta-evaluation can examine and judge the quality of equipment support capability assessment and ensure the authority of assessment activities. This article based on meta-evaluation theory and equipment support ability evaluation practice, starts with the basic theory of introducing meta-evaluation based on the meta-evaluation subject, patterns, contents, standards and methods of analysis to meta-evaluation framework structure, combing the meta-evaluation process, explores the theoretical basis of equipment support ability evaluation of meta-evaluation and technical means.

Key words： meta-evaluation; equipment support capability assessment; application research

Cite this article

ZHANG Yao-long , RUAN Yong-jun , LI Zhen , YAN Peng , ZHAO Lu-hao . Research on the application of meta-evaluation theory in equipment support capability evaluation[J]. Command Control and Simulation, 2023 , 45(2) : 53 -59 . DOI: 10.3969/j.issn.1673-3819.2023.02.008

装备保障能力评估是推动陆军部队装备保障建设发展的重要环节,是检验部队装备保障能力水平的重要抓手。随着装备保障能力建设的不断推进,现行装备保障能力评估反映装备保障能力水平不充分,反映装备保障能力建设不全面,组织实施缺乏权威性等问题,导致评估工作受到质疑,评估质量难以保证,削弱了评估的公信力,降低了部队参与评估的积极性。评估质量问题日益成为影响其“杠杆”作用发挥的重要因素,也必将影响部队装备保障能力的生成与建设。
元评估作为“对评估的评估”[1],通过对装备保障能力评估过程和结果的评判与考察,为评估本身提供可行性、正确性、准确性等方面的相关信息,有助于及时检测和解决评估过程中遇到的问题,对保证评估质量,规范评估运行,提升评估专业水平具有重要意义。因此,在装备保障能力评估中引入和运用元评估理论,能够有效提高评估工作的科学性和信效度,推进评估工作的良性发展[2]。

1 元评估理论

元评估理论是由美国评估理论专家麦克·斯克里文(Michael Scriven)在1969年发表的一篇关于怎么对评估工具进行评估的文章中首先介绍的[3]。随后,众多学者对该理论进行了系统的研究,集大成者是斯塔弗尔比姆,在其最新版的《评估理论、模型和应用》一书中,着重介绍了元评估理论的概念、理论基础、操作模式、主要任务及程序性安排等内容,对元评估理论应用具有较强的指导意义。
从元评估视角探析装备保障能力评估效果的制度基础[4],对装备保障能力评估方案制定,运行实施与结果进行再次评估,分析装备保障能力评估的实施状况,发挥元评估对原评估的评价、监测、矫正功能,可以规范和衡量评估工作秩序,提高装备保障能力评估工作的质量,保证评估的品质,形成科学、权威的评估结果,实现服务装备保障能力建设的价值目标。

2 装备保障能力评估元评估框架

根据元评估基本理论,结合装备保障能力评估实践活动,可以构建出装备保障能力评估元评估框架结构,具体如图1所示。装备保障能力评估元评估框架包括评估主体、评估模式、评估指标、评估标准、评估方法等内容,是针对装备保障能力评估元评估活动所建立的指导元评估活动开展的基本依据。
图1 装备保障能力评估元评估框架

Fig.1 Meta-evaluation framework for equipment support capability evaluation

2.1 元评估主体

专业的人才保障是元评估工作顺利开展的重要前提。评估主体是元评估的具体组织实施者,其选择方式通常有三种,即原评估人员、评估组织者及第三方专业评估人员。
理想的元评估主体应比原评估人员具备更强的专业素养,能够满足对原评估活动进行分析与评判的要求,专业的第三方评估机构是元评估主体的最适合人员,然而我军尚未建立引进第三方评估机构开展评估活动的制度,因此排除该选项。评估组织者大多是行政人员,一般较少具备高水平的评估理论素养与实践能力,难以做出专业评判,也不适宜成为元评估主体人选。原评估人员大多是从各单位临时遴选的专家,现行评估架构下,其全部精力聚焦在落实既定评估方案上,对评估质量及其改进关注较少,评估活动结束即行解散,客观上没有对评估质量进行研究探讨的环境。从这个角度看,原评估人员也不适宜确定为元评估主体。其实,原评估人员全程参与评估活动,熟悉整个评估运行情况,便于收集评估实施信息,能够更加快捷高效地开展元评估活动,只是无暇兼顾。基于此,本文认为可以在成立评估组织时,抽调专业评估人员组成元评估小组或在评估专家组中指定专门人员负责元评估工作,由其组织开展元评估活动,从而确保元评估活动的高效运行。

2.2 元评估模式

元评估的模式一般分为两种:一种是与评估活动同步进行的形成性元评估,强调在评估中的衔接节点处进行元评估,以便及时修正评估过程中出现的问题;另一种是在评估活动结束后组织的总结性元评估,强调对评估活动整体进行全面分析、评估,目标是为最终决策提供意见和建议。
装备保障能力评估元评估可以将两种模式各自的优势结合起来,首先,在评估活动中增加审核评判的节点环节,如评估方案的评审与确认,评估成绩的分析与验证,评估报告的评审与确认,并通过将相关节点环节的结果作为评估活动过程性规范文件的方式,实现对评估活动的管控。其次,在评估活动结束时,进行专业的元评估活动,重点对相关节点环节进行分析评判,得出对整个评估活动的综合评估,确保评估实施过程更加科学、规范、准确,本文主要对这部分内容进行相关研究。

2.3 元评估内容

元评估的内容通常是在理论与实践总结基础上构建的。本文以斯塔弗尔比姆的评价过程分析为理论依据,结合评估实践经验,把评估目标、评估组织、评估指标、评估标准、数据采集、评估模型、数据处理、成绩生成、报告撰写、结果反馈等内容观测点聚类为评估方案、评估实施和评估报告3个二阶维度[5]。具体如图2所示。
图2 装备保障能力评估元评估内容框架

Fig.2 Content framework of equipment support capability evaluation meta-evaluation

装备保障能力评估元评估内容的二阶维度模型,在评估方案的元评估环节,主要是对评估目标定位,评估组织建立,评估指标体系构建,评估标准选取,评估实施设计等进行评估。评估目标定位主要审查评估目标是否明确,定位是否准确;评估组织建立主要审查评估人员的可信度(评估人员是否回避或无利害关系)、专业性;评估指标体系主要审查其能否全面反映评估对象的优点和不足、评估指标体系与评估目标之间的强关联性、评估指标的客观可测量性、评估指标权重的适用性;评估标准选取主要审查评估标准与评估指标的匹配度、评估标准自身的合理性;评估组织实施设计主要审查其要素完备性、流程可行性及内容合理性。
在评估实施的元评估环节,主要是对评估数据来源、数据采集过程、数据分析处理及评估成绩生成的校对和评判。评估数据来源主要审查数据采集的方式、时机和范围是否有效;数据采集过程主要审查其是否客观公正,记录文档是否真实准确;数据处理分析主要校对数据清洗、数据变换等过程操作是否规范,数据挖掘模型适用是否合理;评估成绩生成主要是校对评估模型计算过程是否规范,结果是否正确。
在评估报告的元评估环节,主要是对评估报告撰写、评估报告审核、评估结果反馈及评估结果应用的审查和分析。评估报告撰写主要审查评估报告要素的完备性、评估结果的清晰性;评估报告审核主要审查审核人员的公正性、审核程序的规范性、评估结果的公平性;评估结果反馈主要审查反馈方式、反馈时机的合理性;评估结果应用主要审查评估结果对利益相关方的影响。
此外,评估人员根据评估方案开展评估工作,并真实记录文档,是评估实施的重要基准。因此,评估文档建立健全情况也应作为元评估的重要内容[6]。

2.4 元评估标准

当前,国际通行的元评估标准是JCSEE开发的四维尺度标准[7],即实用性、可行性、合理性、准确性标准,它是元评估最核心的基础性标准,是装备保障能力元评估标准的基本参照。JCSEE元评估标准见表1。
表1 JCSEE的元评估标准

Tab.1 Meta-assessment criteria for JCSEE

类别 内涵 具体标准
实用性 确保评估信息资料能够满足用户的需求 利益相关者的确定
评估人员的可信度
信息的范围选择
评估的价值判断
评估报告的透明度
评估报告的时效性
评估的影响力
可行性 确保评估切实可行、严谨规范、灵活变通和节约资源 评估程序的可行性
评估的政治可行性
评估的成本效益
合理性 确保评估合法且合乎伦理道德,必须保障所有评估参与者和受评估结果影响者的利益 评估服务的方向性
正式的评估协议
被评估者的权利
人际交往情况
评估报告的公开
评估结果的公示
评估中的利益冲突
评估中的财政责任
准确性 确保评估中将显示和传递足够的技术信息特征,以确定当前被评方案的价值或优点 评估的计划方案
评估背景分析
目的与程序的描述
信息来源的可靠性
测量的效度
测量的信度
数据的系统处理
评估信息的定量分析
评估信息的定性分析
评估结论的公正性
评估报告的客观性
元评估
科学实用的元评估标准是元评估工作开展的前提和基础。元评估标准的制定应涵盖装备保障能力评估全流程全要素,以提高评估质量为目的,以确保评估活动公开公平公正为价值追求,要能够为评估实施的优化和结果评定提供依据。据此,我们建构了装备保障能力评估元评估的标准体系框架。具体如图3所示。
图3 装备保障能力评估活动元评估的标准体系框架

Fig.3 Standard system framework of meta-assessment of equipment support capability assessment activities

2.4 元评估指标体系

元评估指标体系的构建方法主要有理论推演、因素分解和德尔菲法等,在实践中通常是综合运用两种方法。本文通过德尔菲法征求相关专家意见和建议,整合元评估的内容和标准体系,并将相应的指标项目具体化,形成了装备保障能力评估元评估指标体系,具体内容见表2。
表2 装备保障能力评估元评估指标体系

Tab.2 Meta-evaluation index system of equipment support capability evaluation

标准 指标 内容
实用性标准 评估人员的可信度 评估人员相关信息,是否具有履行职责所需的专业知识
评估流程设计 评估工作流程设计以及评估主体选择的合理性
评估工作的规范性 保证评估工作正常进行的手段
采集信息的信效度 信息来源的选择依据,信息收集的方式和范围
评估标准的确定 评估实施过程中评估主体进行价值判断及打分的依据
评估结果的清晰性 评估结果的表现形式是否合理,能否清晰表达评估结果,能否清晰反映被评估单位的实际情况
评估结果的反馈 评估结果的反馈方式、组织时机是否合理
评估利益相关方的影响 评估过程及结果对被评估单位造成的影响
可行性标准 评估组织机构人员情况 评估工作由谁组织开展,由谁进行评估
被评估单位配合支持程度 被评估单位对于评估工作是否支持配合
评估组织实施流程 评估组织实施流程是否实际可行,整个评估过程是否有序开展
合理性标准 被评估单位人员参与情况 被评估单位人员参与的形式与程度
评估工作的发起者 评估工作由何机构发起,能否保证评估过程及结果的公正性和高效性
评估的完整性 能否全方位反映被评估单位的优点与不足
评估方式 以何种方式开展评估
评估定位 评估目标定位是否合理
评估组织实施的规范性 评估组织实施过程中评估人员的职责履行和工作操守
评估结果的反馈形式 评估结果是如何进行反馈的
准确性标准 评估方案的制定 评估流程、评估实施框架、评估指标是否科学合理
评估信息可靠性 评估信息数据获取的途径是否可靠可信
评估信息采集 评估信息采集过程是否客观公正,记录文档是否真实准确
数据处理分析 数据统计、测量和分析方法是否科学合理,能否准确反映客观实际
评估结果公平性 评估结果是否公开公平公正

2.5 元评估方法

元评估方法包括定性评估方法和定量评估方法两大类。定量评估方法:将收集和处理的相关信息,通过量化分析的方式进行计算,得出具体元评估判断数据结果,具体方法有调查统计法、效度检验法、信度检验法等。定性评估方法:将收集和整理的相关信息,通过特定方法进行分析,得出描述性元评估判断结果,具体方法有经验总结法、内容分析法等。两类方法各有所长,在实践中需针对元评估的具体内容和应用场景具体选择。
在整个装备保障能力评估元评估过程中,为准确评判装备保障能力评估运行现状,保障元评估结果的信度和效度,本文综合使用德尔菲法、层次分析法和模糊综合评判等方法。
1)德尔菲法。装备保障能力评估元评估指标体系的构建,需要建立在专家的相关经验的基础上,元评估的维度和信效度也取决于专家的判断。同时,元评估指标权重的确定、指标等级划分也需要专家进行评判。
2)层次分析法。根据装备保障能力评估元评估指标的特点,其权重的确定一般应通过主观赋权法进行,层次分析法简便实用,能够较好服务评估决策。模糊综合评判法可以较好地综合德尔菲法与层次分析法,计算元评估结果。

3 装备保障能力评估元评估流程

丹尼尔·L·斯塔弗尔比姆提出在规划一项元评估活动时的常规任务[8]有11项(如表3所示),但元评估实践中,应根据不同案例的规划与需求进行具体适用。
表3 斯塔弗尔比姆的元评估任务表

Tab.3 Staverbeam's meta-assessment task list

序号 任务范围 任务内容
1 元评估人员配备 组建元评估组织机构
2 项目方参与 与元评估利益相关方的互动
3 标准 确定判断标准
4 问题 确定元评估的问题
5 正式协议 签订正式元评估合同
6 现有信息 收集和确定完整的相关信息
7 新信息 采集所需的新信息
8 分析和综合 分析处理获取的信息
9 得出结论 根据标准对评估或评估系统做出判断
10 报告 完成并提交元评估报告
11 后续 帮助元评估利益相关方理解与应用评估结果
结合装备保障能力评估元评估的内容规划与需求,其基本流程[9]为:1)选定专职元评估人员;2)明确元评估内容;3)确定元评估的判断标准;4)搜集整理信息;5)分析综合信息;6)形成元评估报告;7)解释及应用元评估结果。其主要流程如图4所示。
图4 装备保障能力评估元评估主要流程图

Fig.4 Main flow chart of equipment support capability evaluation meta-evaluation

搜集整理信息,通常包括收集和确定已有相关信息和采集所需的新信息两项内容。其中,已有相关信息主要是目标评估活动中评估方案的评审与确认,评估成绩的分析与验证,评估报告的评审与确认相关的信息资料,所需的新信息可采用问卷调查、现场访问、实地查看等方式进行采集。
分析综合信息,元评估人员对搜集到的评估指标相关信息,依据实用性、可行性、合理性、准确性的四维元评估标准进行归纳整理。
形成元评估报告,即根据判断标准评判目标评估的过程。首先,组织专家对整理归纳的四维元评估信息进行等级评判;其次,根据确定的评估方法进行综合评估;最后,生成元评估报告。
解释及应用元评估结果主要包括三项内容:一是通过口头或书面的形式报告元评估结果,二是对报告中的相关问题进行分析解释,三是对报告的应用与相关方进行沟通交流。

4 实例分析

本文以对某中型合成旅装备保障能力评估为例,组织对其进行元评估分析。首先,在对收集到的相关信息进行综合整理基础上,组织专家进行等级评判,评分采用五级评分模式,5分代表优秀,4分代表良好,3分代表一般,2分代表较差,1分代表很差,具体如表4所示;其次,通过层次分析法确定评估指标权重;最后,评分经过模糊加权后合成最终结果指数,进而确定元评估的结果等级。
表4 元评估结果等级

Tab.4 Evaluation result level

等级 Ⅰ级 Ⅱ级 Ⅲ级 Ⅳ级 Ⅴ级
分数区间 (5,4] (4,3] (3,2] (2,1] (1,0]
1)指标评分及确定权重
由专职元评估人员组织遴选20名评估领域专家,对元评估指标项目进行评分,评分结果见表5。表中权重通过AHP法计算得出,认同度得分由均值大于等于4分的指标所占总比决定。通过认同度描述该指标得分的信效度。
2)计算元评估结果
根据FAHP原理,元评估结果计算公式为
S = ∑ i = 1 n B i W i
其中, S表示元评估结果, B i表示元评估指标专家评判得分均值, W i表示元评估指标权重。
经计算最终得分为 S = 3.91,对照元评估结果等级标准,说明此次元评估结果等级为Ⅱ级。
3)元评估结果分析
从表5可得,专家组对评估信息采集的准确性认同度最低,平均分低于3.2分指标共4项,分别是评估利益相关方的影响、评估组织实施的规范性,评估信息采集主要问题集中在评估过程较长,部分指标信息采集在不同阶段反复实施,评估手段信息化程度不高等方面。元评估结果说明装备保障能力评估已基本形成较为完善的系统,但在评估指标选取及组织实施阶段仍存在信息化程度不高的问题,需要深化理论研究与实践探索。
表5 装备保障能力评估实施元评估结果统计

Tab.5 Statistics of meta-evaluation results of equipment support capability evaluation

标准 指标 均值 认同度 权重 得分
实用性标准 评估人员的可信度 4.65 0.45 0.030 8 0.14
评估流程设计 4.35 0.41 0.025 8 0.11
评估工作的规范性 3.85 0.62 0.031 6 0.12
采集信息的信效度 3.90 0.56 0.034 9 0.14
评估标准的确定 4.25 0.77 0.030 8 0.13
评估结果的清晰性 4.05 0.64 0.036 7 0.15
评估结果的反馈 4.45 0.65 0.034 0 0.15
评估利益相关方的影响 2.98 0.26 0.035 8 0.11
评估组织机构人员情况 3.35 0.37 0.087 7 0.29
可行性标准 被评估单位配合支持程度 4.10 0.66 0.114 5 0.47
评估组织实施流程 4.00 0.60 0.100 2 0.40
合理性标准 被评估单位人员参与情况 4.30 0.85 0.036 6 0.16
评估工作的发起者 4.30 0.70 0.026 7 0.11
评估的完整性 4.15 0.66 0.036 6 0.15
评估方式 4.40 0.74 0.029 9 0.13
评估定位 4.36 0.74 0.029 9 0.13
评估组织实施的规范性 3.00 0.29 0.039 8 0.12
评估结果的反馈形式 4.16 0.65 0.027 5 0.11
准确性标准 评估方案的制定 3.45 0.42 0.036 0 0.12
评估信息可靠性 3.45 0.43 0.047 6 0.16
评估信息采集 3.20 0.23 0.040 6 0.13
数据处理分析 3.80 0.39 0.037 4 0.14
评估结果公平性 4.15 0.67 0.051 6 0.21

5 结束语

对装备保障能力评估实施元评估是基于实践需求的必然选择,其重要性犹如审计之于会计,如果只是依靠会计人员提供的财务报表,而不进行独立审计审查,将面临严重的风险。本文从介绍元评估基本理论开始,对元评估主体、模式、内容、标准、方法及程序等相关要素进行了分析,提出了装备保障能力评估元评估的对应方案,并进行了实例分析,研究成果能够为相关实践活动提供理论指导和技术支撑。

References

Publishing order | Descend order by publishing year | Descend order by cited within
[1]
SCRIVEN M. Types of evaluation and types of evaluator[J]. Evaluation Practice, 1996, 71(2):151-161.

[2]
兰丙寅. 对军事训练等级评定实施元评估研究[J]. 武警学术, 2015(1):32-36.

LAN B Y. Research on the implementation of meta-evaluation of military training grade[J]. Academic Journal of Armed Police, 2015(1):32-36.

[3]
张继平. 学科评估服务“双一流”建设:元评估的现实困境与路径选择[J]. 现代教育管理, 2020(12):63-71.

ZHANG J P. The discipline assessment serves for “double first-class” construction: dilemmas and paths of Meta-evaluation[J]. Modern Education Management, 2020(12):63-71.

[4]
蔡卓函, 穆歌, 冯琦琦, 等. 基于元评估的武器装备体系贡献率评估指标优化方法研究[J]. 新型工业化, 2021, 11(6):238-240.

CAI Z H, MU G, FENG Q Q, et al. Research on optimization method of contribution rate evaluation index of weapon equipment system based on meta-evaluation[J]. The Journal of New Industrialization, 2021, 11(6):238-240.

[5]
李鹏, 朱德全. 职业教育学习评价元评估:四维尺度分析[J]. 重庆高教研究, 2020, 8(3):101-114.

LI P, ZHU D Q. The meta-evaluation of learning evaluation on the vocational education: a four-dimensional scale analysis[J]. Chongqing Higher Education Research, 2020, 8(3):101-114.

[6]
刘苹苹. JCSEE元评估标准中“评估问责”属性的探析[J]. 上海教育评估研究, 2020(2):81-86.

LIU P P. Exploration on the attribute of evaluation accountability presented by JCSEE[J]. Shanghai Journal of Educational Evaluation, 2020(2):81-86.

[7]
李鹏. 职业教育学习评价元评估标准:国际与本土的尺度整合[J]. 职业技术教育, 2020, 41(1):6-12.

LI P. The Meta-evaluation criteria of vocational education learning evaluation: integration of international and local scale[J]. Vocational and Technical Education, 2020, 41(1):6-12.

[8]
杨保平, 杨昱, 姬祥, 等. 评估理论、模型和应用[M]. 国防工业出版社, 2019:449.

YANG B P, YANG Y, JI X, et al. Evaluation theory, model and application[M]. National Defense Industry Press, 2019:449.

[9]
谭燕萍. 探析档案安全风险评估中的元评估[J]. 档案管理, 2017(1):52-53,7.

TAN Y P. An analysis of meta-assessment in file security risk assessment[J]. Archives Management, 2017(1):52-53,7.

[10]
张耀龙, 阮拥军, 李震. 基于FAHP的合成旅装备保障能力评估研究[J]. 指挥控制与仿真, 2021, 43(6):71-77.

DOI

ZHANG Y L, RUAN Y J, LI Z. Research on evaluation of synthetic travel equipment support capability based on FAHP[J]. Command Control & Simulation, 2021, 43(6):71-77.

Options
Outlines

/

〈 〉