中国指挥与控制学会会刊 
信息化条件下,基于指挥信息系统、模拟仿真系统等信息系统的联合作战教学演训活动是院校、训练基地和部队开展实战化教学训练的重要组成部分,尤其是在军事院校教学训练中的重要性十分突出,是开展理论学习、战例研究、想定作业和综合演练的首要支撑。基于信息系统的联合作战教学演训活动广泛展开和不断深入,产生了大量教学演训准备、教学演训实施和教学演训评估等多源数据,数据规模呈爆发式增长,已成为院校的一类重要数据资源。然而,当前院校基于信息系统的联合作战教学演训数据利用率不高,数据共享能力和数据服务能力薄弱,主要原因在于院校数据治理手段匮乏,数据治理平台缺失,数据治理能力较低。为提高数据可用度,充分释放数据效能,亟须开展联合作战教学演训数据治理研究。
1 联合作战教学演训数据治理概念
1.1 基本概念
联合作战教学演训数据治理概念示意如图1 。
联合作战教学演训数据治理是指在教学演训数据呈现典型大数据特征背景下,以提高多源异构数据的可用度、释放数据效能为目的而开展的数据采集、数据挖掘、数据分析、数据管理、数据应用、数据服务等技术和管理活动,从数据方面支持各类教学演训活动中指挥信息、模拟仿真等信息系统的灵活部署、高效运行和快速拓展,为有效提高系统保障水平、教学演训活动质量提供准确、全面、可信的数据保障。
1.2 治理对象的特点
联合作战教学演训数据治理的对象就是联合作战教学演训数据,它是指通过业务系统数据准备、业务系统运行、演训效果评估、教学备课、课堂讲授、课堂讲评等手段,对联合作战教学演训活动进行准备、开展、评估等所获取的所有数据,用于服务和支撑联合作战教学演训活动。
联合作战教学演训数据的典型特征是多源异构性[3]。联合作战教学演训活动每次实施时都将利用和产生大量数据,如想定数据、情况处置数据、作战文书、演训评估数据、综合参考资料等,且这些数据以不同的格式存在于教学管理、教学实施、教学保障等不同部门。其中,有以Oracle、MySQL和SQL Server等关系型数据库数据为代表的结构化数据,有以XML为代表的半结构化数据,还有以文本、图片、音视频为代表的非结构化数据;既有指挥信息系统、模拟仿真系统内的动态数据,也有其他辅助专业信息系统中的动态数据,这就使得数据的多源异构性极为突出。
2 联合作战教学演训数据现状
2.1 缺乏统一的数据质量管理体系
当前,院校没有统一的数据质量管控部门,数据质量管理由信息系统负责部门、使用部门分头管理,部门间数据质量管控机制、质量标准认定机制仍不健全,是影响数据质量的重要因素[4]。同时,各部门的信息系统对于数据质量管理的标准与方法各不相同,跨领域的数据集成与数据共享质量难以保证,也缺乏专业的数据质量工具支撑和数据质量管理能力。数据质量决定了数据的可用性,联合作战教学演训数据中存在的数据不一致、不完整、不准确等情况,显著影响了联合作战教学演训活动的效果,这就需要通过清洗数据错误提高数据质量,确保数据应用的有效实施,防止基于数据的决策产生误导甚至产生有害的结果,保证数据的一致性、准确性、完整性。
2.2 缺乏统一规范的数据标准和模型
教学活动涉及院校多个部门和多种业务系统。院校的各部门为满足快速变化的系统运用需求,逐步建立了各自的信息系统,虽然各业务系统的自建数据已形成一定规模,但各部门从自身数据运用需求出发开展数据建设、数据运用和数据管理,导致数据“烟囱”林立,加之数据来源多样、数据规划欠缺,出现了数据规范性不强、不一致性突出、无法共享的问题,导致各信息系统间的数据资源整合和共享能力不能满足院校发展要求[5]。数据标准不统一和纷繁复杂的数据格式、参差不齐的数据质量导致数据相容性程度低,容易产生数据矛盾和冲突,降低了数据可用度。
2.3 数据采集、集成、共享存在诸多弊端
目前,院校缺少可靠的数据采集和集成手段,无法实现结构化、半结构化和非结构化等多源数据的可靠汇聚,数据融合效率低,融合维护繁琐;缺少多源数据汇集一致性保证措施,难以跟踪数据汇聚过程并发现数据差异;缺少端到端的数据交换,数据交换过程繁琐,开发实施成本高。同时,数据“云”化程度低,数据共享困难[6]。联合作战教学演训活动实施过程中,演训数据大都存储于本地计算机存储介质中,虽具备局域或者广域网络联通条件,本地用户或者异地用户却无法直接访问,数据“云”化程度很低,制约了数据效能的发挥和释放,不能满足当前和今后本地分布式演训和异地分布式联教联训两种典型样式的数据共享需求和数据服务需求。
2.4 数据安全管理重视程度不够
由于缺乏对数据架构管理的统一要求,虽然院校在数据安全领域管理意识较强,采取数据分类、数据分级和传输管控等管理手段,但是数据所有方对数据分发和共享过程存在的安全疑虑会降低数据共享的程度和效率。例如,缺少流程审批机制,造成数据安全管控部分环节缺失,存在数据安全风险,缺少对脱敏数据的管控,造成敏感数据不安全的问题。
2.5 模拟数据生成需求迫切
近年来,随着院校实战化教学演训的扎实开展,大量新型信息系统配发院校供教学科研使用。然而,由于联合作战教学演训活动类型众多、场景多样,现有配套数据无法满足多类型、多场景教学演训需要,显著制约信息系统对联合作战教学演训效能的提升作用。因此,需要开展模拟数据生成手段研究,通过对不同教学演训规模、任务情况下系统数据需求展开研究,辅以必要的数据生成系统研制,为教学演训等活动提供必要的数据支持,满足院校多样化联合作战教学演训活动需要。
综上所述,当前院校在联合作战教学演训数据治理活动的组织、实施、制度、技术支撑手段等方面不明确,在数据质量、数据标准和规范、数据集成和共享、数据安全管理以及数据生成等方面存在短板弱项,导致数据治理能力较低,降低了数据可用度,制约了数据效能发挥。因此,应从顶层设计角度出发,深入开展数据治理模型和数据治理平台研究,为联合作战教学演训数据治理提供宏观指导和理论支撑。
3 联合作战教学演训数据治理模型
数据治理模型是数据治理活动的逻辑结构和行动方针,确保数据治理活动的可操作性。为高效开展联合作战教学演训数据治理活动,保证数据治理可实施和可操作,首先应当建立和规范联合作战教学演训数据治理模型。
3.1 国内外数据治理模型研究
国外典型的数据治理模型包括DAMA数据治理模型、DGI数据治理模型、ISACA数据治理模型、HESA数据治理模型、Mustimuhw Information Solutions数据治理螺旋模型、Information Builders数据治理简易模型等,相关文献已对其构成要素、治理特点、适用范围/对象、优势以及不足作了较为全面论述,国外数据治理模型的典型特点主要包括两个方面:一是通用性虽强,但忽略领域特性,如DAMA模型、DGI模型等;二是模型复杂度不够适中,如HESA模型复杂度很高,简易模型复杂度很低,导致数据治理活动难以落地实施或者达不到预期效果。
国内典型的数据治理模型包括中国电子技术标准化研究院《数据治理白皮书》中提出的数据治理模型和国内学者提出的高校图书馆数据治理CALib模型。两种模型均是以立方体形式,多角度描述了数据治理活动,其中前者提出的数据治理原则对于其他领域数据治理活动具有重要指导意义。与国外数据治理模型相比,国内提出的两种模型具有边界清晰、维度全面等特点,更加适用于作为院校联合作战教学演训数据治理。
3.2 数据治理模型构建分析
根据国内外数据治理模型的对比分析,一个完善的数据治理模型需要包含以下因素:
1)数据治理的原则。治理原则是治理活动应当遵循的标准,有利于明晰治理模型运转的边界。在构设数据治理模型时,应根据行业特征对数据治理原则进行特化、细化。
2)数据治理的目的。治理目的是治理活动应当达到的预期目标以及附带效应,是治理模型的任务指向。
3)数据治理的主体与角色。人是数据治理活动的主体,不同的治理主体担负不同的职责,扮演不同的角色,共同构成数据治理链条,通过明确数据治理的主体和角色划分,有利于落实数据治理职责,提高数据治理模型的可操作性和可实施性。
4)数据治理的核心要素。除了治理主体这一核心要素外,还应包括数据治理操作要素和环境要素。操作要素主要是指数据治理活动的外部驱动力,包括数据治理工程化技术、管理方法和政策法规等。环境要素主要是指影响数据治理活动开展的资金因素、文化因素以及思想观念因素等。
此外,还应当考虑数据治理的范围和实施评估。
3.3 联合作战教学演训数据治理模型构建
联合作战教学演训数据治理是在院校联合作战教学演训战略和规划的指导下实施的,具有数据庞杂、覆盖面广、指令性强等鲜明的行业特征。根据模型构建分析并结合院校联合作战教学演训行业特征,提出联合作战教学演训数据治理(Teaching & Training Data Governance,TTDG)模型,如图2 所示。TTDG模型由数据治理原则、目的、主体与角色、核心要素以及治理范围与实施评估等组成,是率先致力于解决联合作战教学演训数据治理问题的理论模型。
1)治理原则
联合作战教学演训数据治理是院校提高数据可用度、充分释放数据赋能作用的重要手段,应在院校总体发展战略内平稳有序地开展。因此,联合作战教学演训数据治理的原则是战略一致、风险可控、运营合规和效能释放。战略一致即数据治理工作要与院校数据战略与规划相一致;风险可控是指数据治理工作要在不影响正常数据业务活动的前提下开展,确保教学演训活动无数据风险;运营合规是指数据治理活动必须符合院校关于数据运用、数据安全等方面的相关规定;效能释放是指数据治理活动应当充分释放教学演训数据的使用效能,不断提升数据使用效益,助力联合作战教学演训活动质量提升。
2)治理目的
针对联合作战教学演训数据质量不高、标准不一、共享能力薄弱、存在安全风险等典型问题,联合作战教学演训数据治理的目的就是“数据可用、数据好用、数据共享、数据可控”。数据可用是指数据治理活动应当首先致力于改善数据质量,提高数据可用度。数据好用是指数据治理活动应解决数据跨域、跨部门运用以及模拟信源支持的问题。数据共享是指数据治理活动应当实现以数据治理平台为依托、数据集成技术为支撑的数据共享。数据可控是指数据治理活动应当保证教学演训数据的安全流转、安全共享和安全保密。
3)治理主体
联合作战教学演训数据治理的主体是人,治理活动涉及多部门协同和复杂业务流程,应当区分治理角色精准实施。主要角色包括数据治理委员会、数据治理团队以及业务所有者、数据管理员和数据用户。数据治理委员会是数据治理活动的顶层设计和指导部门,对院校机关部门直接负责。数据治理团队是数据治理的具体实施者,负责数据治理技术路线设计和技术应用示范。业务所有者、数据管理员以及数据用户分别是教学演训数据的直接提供者、管理者和使用者,也是数据治理活动的参与者与受益者。TTDG模型强调数据治理活动与组织设计、管理机制密切相关,并明确了各角色的职能任务,体现了“将数据视为组织资产、人人可获取数据”的理念。TTDG还指出数据治理活动离不开宏观政策和具体数据治理政策的指导,模型中的“指导”“授权”和“升级”是此理念的直接体现。
4)操作要素
操作要素是联合作战教学演训数据治理活动可采用的工程化技术、可实施的数据管理方法和可遵循的法规依据。操作要素中数据治理工程化技术包括数据采集、ETL(extract, transform & load,抽取、转换和加载)、数据校验、数据生成、数据建模以及数据服务等技术。数据管理方法包括主数据管理、元数据管理、数据生命周期管理、数据安全管理等。政策法规包括战略规划、宏观政策、数据治理政策以及数据安全政策等。
5)环境要素
联合作战教学演训数据治理是新兴活动,与传统的数据思维和壁垒观念存在较大差异,它的开展必然受到资金、文化和思想观念等环境要素的影响,在数据治理活动中应当考虑以上环境要素,确保数据治理活动有原动力支撑。资金因素包括专项支持、团队培育和人才培养三方面内容,文化因素包括数据思维、主数据文化以及元数据文化,思想观念因素包括治理观念、共享观念和安全观念。
6)治理范围
治理范围是对数据治理重点关注领域的描述,依据数据先生产、后汇聚、再运用的逻辑,按照自底向上的顺序,联合作战教学演训数据治理范围包括源数据层、价值支撑层和数据价值层。
a)源数据层
源数据层主要是指数据体系、数据架构以及业务数据。数据体系是从联合作战教学演训数据需求出发,描述数据类别、数据组成和逻辑关系。教学演训数据体系构建着眼联合作战教学演训活动的总体数据需求,以实现数据高效管理和重用共享为目标,对演训数据按照不同功能和作用进行分类,对各类数据进行规范化设计和统筹组织,重点是根据军事数据标准、数据分布层次构建各类数据库,形成联合作战教学演训数据库组成和详细结构。数据架构是数据的物理表现形式、逻辑联系、内部格式和文件结构,主要定义数据展示、存储、分析、交换的方式和机制。业务数据是在联合作战教学演训数据体系和数据架构下支撑业务系统运行的底层数据,主要包括基础数据、业务支持数据、演练想定数据、态势数据、训练结果数据和归档数据。
b)数据价值支撑层
数据价值支撑层是指元数据、主数据以及数据质量。元数据是关于数据的数据,是数据定义和属性的表示,包括业务规则、数据源、汇总级别、数据名称、数据转换规则、技术配置、数据访问权限和数据用途等。主数据是联合作战教学演训各业务系统中最核心、最需要共享的数据,是跨业务系统、可重复使用的高价值数据,存在于多个异构或同构业务系统中。主数据需要在整个联合作战教学演训过程中保持一致性、完整性和可控性。数据质量是指教学演训数据满足教学演训活动运用需求的程度,是教学演训数据建设质量与效益的关键因素,改善数据质量、提高数据可用度是数据治理活动的重要目的。
c)数据价值层
数据价值层是指经过数据治理后产生的具体数据产品,是数据价值的直接载体,包括数据流通、数据服务和数据洞察等。数据流通是指通过实现信息整合和分发机制,支持跨业务、跨部门、跨系统的信息流转和协同。数据服务是指通过数据的采集、清洗、导入,提升数据质量,确保数据的一致性。数据洞察是指通过消除数据内在的质量缺陷,明确数据间的关联关系,帮助数据用户更好地理解数据,实现数据洞察。
7)实施评估
联合作战教学演训数据治理活动不是单向的顺序逻辑,而是含有反馈回路的有机整体,对数据治理过程的评估是形成反馈回路的关键环节,应当纳入数据治理模型中。实施评估部分约定了联合作战教学演训数据治理实施和评估过程中的主要环节,包括实施方法、成熟度评估以及审计等。实施方法方面,联合作战教学演训数据治理应从宏观视角构建数据治理框架,明确治理阶段划分和具体技术支撑手段、管理保障手段,并明确各阶段治理活动的主要任务和需重点解决的问题,确保治理活动覆盖数据全生命周期。成熟度评估是促进治理活动动态反馈闭环形成的重要环节,旨在评估联合作战教学演训数据治理的水平,形成数据治理评估结论和改进建议,动态提高联合作战教学演训数据治理活动的成熟度。审计是联合作战教学演训数据治理活动的必要环节,旨在通过第三方机构对数据治理过程进行督导检查,在成熟度评估的基础上进一步推动数据治理目标落地,主要包括治理原则审计、数据体系审计、数据架构审计、数据质量审计以及数据安全审计等。
4 联合作战教学演训数据治理平台的初步设计
构设数据治理平台是实施数据治理的基本前提[7]。为开展联合作战教学演训数据治理,需要构建联合作战教学演训数据治理平台。联合作战教学演训数据治理平台统一管理和维护后,可分发给联合作战教学演训各信息系统,为各信息系统互联互通、数据资源综合利用提供基础。
4.1 设计目标
联合作战教学演训数据治理平台,以实现联合作战教学演训数据的“采、存、管、用”一体化为指引,形成集跨业务采集、分布式存储、高度融合、深度挖掘、统计分析、辅助决策于一体的分布式大数据应用系统和综合数据服务平台,提供业务数据的采集、存储和管理等功能[8],通过对各业务信息系统动态数据进行深度挖掘、统计分析、加工、融合后形成数据产品,以更加科学合理的类别和形式呈现给教员和培训学员,为联合作战教学演训活动提供多方位、跨领域的动态信息服务。
4.2 平台功能分析
为契合平台设计目标,联合作战教学演训数据治理平台架构如图3 所示。平台架构由数据采集层、数据存储层和平台管理层组成,分别提供数据采集、数据存储和数据管理功能。
1)数据采集层功能分析
提供在线采集、离线采集、交换采集、填报采集、数据引接等多种教学演训数据采集手段,拟采用分布式高速可靠数据采集、高速数据全映像等大数据收集技术,获得各种类型的结构化、半结构化以及非结构化的海量教学演训数据。
2)数据存储层功能分析
提供关系型数据存储服务和大数据存储服务。一方面,支持将结构化教学演训数据存储至Oracle、MySQL、SQL Server、Access、DB2等关系型数据库中;另一方面,以Hadoop为基础平台,支持采用Hive(分布式数据仓库)、Impala(数据查询系统)、HBase(分布式数据库)、Spark(计算引擎)、Elastic Search(全文搜索引擎)、MapReduce(分布离线式计算框架)、YARN(集群资源管理系统)和HDFS(分布式文件系统)等功能组件,实现海量教学演训数据计算、存储与查询的安全高效。
3)平台管理层功能分析
a)元数据管理功能
元数据管理功能,以服务于基于元数据的业务应用为出发点,围绕元数据的创建、存储、整合等基本业务流程,提供元数据采集、元数据组织管理、元数据关联分析、元数据版本管理等功能,具体可细化为元数据字典创建、查询检索、元数据建模和元数据血缘分析等,确保用户掌握元数据概况,快速定位元数据,明晰数据流向和便捷维护元数据。
b)主数据管理功能
主数据管理(Master Data Management,MDM)的对象是具有高业务价值、跨信息系统、可重复使用和共享共用特征的数据[9],旨在维护主数据的一致性和完整性,主要包括主数据采集、组织管理、关联分析、版本管理等功能。从信息系统应用的角度看,它将各信息系统共用的数据进行汇聚整合,通过数据清洗和数据标准化处理,以数据服务方式分发给各信息系统,确保各信息系统间主数据的统一性和完整性。
c)数据标准管理功能
数据标准管理是通过使用标准业务术语,以可视化的方式实现对数据标准的统一规范管理,针对已建立的各个数据逻辑模型,从属性字段的业务规范、管理规范、技术规范等方面,为信息系统间的数据共享提供保障,为数据字典服务及数据质量提供基础支持,主要包括元数据标准、主数据标准、数据质量标准、代码集等管理功能,确保联合作战教学演训活动中各部门、各信息系统达成对数据理解的一致,提高数据共享交换的质效。
d)数据资产管理功能
数据资产管理功能为数据全生命周期管理和数据效能释放提供支撑,主要包括数据目录、数据服务、数据生成、数据生命周期等管理功能。其中,数据目录为全局数据资源目录提供统一管理,具体包括分类层级管理、标签管理、个性主题导航等;数据服务管理,通过建立数据服务申请、发布机制,实现数据服务的按需定制和灵活应用;数据生成管理,以业务模型驱动为核心方法,按需生成各信息系统急缺的基础数据、想定数据等,以数据赋能方式释放信息系统的教学演训效能;数据生命周期管理是指为实现数据管理愿景和目标,在数据全生命周期中嵌入、落实各项数据管理工作,确保在数据全生命周期中,数据能够得到有效管理,并满足多样化的数据应用需求。
e)数据质量管理功能
数据质量管理指通过管理数据质量评估规则,构建数据质量评估模型,利用数据质量引擎,建立质量规则库,提供数据标准化清洗和质量稽核服务,实现数据的标准化应用,逐步实现对信息系统数据质量的监督和管控,包括数据质量规则、评估、统计、处置等管理功能。在工程化实践中,一方面需要在数据质量检测和明确数据校验准则基础上,构建数据质量评估模型,另一方面建立覆盖数据全生命周期的数据治理管理体系,全方位规避、发现和解决数据问题,确保各信息系统中数据应用活动高效开展。
f)数据安全管理功能
数据安全是数据治理过程中的重要内容,是各信息系统对外数据共享时的数据安全控制规则,主要着眼数据共享、数据使用和数据存储等环节的安全隐患,采取认证、授权、脱敏等措施,提供数据脱敏、数据密级管理、用户权限和安全审计等功能,确保各信息系统数据的安全访问、安全共享、安全使用。
5 结束语
本文着眼基于信息系统的联合作战教学演训活动之急需,研究了联合作战教学演训数据治理的概念、数据现状、治理模型和治理平台,对于提高院校联合作战教学演训活动的数据质量,减少数据孤岛,利用数据碎片,打破数据壁垒,实现数据共享,保证数据安全,形成数据资产具有重要指导意义。其未来应用领域方向主要包括:
一是数据中心数据工程建设。数据中心是基于信息系统的联合作战教学演训活动的后台支撑,本文成果可应用于数据中心数据工程建设,通过融合不同业务系统来源的数据资源,为教学演训用户按需提供数据产品和服务,实现数据资源的共享和重用。
二是院校数据中台建设[10]。数据中台是平台级数据治理工具的发展方向,本文成果可与数据中台理念和设计方法相融合,推动院校数据资源的统一管理和高效共享,在数据平台层面有效辅助基于信息系统的联合作战教学演训活动开展。