中国指挥与控制学会会刊 
智能人机交互是通过计算机技术,实现人与计算机系统智能化、自然化、高效化交互的技术。它融合了多个学科领域,包括人工智能、机器学习、行为学、自然语言处理等。随着计算机技术、人工智能水平的快速进步,不断推动了“以人为中心”的智能人机交互技术的发展[1⇓-3]。智能人机交互技术在生活中得到广泛应用,如聊天机器人、智能语言翻译系统、智能导航系统等。此外,智能人机交互技术在军事中也得到了推广,“弗吉尼亚”级攻击核潜艇已经实现了操控系统的智能化[4],有效提升了水下指挥的交互效率,并实现减员;美国国防部高级研究计划局(DAPRA)提出“班组X核心技术”(SquadXCore Technologies,SXCT)项目,通过态势感知、自主规划及增强现实等智能人机交互技术,提高人员水下作战的适应性和效率。智能人机交互技术的发展对提升水下指挥控制能力具有强有力的推动作用。
水下指挥控制系统对人与计算机之间的沟通效率提出了更高的要求,人机交互的本质是多模态的,在交互过程中,语言、声音、视觉、触控等信号共同表达人的情感和意图。为了适应水下智能化指挥控制的模式,提升水下指挥控制的人机交互效率,本文基于多模态人机交互技术和主成分分析法,搭建了水下指挥控制智能仿真平台,证实多智能人机交互能够有效提升水下指挥控制的交互效率。
1 智能人机交互需求分析
水下指挥控制环境复杂,容易遇到不可预知的情况和恶劣的水文气象条件,影响与外部的通信效率,且操作者需要在高压、高湿等严酷的环境下作业,现代战争数据、信息量骤增,对水下指挥控制系统人机交互的人性化、效率都提出了更高的要求。智能人机交互可以提供更加丰富的交互方式、更生动的信息展示模式、更快速的数据处理能力,保证操作者在极端环境下也能进行高效、准确的操作。
智能人机交互是水下指挥控制发挥最大效能的倍增器。传统的水下指挥任务中,指挥控制系统将传感器、武器、态势等探测信息以文字、符号、图形、表格等形式呈现,用户通过键盘、摸球等操控方式完成操作、调整、记录,交互接口设计通道相对单一,可扩展性较差,过程复杂,缺乏以用户认知为指导的、面向任务的、深度交互的智能一体化交互设计。随着智能化和信息化的不断发展,水下战场态势信息日渐丰富,数据量成倍增长,传统人机交互模式智能化程度低,对用户不够友好,无法满足未来信息化战场中快速响应、快速作战的需求。智能人机交互技术可以为指挥舱提供多种指挥通道,实现了多通道指挥、动态同步决策信息,简化了操作流程,提升了指挥效率。
智能人机交互可以提升水下采集数据使用率。水下指挥控制需要实时数据共享,各种传感器探测的信息需要实时监测,智能人机交互技术能够整合大量、多维、繁杂的数据信息,以可视化的方式展示给用户,供用户实时查看、分析和决策。此外,智能人机交互可以为水下指挥控制系统提供智能分析与决策,结合大数据分析和机器学习算法,能够实现对海洋环境、敌我双方态势等信息的实时分析和预测,用户可以获取实时推荐的指挥方案、战术建议等,以支持更准确的决策。
智能人机交互能够提升水下指挥控制系统的适应性。水下指挥控制对数据的实时性要求高,智能人机交互能够同时处理语音、视觉、触觉等多种感知模式,保证多通道交互,确保指挥信息快速、准确下达和共享[5-6]。例如,智能人机交互可以支持联合标绘,满足多个客户端地图信息热点关联且同步显示互不影响。同时,考虑水下指挥环境的特殊性,界面设计必须要考虑水下指挥控制的操作条件。支持面向任务可通过自适应的界面形式展示给用户,自适应界面可以根据用户的使用场景和需求,自动调整页面亮度、布局、大小和位置,最大限度提炼有效交互信息,便于用户开展协同指挥。用户也能够根据实际情况和个人需求,灵活调整界面来满足任务要求,保证水下指挥控制的效果和安全性。
2 基于主成分分析法的自适应智能人机交互界面
自适应智能人机交互界面是根据用户设备、屏幕尺寸、屏幕方向或其他环境因素的变化,自动调整页面布局、样式及功能,以适应不同应用场景的用户界面[7]。水下指挥控制系统自适应界面主要是根据任务内容,给用户呈现正确、简洁、高效的操作界面,使用主成分分析法的自适应智能人机交互界面设计流程如图1 所示。
本文设计的自适应智能人机交互界面将水下指挥控制系统界面拆分为若干个子界面,根据作战任务和用户身份组合生成最终界面。为了确定子界面的组合方式和布局模式,本文开展了基于主成分分析法实现自适应界面的研究。
主成分分析(principal component analysis,PCA)法是将多个指标简化为少量几个指标的统计方法,最早由Pearson提出,后被 Hotelling发展[8]。主成分分析法主要是通过降维的方法将多个变量化为少数几个主成分,这些主成分包含了变量的绝大部分信息。
水下指挥控制系统自适应智能人机交互界面设计过程如下:
1)综合考虑水下指挥控制系统界面设计规范和使用场景,选择了7个自适应智能人机交互界面设计指标:界面显示顺序、浏览时间、界面操作性、界面响应式设计、界面交互关联性、多模态交互通道(语音、手势、眼动等)、界面交互兴趣性。
2)获取13个用户对7个影响自适应界面生成的指标,将样本数据初始化后,得到标准化矩阵X13*7:
3)X相关系数矩阵为R=(rij)7×7=X'X。
4)计算相关系数矩阵R的特征值和对应的单位特征向量,其中,第一特征值为5.60(>1.0),对应特征向量为
u1= '
5)计算每个主成分的方差贡献率和累积方差贡献率,得到每个主成分包含原始数据信息的占比,结果如表1 所示。
表1 主成分分析法方差累积贡献率Tab.1 Principal component analysis method cumulative contribution rate of variance |
| Comp.1 | Comp.2 | Comp.3 | Comp.4 | Comp.5 | Comp.6 | Comp.7 | |
|---|---|---|---|---|---|---|---|
| 方差累 积贡献率 | 80.13% | 92.53% | 96.32% | 98.41% | 99.37% | 99.84% | 100% |
通过表1 得知,第一主成分的方差贡献率为80.13%(超过80%即可),故只提取主成分一,该主成分已经可以包含用户对水下指挥控制系统自适应智能人机交互界面设计指标的关注重点。
主成分分析结果碎石图见图2 ,可知第一个主成分后,其余主成分的特征值彼此差异不大,因此,选择一个主成分是合适的。第一主成分各指标的系数见表2 。
图2 自适应智能人机交互界面设计指标主成分分析碎石图Fig.2 Adaptive intelligent human-machine interaction interface design index principal component analysis gravel chart |
表2 自适应界面第一主成分系数表Tab.2 Principal component analysis method cumulative contribution rate of variance |
| 界面显示顺序 | 浏览时间 | 界面交互兴趣性 | 界面响应式设计 | 界面交互关联性 | 多模态交互通道 | 界面操作性 |
|---|---|---|---|---|---|---|
| 0.404 | 0.379 | 0.389 | 0.236 | 0.401 | 0.412 | 0.395 |
由表2 确定第一主成分主要由界面显示顺序、界面是否需要操作、界面交互关联性、多模态交互这四个指标决定。说明在开展该任务过程中,用户对功能界面的正确显示、交互模式友好性、围绕指挥任务推送界面的需求更高,在生成自适应界面时,可以将对应的功能界面优先展示在前端。
6)采用主成分一中的指标开展水下指挥控制系统的自适应智能人机交互界面设计。
7)通过图像识别获取用户身份,将多个子业务界面在响应式设计的标准下,自动排列生成业务界面,用户也可以根据当前任务调整子界面的内容和布局,基于用户操作经验,不断调整自适应界面的呈现内容和方式。
3 仿真验证
3.1 整体设计
仿真平台主要由显控设备、计算设备、态势模拟设备组成,显控设备提供多模态人机交互通道且负责展示自适应智能人机交互界面,计算设备提供计算资源,用于处理任务流程和智能人机交互中的数据处理,态势模拟设备提供仿真数据。
显控设备不仅有键盘、鼠标等传统交互方式,还配有听音模块、图像识别模块、触摸屏等。听音模块可以实现语音交互,指挥指令可以通过自然语言直接注入指挥系统;图像识别模块可以确认用户身份,根据用户身份自动进入对应的操控界面;触摸屏具备多点触控的能力,通过手抓取切换菜单,实现内容调取及放大缩小、左右移动、位置调整,交互方式多样、便捷,提高人机交互效率。仿真平台具备多模态人机交互通道,通过模拟态势和客户端输入数据驱动智能人机交互处理模块,根据作战任务需要和用户习惯,使用主成分分析法生成自适应界面。
3.2 验证结果
通过仿真态势驱动,分别使用仿真平台和模拟传统系统操作,同样的业务流程,仿真平台的操控者人机交互步骤明显减少,人机交互和指挥效率提高,对比结果见表3 。
表3 智能水下指挥控制仿真平台交互效率提升对照表Tab.3 Comparison table for improving interaction efficiency of intelligent underwater command and control simulation platform |
| 页面切换次数 | 鼠标点击次数 | 业务用时 | |
|---|---|---|---|
| 仿真系统交互提升效率 | 50.0% | 19.3% | 3.4% |
从分析结果可以看出,仿真平台提供的自适应智能人机交互能够根据指挥任务帮助用户快速定制指挥控制界面,用户下达指令后,不需要手动切换任务界面,智能人机交互处理模块就可以自动将接下来最有可能使用的界面切换到最前端,减少页面切换的交互,水下作战环境恶劣,减少非必须交互动作能够缩短交互用时,提升指挥效率。使用自适应智能人机交互,交互模式更加丰富,用户不用拘泥于鼠标点击、键盘输入等传统交互方式,语音、手势、触控都可以实现交互,并且能够多点、快速整合交互指令,真正做到“以用户为中心”,提升交互体验。最终,在相同条件下,完成相同的业务,基于智能人机交互的仿真平台鼠标点击次数减少 19.3%,业务耗时缩减 3.4%。水下指挥控制分秒必争,简化流程、缩短业务用时是提升水下作战能力的重要一环。
本文搭建的自适应智能人机交互仿真平台与用户共同构成一个认知系统,机器不仅仅是人工命令的执行者,还是人类指挥过程中的合作者,甚至可以自动完成大量的数据处理和数据分析。在水下指挥控制的场景中,数据源越来越丰富,数据量越来越大,对信息实时交换的需求更高,十分需要智能化的人机交互技术协助用户开展指挥。因此,根据业务需求和数据处理结果,结合用户的操作习惯,生成定制化自适应界面,能够极大地缩短人机交互流程,提升指挥效率,辅助水下指挥控制的开展。人工智能可以划分为五个等级,本文研究的智能人机交互可以达到第三级人工智能,能够以一定的样本数据和应用场景为基础,自动推送水下指挥控制系统界面子模块,供用户完成指挥任务。
4 结束语
本文基于水下指挥控制系统对智能化交互的需求,使用主成分分析模型,针对典型任务场景,搭建了水下指挥控制智能仿真平台,设计出面向任务的自适应智能人机交互界面。仿真分析表明,与传统操作相比,智能人机交互在耗时、操作流程上都有一定程度的优化,且交互模式更人性化、自然化,有效提高了指挥效率,减轻用户的负担。未来,智能人机交互肯定会在军事领域得到更多的应用,如何提高多通道信息整合精确度,更智能地理解用户交互意图,真正实现人与系统自然对话,还需要进一步的研究。