中国指挥与控制学会会刊 
近年来,无人化技术、人工智能的快速发展为无人系统跨域协同领域的研究打下了坚实的基础,也提供了技术和理论支撑。相对于仅依赖人的装备系统而言,无人系统具有应用广泛、成本低、效率高、人员伤害少和方便可靠等优势,其在技术上的不断完善和突破为协同模式的多样化和性能提升提供了进一步的发展空间,如无人机群可以通过编队选择性地观测地面以及空中目标,进入所需领域进行战局布控和监视,完成复杂任务,有力提升了战场信息获取和辨识的可靠度。
然而受制于现有技术,当前无人系统的智能化水平尚不足以实现大规模机群全自主协同作战模式,其应用难度较大。目前,人工智能、人机交互等广泛应用于战场通信、指挥控制、火力控制等领域,随着未来战争形式的变化,智能技术快速发展的同时,也使得“人”这一智慧个体在指挥作战中的重要性得以体现。为了结合人和机器系统之间的优势,人机交互、人机混合和人机协作等概念被提出,人与机器的有机融合可以使得指挥、通信等系统功能得到进一步提升,如在无人机集群中提出了将人的智慧和综合判断能力融入无人机编队系统中,发展人机编队,人与无人机两者作战优势的互补可以解决无人机群无法全自主协同作战的难题。因此,有人/无人机混合跨域智能协同逐渐成为国内外学术界关注的热点问题。人机融合结合了人和机器各自优势,形成“1+1>2”的新智能体系,可以获得更强大的作战功能,实施更精准的战略把控,是各国在未来战场上竞相争夺的关键技术制高点。此外,它作为混合智能发展的关键方向,也为未来的工业智能、航空航天、太空探测等诸多领域的发展奠定了基础。人机融合协同技术与性能优化的相关理论、方法得到了各国学者和军事学家的广泛研究,也取得了不少成果。
1 概念内涵
人机系统是由相互作用、相互依赖的人-机-环境三要素组成的具有特定功能的复杂集合体。人机融合系统则更加注重人与机器之间的深度融合,强调人与机器之间的相互理解、相互信任和相互协作,因此,人机融合系统是人机系统发展的高级阶段。人机融合系统的协作运行是人机系统技术发展的重要分支,随着人机融合系统规模和要素的增加,在多机协同基础上深度融入人的智能已成为发展趋势,例如联合作战条件下有人机与无人机蜂群协同作战。因此,本文所讨论的人机融合系统的协同技术中,协同包括两层含义:多机之间的协同和人机之间的协同。协同控制是多机协同的基本问题、人机融合与协作是人机协同(Human-Robot Cooperation, HRC)的重点研究方向,以下分别从这两个侧面对相关概念进行具体分析。
1.1 多机协同控制
协同控制是指充分利用系统的可用信息,交互对象之间实现信息共享,共同完成某一任务的控制方法[1]。在多机协同控制中,根据控制方式和目标的不同可分为三类:一致性控制(Consensus Control)、蜂拥控制(Flocking Control)和编队控制(Formation Control)。其中,一致性作为基础的研究方向,是指多个体之间可以通过通信网络进行信息传递,使得所有个体某个或多个状态随时间的变化趋于一致(共同的形态、运动等)。蜂拥控制是借助单个个体间的局部感知和相互作用,使得系统以团队的形式呈现一定的协调行为。而编队控制是指集群中所有个体通过调整自己的位置、速度等状态达到规定的编队姿态,实现队形的保持、调整以及重构。针对编队控制,如何有效利用相互通信时的状态参数获取和判别其中的有用信息,进而提高感知能力,为控制目标的实现提供算法与数据的支撑,是亟须解决的问题。相较于同构多个体间的协同,异构多个体系统考虑了具有不同属性或动力学形式的子系统,其协同控制问题被广泛研究且具有广阔的应用前景[2⇓⇓⇓-6]。跨域协同概念的提出使得异构集群系统的协同控制研究受到了各领域更多的关注,其中“域”不仅代表了横向上地理位置的不同,也涉及纵向上个体类别、智能形式的不同,如实现太空、空中、水中、陆地等场景下多机间的跨域协同合作[7-8]。
1.2 人机融合与协作
人机融合与协作的发展可以追溯到二战期间,当时的美国军方开始研究如何更好地让战斗机手和舰船指挥官与计算机系统协同作战。因此,可以说人机融合与协作的概念源于现实的军事需求。在军事领域中,战争元素就是人与机的结合,人具有形而上的意向性能力,如领导力、自主性、情感化、创造力等;机器具有形而下的形式化能力,如量化能力、计算速度、精度等。人机融合是一种两者跨越物种属性结合的智能体系[9],在该体系下,针对复杂任务,可以巧妙利用人的识别推理能力和机器的计算能力,发挥两者的互补优势,实现人机交互感知、计算与协作。人机融合无论是在技术发展上,还是应用模式上,都将影响现代和未来军事作战形式,成为决定战争胜利的首要因素。在智能化战争中,将人机融合概念运用至异构集群系统协同作战当中,可以集成人和不同机器的能力与优势,实现人机协同作战。人机融合协同所实现的更高智能的作战功能和作战方式可以超越兵器化和兵力化的集合,能在完成更加复杂的作战任务的同时减少人员损失和伤亡。在执行作战任务时,机器需要自动结合战场中诸多因素(如特定的场景、地形和战况等)进行综合态势研判,自动感知、理解和学习战场环境,理解指挥人员下发指令的意图。更加高级的人机融合需要将人的智慧和机器智能有机结合,形成人机深度感知模式,以更贴近“人”的智能模式对战场态势进行理解、思考和推理,充分利用获取到的战场情报,实现更加“自主化”“智能化”的战场态势感知和决策能力。如何激发人机融合的使用效能,实现人机间的深度融合和有效协同,在理论和技术问题上具有很大的挑战性[10]。深度态势感知即是其难点之一,它需要结合人的智能与机器智能,对外界环境态势进行感知、推理和理解并实现有效融合,然而人机间的认知屏障常常使得所获取到的信息和知识难以融合。因此,为解决军事中的人机智能融合问题,有必要打破人机间的已有认知和传统关系,对态势信息、推理数据和知识关系进行深度融合[11]。
2 现状分析及应用进展
从多机协同控制、人机融合与协作的相关概念和涉及领域来看,作为人机融合系统协同的两个基本方面,其技术的形成到发展经历了多次迭代和更新。以下对这两种主要技术的国内外研究现状及其应用发展状况进行深入分析。
2.1 多机协同控制技术
ui=-mikp ρ(x)-mikvvi+mikr∑j∈ig(xi-xj)
其中,xi、vi和mi表示机器人的位置、速度和质量,kp、kv和kr是预设的控制系数,ρ(x)是特定势能函数,g(·)定义为相邻个体位置差xi-xj的相关函数。此外,它还在此基础上对参数kp、kv和kr进行优化,实现了群体对复杂环境的适应以及能量消耗最优的目标。Do等[15]分析了多无人机(UAV)编队控制方法,并归纳总结了队形设计、调整和重构等问题,最后展望了多UAV协同编队目前及未来所面临的机遇和挑战。文献[16]研究了面向空地协同作战的无人机-无人车异构时变编队跟踪控制问题,多无人机与无人车在形成期望时变编队构型的同时,实现了对领导者参考轨迹的跟踪。文献[17]研究并构建了一套新型水空一体化无人监控系统,实现了基于涡轮推进的双体无人船结构,在保证船体行驶平稳性、快速性的同时,提高了无人机自主降落、无线充电的准确性。文献[18]分析了无人集群系统自主协同的关键技术,并展望了这些技术在推动无人作战样式由“单平台遥控作战”向海陆空协作的“智能群体作战”转变中的作用。综上所述,目前针对空域、陆域和水域多无人系统的协同控制技术已日趋成熟,并部分实现了跨域协同控制功能,但在面对现实复杂应用场景时仍面临算法可靠性、鲁棒性和适应性等问题。
2.2 人机融合与协作技术
对于无人操纵的机器而言,它具有“低智能”“形式化”“自主性缺乏”等缺点,很难达到和人一样具有自主认知、情感认知和自主思考推理的高级智慧。面对复杂的社会形态和科技的高速发展,国家之间的局势也越发不明朗,为实现更加强大且复杂的工业要求或作战任务,需要尽可能避免和弱化机器的这些缺点,这时被忽略已久的人的智慧显得尤为重要。人与机器的融合是两者的优势互补、智能结合,分担机器某些任务的同时也融入了人的智慧,对人工智能发展以及未来战争形势都将产生深刻影响。
目前,人机融合在各个领域被广泛研究和应用。在工业领域,Leinemann等[19]将人机合作应用于聚变电站操作系统中,其人机界面融合了计算机辅助设计系统、规划程序和计算机辅助远程操作系统,实现了聚变电站的远程操作。Kruger等[20]研发了基于人机融合的装配系统。张树忠等[21]进一步分析了人机协作装配系统中的协同控制技术现状和发展趋势,简述了几种主要控制方法的基本原理和关键技术,介绍了此领域的人类意图识别技术和6D位姿识别方法,并综合讨论了其优缺点和应用现状。Schlegl等[22]采用高斯混合模型模拟人类运动轨迹和姿态,其主要思想是利用相应时刻多个骨骼关节点所在的位置x(tk)来表示其运动轨迹yi:
yi=(x(tk-d+1),x(tk-d+2),…,x(tk),
x(tk+1),…,x(tk+m))T
在军事领域,对于未来战场中智能飞行器的发展而言,分布式智能协同作战、高度人机融合协同作战和集群作战三个过程必不可少,其中智能态势感知、智能决策和人机通信等关键技术亟待解决[25]。文献[26]针对有人/无人机协同编队控制问题,结合有人/无人机平台使用特点,从编队作战运用流程视角出发,对有人/无人机协同编队控制方法、编队生成与保持、编队重构、编队避障的研究现状进行了系统的综述。文献[27]强调了在智能指挥与控制各模块中人的重要性,构建了人机混合模型,并建立人与智能指挥控制间的关系,促进了人机融合智能指挥与控制功能的提升。此外,深度态势感知作为人机智能融合实现的难点,在未来战争中面临的挑战之一是“人+机+环境”融合问题,它们之间有效的融合机制、机理认知和协同模式都将是影响未来战争形式变化的关键因素[28]。综上所述,从人机交互到人机协同再到人的智能和机器智能的融合与协作,是有人/无人系统理论与应用的整体发展趋势,针对人机融合的协同技术及优化方法的研究具有很高的经济和军事应用价值,也是未来需要长期发展的方向。
2.3 应用进展
目前,国内外在民用和军用领域对人机融合的研究已经有了可观的进展。在民用领域,美国Fast公司提及的“人与机器人融合的阿凡达风格” 案例以及日本研究的T-HR3型机器人(见图1 ),将机器人作为操作者的眼睛,操作者通过配置的头戴式显示器获得机器人的感知信息,然后通过人在回路的操作,让机器人能够像人一样完成任务,机器人将操作者的执行动作进行行为反馈,形成人机融合系统的信息闭环。这类远程控制机器人传递了机器人对环境态势的感知,通过人在回路的形式将人的智慧融入机器,实现高智能的任务理解、处理与决策。此外,日本丰田公司还利用5G技术成功实现了远程控制T-HR3型仿人机器人,使机器人在长距离的工作环境中摆脱延迟影响,几乎可以为用户提供即时反馈,此类人机融合系统主要应用在家庭、医院、建筑工地、灾区甚至外太空等场景,成为人类的得力助手。
在军事领域,2021年俄军研发的具有智能目标识别系统的米格-35战机能自动捕获并生成3D地形图,用于帮助飞行员在复杂多变的战场环境中做出决策。2022年,澳大利亚空军综合防空和导弹防御系统测试了一类集成人工智能驱动的决策支持工具,由管理者输入作战任务需求,AI系统进行学习并支持跨多域战术指挥和快速决策。2019年DARPA启动的“空战演进”(ACE)项目进行了人机共生飞行试验,观测飞行员在飞行过程中的生理状况以及对人工智能的信任程度;同年一份题为《2050年机械战士:人机融合与国防部的未来》的报告中展示了对“超级战士”人机融合系统的应用计划,外骨骼机器人的研发即是其中一类计划,基于表面肌电信号控制的下肢助力外骨骼机器人(见图2 )通过采集人体运动的肌电信号解码出人体的运动意图,并采集人体运动中的相关信息数据(关节角度、加速度、压力等),判断并调整机器人的步态,最大限度模拟人体的真实运动,在作战场景中可以帮助兵员实时感知战场环境并增强其安全防护能力和战斗力。最近几年,国内对人机智能融合技术的研究也颇具进展。2019年,中国电子科技集团有限公司发布了国内首个轻量级多智能体对抗与训练平台,通过对抗仿真环境模拟实战背景,异构多智能体对抗也基于该平台得以发展。同年,由国防科技大学研制的兵棋AI智能体“战颅”在中国指挥与控制学会举办的比赛中成功使用,可在联合防空、对海攻击及空中作战等领域进行智能化辅助决策,对于复杂多变的对抗态势有极强的适应性,是国内人机对抗智能技术的重大实践成果。外骨骼机器人人机融合功能强大,多国的相关技术发展迅速,我国解放军新一代机械外骨骼也在2020年底的演习中完成了首次亮相,上、下半身的外骨骼系统有效提升了单兵的搬运能力和行动灵活性。
3 基于三级架构的协同机制
Mx(xr) +Cx(xr) +Gx(xr)=FH+FR
其中,xr、 和 代表机器人末端执行器的位置、速度和加速度,Mx、Cx和Gx是惯性矩阵、科里奥利力/离心力以及重力,FH和FR分别代表了人工和机器控制的力输入。人机协同包含了人机之间的行为互动、协同工作、情感互动、智慧交流等,使得原本应由学习者大脑承担的信息感知、识别和规律认知等活动被分担,同时底层的信号处理、智能决策等关键问题也可以有效解决。机器通过对“人的智能”所形成的数据进行训练,获取智能机器模型,实现与人的智慧有效协同,从而可以形成功能更加强大的人机融合智能系统。人机协同通过协同感知、协同认知和协同决策等方式促进人和机器的有效融合,进一步拓展了人的智能和机器智能,在民用层面已经取得了一定的进展[30-31]。在军用领域,未来的作战模式逐步朝着“分布式组网”“多域作战”和“跨域协同作战”等方向发展,与人机跨域协同作战相关的技术被广泛研究并占据重要地位。信息融合、人工智能与数据管理等是此类技术的重要支撑,人机之间的信任度、情感化以及可解释性等是影响协同的关键因素,上述理论与技术问题在实际应用中有待进一步挖掘。综上所述,怎样建立人机融合系统的协同模式、协同规则以及如何建立系统之间的有效连接等是人机高效协同在理论和技术上长期面临的挑战。
人机融合系统是人机协同得以实现的现实载体,根据功能要求可将其基础架构分为三个层级,即感知层、执行层和决策层,如图3 所示。
在人机融合系统中, 实现全方位感知在人机交互、态势预测以及指挥决策中发挥重要作用,主要包括机器对人的感知、人对机器的感知以及系统对环境的感知。机器对人的感知,可以根据感知功能分为运动感知、意图感知和情感感知;人对机器的感知可分为视觉感知、触觉感知和声学感知。人机间的相互感知决定了人机之间的可理解性。系统对环境的感知可借助相应的传感设备融入人的智慧收集环境信息,获取复杂多变、多维度的环境态势。依据人机之间的融合程度,人机融合系统有紧耦合和松耦合之分。紧耦合的人机融合系统(如机械外骨骼系统)需要对人机双方的状态行为进行实时检测和捕捉,人机间的相互感知是支撑两者高效交互的基础。而目前发展的基于大规模异构集群的人机协同作战系统还处于松耦合阶段,有人与无人平台间的相互感知并不是十分紧密,该类作战系统主要依赖相应设备感知环境态势并获取信息,处理后的态势信息可辅助系统决策模块生成及人机任务分配方案,这里人机智能融合的优势主要体现在决策和控制层面的协同。
人机融合决策是人机协同中的关键部分,可指导控制层执行任务。决策的合理性程度会影响任务的执行效果,也是人机融合执行的重要依据。现有成果主要从决策问题的角度寻找人机结合点,基于不同模式具有不同的决策和仲裁方式。不同控制模式下的决策包括引导控制、监督控制、交易控制、共享控制、分配控制。仲裁是指在人机交互过程中人机之间控制权的划分,而制定协同控制策略的主要挑战是需要在人和机器的控制权之间找到平衡。通常以如下形式的线性函数组合人和机器系统的控制命令:
C=αCm+(1-α)Ch
其中,Cm代表机器系统的指令或决策,Ch代表人的指令或决策,α是控制权重。现有的大量研究主要集中在将人机决策融入人机交互、机器学习和协同控制中。核心问题是根据人机交互的性能指标设计机器的控制权重α,目前大多数研究工作主要依据先验知识预先定义不同类型的函数计算α,其中分段函数的使用较为普遍。对于控制权限的调整,已有的工作提出基于铰链损失、概率分布熵等性能指标来进行调节。
基于决策结果,执行层(控制层)通过迭代反馈由智能控制器给予人和机器控制信号或动作,协调控制多个设备和人的行为或设备间的通信,使系统可适应战场的不确定性并实现决策目标。在紧耦合式人机协同系统中,协同特性可以通过力反馈增益和刚度反馈增益等形式的调节加以实现,将决策层的决策结果转化为具体的控制输入值(如转速、力度等),从而产生理想的人机协同控制效果。
4 基于“人-机-任务-环境”的性能优化方法
目前人机融合系统远未能实现真正意义上的人机智能融合,各个环节的性能仍有极大的提升空间。为促进人机智能融合,系统的多项性能亟待进一步优化。优化问题是指在一定的约束条件下,寻求最优方案或参数,使系统的功能或者性能指标达到最优。人机融合系统优化方案遵循服务于人、降低成本和错误率、提升系统各项性能等原则进行设计。对于人机融合系统性能的优化问题,需要考虑人、机、决策与任务、环境适应性等多个层面。在现实应用中,一种集成多种创新人机交互手段(如脑控、眼控等)的新型人机融合智能操控技术框架被报道[32],该框架利用稳态视觉诱发算法刺激生成脑电信号,并基于线性判别式分析方法进行分类、识别、选用,利用最佳线性逼近y=a0+a1t处理无法获取到的数据,并使逼近误差的均方差E= 达到最小,最后通过演示平台验证了单通道交互中人机融合的控制精度与鲁棒性,为“人+机+环境”系统的安全性和各项性能优化提供了保障。针对人机融合系统优化,以下从“人-机-任务-环境”所构成的社会信息物理系统CPSS(Cyber-Physical-Social Systems)视角加以分析。
4.1 基于“人”的优化
从“人”的角度出发,需要考虑人体机能的优化以及系统的人性化优化。人体机能优化常常需要借助机器对其深入挖掘,如前述的人体增强技术、美方“超级士兵”计划及各国外骨骼机器人研究均是从优化人体机能的角度出发,增强人体视觉、听力、体力等能力,从而增强人机系统的感知交互水平和决策效果等。
系统人性化的优化可以从人对系统的体验感受、情感认知以及健康安全程度等多个方面展开,优化用户的使用效率、满意度和舒适度。常用的技术包括用户体验优化、交互设计、用户画像等。
4.2 基于“机器”的优化
机器的性能很大程度上影响了人机系统的整体性能。可通过优化机器硬件和软件相关性能来提升机器的自主性和自动化,进一步优化人机融合系统的性能。
系统结构决定了性能上限,优秀的算法策略往往需要硬件的配合。对于机器硬件的优化,其技术指标包括了硬件设备体系架构的可伸缩性、参数易维护性、维护代价、尺寸空间、传感器精度、交互效率、实时性、安全性等。可根据人机系统设计结构,在合理的经济效益下选择高效智能的芯片、性能优越的传感器以及符合尺寸、材料、结构和形状的零部件,并充分考虑零件间、人机间的匹配度和合适布局,最大程度发挥各级硬件的潜力。在减小空间的同时增强信息交互和处理能力,降低通信延迟,是一种优化系统性能的有效途径。如文献[33]从系统结构布局、尺寸大小、电气性能、使用方法等方面入手优化系统结构,得到大小合理、使用方便的三源信号传感系统,从而优化人机接口性能,促进人机间信息的有效传输和交互。
对于机器软件优化,可通过云计算、人工智能算法等技术改进程序性能、提升信息处理速率、优化运行成本、提高机器反应速度;可利用触摸交互、虚拟现实/增强现实、智能推荐算法等技术优化交互方式,减少通信延迟的同时增强人机交互能力,让人能更容易接收和理解机器行为,提高人机系统的易用性和可操作性。
4.3 基于“决策与控制”的优化
协同策略或算法决定了系统性能的下限,优化自主决策方式、任务分配过程和控制策略可以提升人机间通信、控制与决策的速度、精度和可靠性,有效促进系统性能在时间和空间尺度上的改善。例如Gombolay等[34]采用基于“学徒计划”的协同优化方法处理最优任务的选取问题,通过设计通用优先级函数:
= fpriority(τi,τj)
进行最优任务组 的选择和调度,该方法被应用于武器目标的分配问题中,通过调度策略获取该领域的知识,生成的方案可进一步解决人工难以求解的复杂问题。
在决策层面,其技术指标包括计算效能、数据处理能力、响应速度、分类准确率、误差率、决策时间、稳定收敛效果等,可通过预测分析、自适应动态规划、智能迭代的方式优化决策过程。如基于人机合作的智能迭代决策优化方法,其流程如图4 所示。该方式通过自学习、自优化决策的方式协同控制人与决策系统,实时监测执行结果,结合决策者偏好与特长、满意度及相应性能指标对决策进行评估,通过对评估结果的判断和反馈智能迭代对应的值函数,及时调整和优化决策制定过程,使决策者在不断变化的环境中仍能进行智能决策,该方式广泛应用于工业自动化以及智能指挥控制[35-36]。研究者们也提出通过基于动态机制的人机功能分配[37]、基于离散或连续的态势感知综合决策模型等方法来优化人机融合智能接口设计,解决系统性能的优化问题。
在控制层面,其技术指标包括策略的控制精度、响应速度、鲁棒性和安全性等。目前强化学习(Reinforcement Learning, RL)、抗干扰优化控制、网络攻击主动防御控制等优化策略的完善,进一步提升了控制器的性能和控制效果。随着多智能体系统在人机协同中的研究逐步深入,多智能体系统协同控制的性能优化问题也成为研究热点。该模式的优化问题是指针对系统所需优化的性能,构建对应的指标函数Ji,该函数与系统控制误差ei、自身及互连智能体的控制输入ui和u-i有关,其形式为
Ji(ei(k),ui(k),u-i(k))= Ui(ei(l),ui(l),u-i(l))
其中,Ui用以对每步控制进行评价,称为效用函数,对应的最优值函数可表达为
(ei(k))=min Ui(ei(l),ui(l),u-i(l))
可利用线性二次型[38]、自适应动态规划等最优控制方法优化该函数,从而获得合适的信息交流权重、控制输入等,实现系统在能量和时间上的优化。该类形式的优化还涉及多方博弈优化问题,如多智能体的图形博弈,目前可基于博弈论判别系统最优拓扑及控制策略,实现在纳什均衡下的最优联合控制。
此外,决策和控制协同策略的优化问题还包含各层次的信息交互方式优化,多层级、多目标决策与控制集成优化,多目标冲突的动态寻优等。目前该方向已有很多相关优化方法相继报道,例如:
1) 多目标混合智能优化算法[39]。相较于传统算法求解,智能优化算法可一次性寻找出最优解集中的多个解,整体效率较高。该算法涉及目标函数数量、求解时间、可行性等指标。通过利用该算法优化各层级的运行指标,从而解决多层级、多目标决策与控制的集成优化问题。
3) 基于最大熵原理的优化算法[42]。在交互过程中,基于约束最大熵原理的推理技术允许人们通过与交互功能相关的力矩约束,结合人类行为相关特征的先验知识,迭代地估计人类行为,利用基于熵的正则化项的交互奖励函数来使奖励最大化,通过优化熵函数来优化机器策略。
4.4 基于“环境”的优化
为提升系统对环境的适应性,干扰滤波技术、权重自适应调整算法、机器学习(ML)算法、RL算法等方法常被用来优化系统性能,通过优化数据采集和处理算法以及相应的模型参数可进一步提高人机融合系统对环境的感知效果和适应能力。其中ML算法可通过学习历史数据和经验,预测未知环境及其影响,实现对人机融合系统的优化;RL算法可根据环境反馈信息和奖励惩罚机制自适应地调整和优化人机融合系统的决策和任务执行,可广泛应用于环境变化较为频繁的场景。
5 协同优化关键技术
为促进人与机器能力的高效协同和智能融合,人机融合系统需依托多项智能化技术实现人机在各域体系中的信息获取与交互、决策融合与分配、控制策略生成与协同等。以下分别从感知、决策和控制三个层面总结人机系统协同优化中的关键技术。
5.1 感知层面
1)信息融合与共享技术
人机融合系统以信息共享为基础,便捷的沟通和信息交互是人机交流的纽带,也是实现人机融合的突破口,人机融合贯穿从信息传递、信息处理到决策执行及行动的整个流程。 在信息传递过程中,为准确快速地实现人-机和机-机间信息双向交互,需要有效融合一个或多个机器人所获取的客观信息以及人所感知的主观信息,相关的人机协同信息融合技术与方法已有很多成果被报道[29,43-44]。信息属性的统一化处理可促进人-机和机-机间信息的融合,提升信息交互水平,它一般是指将机器的数字信息转化成人体可识别的模拟信息,或将相应的人体信号(如肌电信号、神经信号)转化为机器可识别的数字信号。多通道人机交互中实现信号有效融合的智能方法使得人机两者意图的相互理解能力得以提升,进一步推进了人机信息深度融合。在信息处理过程中,为识别相似或不同属性的信息,实现信息的属性分类和跨度验证,需要将计算机或智能系统的高速计算能力与人的认知、推理方式有效融合。人机协同方式综合了机器的计算能力和人的思维及推理能力,能更加精准地对信息进行处理。针对未来的一体化协同作战,能够通过智能融合推理方式高效准确地对海量数据信息进行分析、判别和分类,并生成基于自主策略的调节方案来规划和分配人机任务控制权限,是战场环境中快速获取战略决策的关键环节。
2)态势感知技术
为在复杂环境中精确完成目标任务,人机协同系统需要全面、统一地感知和理解全域环境态势。态势感知是实现人机融合的基础,包括感知、理解及预测三个显著要素。其中,“态”指外界环境的状态、形态,是静态的客观数据;“势”是环境变化的形势、趋势;“感知”是获取并理解“态”和“势”,即获取外界环境客观信息和形势并进行认知、理解和推理的过程,信息的实时处理和共享可提高该过程的实现效能。技术上可借助相关的光电、摄像头、图像识别、雷达等传感设备收集所处环境的信息数据,对环境进行全方位、多维度的态势感知。客观上,高质量的态势反馈数据能增加做出优质决策的可能性,例如在有人/无人集群协同作战系统中,利用智能化、网络化技术组合各域探测和传感网络,基于分布式协同探测获取全方位、多维度的全域环境态势并实现传感设备多源信息态势融合。深度态势感知利用包含外界环境中静止不变状态和动态变化形势的态势图,确定感知的范围和方向;通过描述物理世界中各实体、概念及其相互关系的知识图谱确定感知的精度和速度;采用融合环境数据、形势信息及态势理解分析结果的感知图预测未来态势。目前,由于人机协同系统中存在态势感知信息融合共享的准确性和实时性问题且人机认知屏障尚未解决,三者在实际应用中的有效融合还难以实现。
3)人机交互技术
为获取较为优化的决策,现存的很多决策模式皆需人监控系统的状态及结果。为决策人员提供简单快速的交互工具是促进人机融合、优化系统决策的有效方式。人机交互技术作为人机相互感知、通信交流的重要技术,可为决策人员提供便于理解的信息。其中人机界面技术作为人机交互的关键技术之一,借助某个界面进行人机交互,通过构建人-机接口有效促进人机信息的交互和融合,实现人与机器的对话。目前,涉及手势、眼球、语音等形式的多模态交互技术应用广泛,非侵入、半侵入式以及侵入式的脑-机接口技术也均有突破。该技术进一步的研究目标是摆脱任何形式的交互界面,设计出智能化的脑-机接口,实现人脑意识对机器的控制,以更简单的输入、更直接的交流方式进行人机交互。目前兴起的脑机接口技术是实现人机间信息融合和高速通信的一种有效方式,可通过人类的大脑活动进行信息交互并直接控制武器装备或指挥无人系统,形成“人主机辅”的一体化战斗系统。美国已宣布资助多家研究机构开发可植入人脑的脑机接口芯片,支持并开展众多神经工程系统设计项目。俄罗斯政府也制定了发展侵入式神经控制脑机接口技术的计划,通过将微型芯片植入人脑,借助外部设备向人脑传输信息。图5 展示了斯坦福大学通过该方式实现了人机信息融合和交互,协助肌无力患者打字。然而也应看出,当前有限的人类视觉、听觉感知以及反应计算等能力是实现人机实时交互的重要阻碍之一,为实现高效的人机交互,除了提升机器的交互手段和交互能力外,人体机能的深度理解、挖掘、开发和训练也是需要进一步发展的方向。
4)人机增强技术
人机增强技术通过人机物理结合来增强人的机能,在战场态势感知、执行作战任务领域都颇具发展和应用潜力。该项技术通过增强视觉以提升情境意识,增强听觉以进行有效沟通和保护,借助机器的刚性增强人体体表机能,并通过双向数据传输方式开发人脑直接神经增强技术,最大程度地实现对战场的武器控制、态势感知,所获取的信息更具实时性。预计该技术将极大改善人机系统基于脑对脑的交互和读写能力,在不久的将来将被广泛使用并趋于成熟,也将促进未来军事领域的巨大变革。
5.2 决策层面
1) “人在回路”技术
在决策过程中,利用“人”的思考推理方式和价值判断规则对智能系统处理后的信息或方案进行综合判断,从人机双重角度获得最佳决策,可有效提升人机融合系统性能。人机融合决策模式是“人在回路”的一种特殊模式,包括“人在环内”“人在环上”和“人在环外”。
人在环内——一种参与式决策方式,人和机器智能系统共处一个环路中。智能机器主要用于决策者间信息的传递与交互,但其功能有限,且人对机器智能的认识和运用能力不足。该方式的基本模态是以人为主,机器为辅。
人在环上——一种掌控式决策方式,可应用于指挥决策系统中。随着人机交互能力的提高以及关键技术的突破,人机协同系统的任务分配被细化,人机间依赖性增强,协作也愈加频繁。该方式的基本模态是人机相互协作进行决策和修正,人离不开机,机辅助人,其典型结构如图6 中的人-AI融合决策模式。
人在环外——一种自主式决策方式,基本模态是人在环外、自主运行。人的主要任务是监督、干预整个环路的运行,提升了对机器决策的信任度。在基于该方式的人机融合智能指挥决策系统中,指挥员或决策者在完成最终的决策任务之外,还需对机器系统的决策过程进行监督和指导,以人的智慧对系统的判断结果进行补充和修正,从而对战场局势进行正确有效的判断。此外,指挥员在战略方案制定和判断时,需要根据实时战况对方案进行局部调整和选取最佳决策,优化战略布局、把控战场进程。
2)人机控制权分配技术
基于人机系统控制权限的协同策略可分为三种:人主导和机器辅助控制、机器主导和人辅助控制、人机一致控制。为提升人机融合系统的性能,实现动态决策分配,如何根据人机各自的动态行为约束平衡人机之间的控制权是需要解决的关键问题。很多决策控制系统中考虑了该问题,如基于小脑模型关节控制器[45]的学习控制系统实现在有人参与时由人进行操作和学习,在无人参与时可通过如下形式:
y=f
实现控制信号的计算和实施相应的控制行为,其中,xi(t)是系统第i个输入变量,共有n个,wi(t)是其对应的权值,C(t)是小脑模型关节控制器的输出,n(t)是系统中评判单元的输出,f(·)是非线性函数。该控制系统通过简单的相加实现人机控制信号的协调和融合。
5.3 控制层面
1)系统建模和控制技术
为实现人机相互感知以及协同控制,对人体和各类设备的结构、特性和运动进行建模是设计相应动力学控制协议的基础。一个准确的系统模型可以明显提升控制协议的控制性能。通过分析机器工作原理、物理特性、相关参数等,可利用机器学习算法、物理仿真模型等方式对机器进行建模。与传统的人体刚性模型相比,目前的人体建模技术能够更加精细地刻画人体的生理结构和运动特性。另外,控制策略的设计和实施不仅要考虑时间消耗、准确性等客观因素,还要考虑人类操作者的意愿、感受等主观因素,需更加贴合人体的运动和思考。例如,为实现人机之间的有效融合,机器系统有时需要通过控制器调整自身内部阻尼,使其输出的控制信号适应人的动态行为,完成力所能及的动作或任务,而人需要通过自身的神经控制系统调整操作者的动态特性适应机器人,确保机器能够有效执行该动态行为。面对运动特性的差异、环境的复杂变化,可基于强化学习、自适应控制等算法实时调整控制策略,以处理系统模型的不确定和变化。
2)多智能体协同技术
人机协同系统可共享控制策略,为适应环境变化并确保控制性能,控制策略会随着与外部环境的交互以及决策结果的更新而不断调整。协同多智能体技术作为集群系统分布式协同控制的关键技术之一,它将人看作一个具有独立性和自主性的智能体,多人多机混合系统看作一个异构的多智能体系统,包含决策类、协调类、信息类等形式的智能体,实现人与人、人与机器、机器与机器之间交互共享、协调控制。该技术打破了仅使用一个专家系统的限制,根据一个总体优化目标进行自主推理规划并选择合适的策略,实现智能体间的协同合作。然而,人往往难以获得系统完备的知识,导致产生的认知冲突必然会影响智能体的决策和控制性能。为避免这样的冲突,多智能体系统通过设计一定的协同控制方法来整合人机智能系统的架构、信息、功能等知识,其协作类型可根据拓扑结构分为中心化(如集散型、环形型)和去中心化(如网状型)两种。基于协同进化机制的多智能体系统作为以上协作类型的一个重要研究方向,它通过模拟自然界中的进化思想衍生了一套协同进化机制。实际应用中,可采用合作型协同进化算法加强智能体间的协同能力和适应度,使得智能体共同完成任务的同时实现推理思维的共同进化,辅助并优化智能体的行为决策。
6 结束语
无人系统协同控制具备成熟的技术和研究成果,但面对态势复杂、战况变换的未来战场,仅依赖机器系统无法完全自主地做出精准策略以适应战况的瞬息万变,缺乏自主性的机器智能仍很难和人的高级智能形式相匹配。同样,仅依赖人也难以快速且准确地处理和分析海量的信息和数据。人机融合结合了人与机器的优势,可实现智能化的作战功能和灵活的作战方式,完成更加复杂的作战任务。人机融合体系在军民领域都已被广泛研究,也是未来需要长期探索的方向。