中国科技核心期刊      中国指挥与控制学会会刊     军事装备类重点期刊
Engineering & Application

Research of Quality of Experience of Cloud Service in Tactical Environment

  • HUANG Min ,
  • TAO Sun-jie
Expand
  • Southwest China Institute of Electronic Technology, Chengdu 610036, China

Received date: 2021-03-10

  Request revised date: 2021-07-12

  Online published: 2022-04-28

Copyright

Copyright reserved © 2022

Abstract

Traditional network-central QoS assessment method can't satisfy the need of user multidimensional perception for the tactical cloud service. This paper pays attentions to the user-central QoE measurement in tactical cloud services, analyzes the main factors which influence QoE measurement, and researches the QoE measurement and data processing methods. Further, we propose the indicator system of QoE measurement for assessment the tactical cloud service. Based on the AHP and multi-layer weighted fusion method in the analysis process of the Cloud-Edge-End tactical cloud service, we provide guidance for assessment the promotion of tactical cloud service capability.

Cite this article

HUANG Min , TAO Sun-jie . Research of Quality of Experience of Cloud Service in Tactical Environment[J]. Command Control and Simulation, 2022 , 44(2) : 116 -121 . DOI: 10.3969/j.issn.1673-3819.2022.02.020

在云计算技术广泛应用的场景下,云计算架构正在向军事作战领域延伸。利用云计算平台稳定高效的服务能力和作战终端灵活便捷的部署模式,可将海量作战情报信息推送到作战一线,实现作战指挥信息的实时交互,解决情报数据爆炸性增长正在带来的信息分发共享问题,大幅降低作战成本,提高作战效能。但由于战场环境受信息资源、人力、信息设备以及通信条件等限制,作战网络固有的弊端如网络传输存在弱连接、数据时断时续、作战需求频繁变化也难以预测等,导致云服务应用于作战领域处于高需求、缓推动的现状。研究面向作战效能提升、可实践、可量化的云服务测量技术,实现作战云服务考核与评价机制统一标准,对推动云服务技术在作战领域的应用具有较好的促进作用。
本文提出作战云服务QoE测量的需求,针对作战环境网络带宽受限、服务模式多样化的特点,进行云服务QoE测量数据处理方法研究及多维度评价,提出建立基于主客观融合评价方法的作战云服务QoE指标评价体系,并以云边端架构的作战云服务指标权重分析过程为例,分析影响作战用户体验的因素,为作战云效能提升、服务评估、信息服务保障、服务采购等提供依据,指导作战云服务规划布局以及服务采办,提升作战云服务质量。

1 相关工作

美军在作战云领域的研究早已展开,提出的四种作战云架构,分别是集中式作战云、非集中式作战云、小云和微云[1],代表着不同应用服务模式,可以提供指挥控制服务、远程协同服务、情报信息服务、云存储服务、云桌面服务以及其他云平台计算服务。通过在天基、海基、陆基以及其他移动平台上部署数据处理和存储设备,构建云基础设施和云服务中心,通过卫星、无人机、飞机、作战机动单元等节点组建通信网络,通过微波、激光、有线等介质形成传输网络,进行战场态势感知、传感器融合、数据挖掘、图像处理、情报处理及分发,实现数据共享和态势共享。但由于战场环境受信息资源、人力、信息设备以及通信条件等限制,传统的基于网络的QoS、KPI测量方法并不能够准确评估网络作战云服务效能,也没有相关理论研究框架。因此,需要借鉴互联网云服务应用场景以及作战云服务特性,开展主客观融合评价方法的作战云服务能力测量研究,实现作战云服务效能的准确评估和高效度量。
用户体验,即QoE(Quality of Experience),直观理解为用户对服务水平的满意程度,在强调以用户为中心的云计算领域,已经成为衡量云服务产品服务能力的重要指标。因此,国际电信联盟(International Telecommunication Union—ITU)将QoE定义为终端用户对应用或者服务整体的主观可接受程度[2],可理解为从用户角度体验及对应用的整体感受。在云计算领域,应用或者服务主要指通过网络远程交付的各种不同类型的云服务。在指挥作战领域,作战云服务包括作战指挥、情报共享、资源交付等,终端也并不是指传统意义上的PC桌面、移动终端等,而是泛指所有作战用户访问云端资源的媒介,包含多种接入形式,如天基/海基/陆基装备、导弹以及单兵装备、手持终端等。
在云服务形式上,作战云服务以多种形式进行服务交付,根据云服务提供的服务层级,可将其分为IaaS、PaaS、SaaS 3层服务。在IaaS层云服务中,远程主机和远程虚拟桌面在用户QoE测量上具有较大的相似性,文献[3]是对IaaS层的RVD进行分析,通过调整参数对思捷瘦客户端的技术优化提出了一些建议,如采用输入缓存提高网络吞吐能力,通过显示加速缩短云服务交互时间。该论文对采用远程虚拟桌面访问作战应用的云服务QoE改善有较好的参考意义。作战云服务也可采用平台层和应用层信息服务的方式提供,尤其是战术云应用场景下,云存储的应用较为广泛,可使用云存储进行情报数据存储,评价时将云存储应用的启动时间、海量文件存储能力、跨设备间文件同步服务、云存储网络流量优化以及文件共享能力分析等关键指标作为云存储服务的评价依据,结合网络带宽、网络同步技术以及浏览管理策略对用户QoE的影响,可以进行云存储应用对作战用户体验的影响评估。
在当前和平时期,模拟作战演练是当前练兵的主要形态,其原理与在线交互仿真游戏类似。文献[4]通过模拟云游戏环境,对网络延迟、丢包、抖动等参数对用户主观感受产生的影响进行分析,得出在不同交互频度云游戏的延迟对用户体验产生的影响并不相同的结论,并且云游戏与音视频交互类应用在网络层参数的测量方法并没有区别,其测量方法可以应用在作战云仿真演练作战效能评估中,尤其是当前人在回路的作战操控以及作战对抗博弈中,评价信息交互的实时性、指挥指令的可靠传达能力、多节点同步和分组协同管理等具有重要意义。
在指标体系测量方面,当前互联网云服务市场也没有形成对云服务QoE水平进行测量和评估的完整指标体系,云服务标准的缺失导致云服务提供商各自为政,SLA中服务指标虚高等问题普遍存在。国家标准化管理机构也对云服务市场服务采购指标体系进行研究,希望建立一个框架性、结构化的云服务标准体系,指导云计算产业服务规范建设、良性发展。
在典型的虚拟桌面、云存储、社交软件等云服务测量中,很多研究均是基于某个单一的指标(如时间指标)对QoE的影响进行分析,比如采用与用户体验直接相关的交互频度这一关键指标作为评价参考。可根据云服务的交互频度进行服务分类,将不同网络场景下的云服务与客户端的RTT指标作为客观分析的主要评价因素[5]。同时对数据类交互业务的等待时间进行QoE分析,在其他指标差别不明显的情况下,等待时间将成为影响用户QoE的关键因素[6]。在作战云计算生态环境研究中,节点的移动、网络的动荡、资源的限制、作战模式的特定性,使得单纯地通过KPI、QoS等指标进行作战云服务效能评估并不准确,还需要采用QoE综合指标体系,结合作战用户满意度等主观指标,对影响云服务用户体验的相关因素、指标体系、作用机理、量化模型、评价方法等开展系统性研究,从多维视角来评估和考量作战云服务QoE水平及其衍生的云服务采购商业定价模型、成本效益核算模型等,从而建立和完善作战云服务效能评估体系,为后续作战服务能力提升提供依据。因此,研究采用基于QoE的作战云服务测量及评估体系具有现实意义和可操作性,开展相关研究也将为构建现代、高效、智能的作战云服务提供技术支撑和规划依据。

2 QoE测量及数据处理

2.1 作战云服务QoE测量

当前,作战云服务QoE的测量还处在探索阶段,其测量可参考互联网云服务实验室测量、现场测量和大规模测量等进行。由于作战云环境具有业务涉密、环境变化、平台多样、专网专用等特征,大规模测量存在较大的实施难度,也无法采用互联网上广泛使用的众包测试平台进行测试。
实验室测量可用于原理性的验证和仿真,通过模拟并发、流量整形、模拟多种类终端等技术在一定程度上仿真真实测试环境,通过通用指标、时间指标、资源指标、环境指标和应用指标等进行综合评价。因测试规模小,用户的主观测试样本少,可用于衡量原型系统设计符合性和对作战服务效能进行预测。现场测量由于存在测量规模、参与用户、测量环境受限等问题,测量的普适性及测量结果的可再现能力均比较受限,可建立长期的测量历史数据记录,以时间换空间,通过时间线覆盖来解决规模性覆盖的问题。

2.2 QoE测量评价

通常根据测量的视角进行区分,可将QoE的测量分为:主观测量方法、客观测量方法和主客观结合的测量方法。主观测量方法是让云服务的使用者直接参与服务评价,将在服务进行过程中体验到的直观感受用于服务QoE的评价。目前主观测量广泛采用的是国际电信联盟推荐的“平均评分估值”,“Mean Opinion Score—MOS”[7]。该方法将QoE的主观感受分为5个等级,如表1所示。
表1 MOS及QoE描述表
MOS QoE 影响程度
5 不能察觉
4 可察觉但不严重
3 轻微
2 严重
1 非常严重
主观测量方法进行QoE测量需要依赖大量的测量样本,耗时、费力,而且基本不具备可重复性,实际可操作性较差。但由于其在大样本的情况下,结果具有统计意义,可大规模应用于成熟、有较大市场的互联网云服务QoE评价。对作战云服务QoE评价则因为参与评价人员受限,测量结果仅具有参考意义。
客观测量方法是在传统QoS测量的基础上建立QoE和QoS的关联模型,对QoS网络参数的测量所获取的参数结合用户感知进行量化,从而得出QoE的指标参数。通过对视频业务中QoS和QoE的关系进行分析,得出视频质量QoE和QoS之间的关联模型 [8],如公式(1)所示。
$Q_{O} E_{v}=Q_{r} \cdot\left(1-Q_{o} S(x)\right)^{\frac{Q o S(x) \cdot A}{R}}$
式中,Qr为终端分辨率;QoS(x)为标准化后的QoS值;A为服务等级SLA;R代表帧结构。
QoS(x)计算过程如下:
QoS(x)=K{L×Wl+U×Wu+J×Wj+D×Wd+B×Wb…}
式中,K为QoS的全局决定因子,由业务类型决定; L为丢包率,Wl为丢包率的权重;U为业务突发性,Wu为业务突发性权重;J为抖动参数,Wj为抖动参数的权重;D为延迟,Wd为延迟参数的权重;B为带宽,Wb为带宽参数的权重。
该方法为客观测量方法中非常重要的一个模型,普遍用于对多因素测量的QoE分析。在作战视频监控、图像传送等云服务QoS测量的基础上,通过上述模型进行QoE和QoS的转化,对作战云服务效能进行预测,可以为基于战术云的系统优化设计提供依据。
目前应用较好的QoE测量评价方法为主客观结合的方法,该方法又被称为伪主观方法,测量时既考虑了用户对应用的感受,又利用了客观测量方法可复制、可实施的优点。本论文提出的基于主客观融合评价的作战云服务QoE指标体系即采用伪主观测量方法。伪主观测量方法的数据加工处理模型比较多,常见的包括层次分析法、回归分析、决策树、支持向量机模型、粗糙集方法以及基于统计学的判别分析等方法。为了更准确地评价测量结果,上述方法均需要进行适度的模型训练,确保模型得到最佳参数。

2.3 测量数据处理

作战云服务QoE的测量不管是实验室可控的测量还是现场测量都将得到大量的数据。对这些参数进行处理,筛选可用的数据,发现测量结果间的内部规律,准确评价作战云服务QoE水平,这是QoE测量数据处理的目的。对连续的QoE值测量,可区分实时交互业务和单向数据交互业务。对实时交互业务,QoE参数的变化呈现指数变化的趋势,对单向数据交互业务,QoE的变化呈现对数趋势[9]。对数据交互类云服务,可使用“WQL假定”:数据交互类云服务的等待时间和QoE之间存在ACR线性尺度下的对数关系[10]。在测量结果处理时可根据测量结果进行比较分析,验证测量结果的准确性以及处理方法的适宜性。
对QoE测量数据的处理方法主要分为三类,分别是基于统计分析的方法、基于机器学习的方法、基于人类认知经验模型的方法。基于统计分析的方法主要通过海量数据统计与分析,实现QoE指标与测量参数之间关联关系的特征提取;基于机器学习的方法通过算法拟合、验证等建立QoE与影响用户体验的因素或者测试指标之间的函数关系;基于人类认知经验模型的方法,主要建立人在刺激和反应之间可量化的信息处理模型,进行人工智能系统和模拟用户感知的研究,也可以归结到机器学习的范畴。
上述三种处理方法的前提都是需要解决多变量参数归一化序列、降维及标准化处理,实现信息提取和降低数据模型复杂度。

3 主客观融合评价的作战云服务QoE指标体系

目前对云服务QoE指标并没有一个可参考的定量分析方法,不同云服务的QoE评价指标也并不相同。一般分为主观评价和客观评价两类指标,也可称为技术性指标和非技术性指标。
图1所示,本论文根据作战云服务特征,提出面向作战能力生成的作战云服务指标体系,通过主观性指标和客观性指标的融合评价,初步构建作战云服务的测量评价指标体系,支撑作战云服务质量评估。基于主客观融合评价方法的作战云服务QoE指标体系第一层次指标为主观性指标和客观性指标。主观性指标主要受用户主观因素影响的指标,如舒适、愉悦、成就、便利等为主观性指标,覆盖用户期望、用户心情、用户认知,可分别表征为作战用户认知、作战需求、作战期望等可以描述的指标,以及受多方因素影响的用户心情等“扰动性”指标。客观性指标可分为通用指标、时间指标、资源指标、环境指标、应用指标等。其中通用指标可依据ISO/IEC 17789《信息技术 云计算 参考架构》中所描述的云服务所关注的指标:可审计性、可用性、治理、互操作性、维护和版本控制、性能、移植性、隐私、监管(强调依法依规)、弹性、可逆性、安全、服务水平和服务水平协议(SLA)等。而应用指标、时间指标、资源指标、环境指标等并没有专门的标准或规范文件进行约定。本论文对上述指标结合作战云部署特征、应用特征等进行理解,形成可量化、可评估的指标体系。
图1 基于主客观融合评价方法的作战云服务QoE指标体系
应用指标可以理解为云服务的应用逻辑性和技术性特征,如应用逻辑符合设计、技术功能完备等,包括作战应用所需的质量属性,如稳定性、生存性、移动性等;时间指标为时延、恢复时间、失效时间、有效工作时间等,用于评价不同作战场景、作战需求下时间相关的服务效能;资源指标可理解为网络带宽、计算能力、在线存储能力、近线存储能力等,环境指标如天光地影、日月潮汐以及天气、环境噪声、温湿度等。
基于主客观融合评价方法的作战云服务QoE指标体系用于作战服务评价,关键需要解决多变量参数归一化序列、降维及标准化处理等,而实际应用中也需要与作战场景想定和作战期望相结合,作战云服务QoE测量才具有应用价值和评估意义。上述指标在应用时均需要实现指标的归一化,对典型的成本指标、效益指标、区间指标和居中指标等不同类型的指标需要统一量纲和值域区间,如线性函数归一化方法:
Xnorm= X - X min X max - X min、0均值标准化(对原始数据呈现高斯分布的情况下实现u均值,σ方差的归一化分布z= x - u σ)、对数函数转换以及图像处理中的灰度值[0,255]等。
在对作战装备能力评估体系中,我军创造性地提出体系贡献度的概念,主要用于度量作战装备体系的组成部分对整个装备体系的作用和影响程度的大小,从而支撑装备建设发展规划和装备采办决策。体系贡献度也可理解为作战应用对体系作战能力提升的贡献。本论文将作战云服务体系贡献度理解为将作战云服务纳入作战体系前后,对体系效能和作战能力生成的变化程度,可分解为直接贡献和间接贡献两类指标,评价时可采用专家打分、经验模型等方法进行[11],并结合QoE评估结果从技术和管理两个层面进行交叉验证。

4 基于云边端架构的指标权重分析方法

当前,基于云边端架构的作战云服务应用较为普遍,研究QoE测量可为作战应用能力提升、架构优化提供支持,但在实际应用中,由于云边端架构下应用部署较为复杂,涉及中心、链路、交互协议以及面向不同的用户等,其评估指标的权重分配成为研究难点。
本论文基于某一体化指挥平台开展评估指标权重分析,重点研究指标权重分配流程,并构建QoE指标体系与装备体系贡献度评价指标的联动关系,对作战云服务能力评价及应用改进有一定参考意义。该一体化指挥平台早期前端基于实时挑点数据传输到指挥中心、全帧图像数据事后传输模式,导致从云中心获取目标信息的移动作战平台信息滞后,关键节点处理时延高达分钟级。在前端部署视频流和图片流的预处理后(含时序挑点、关键帧提取、目标特征提取等),将关键信息传送到云中心,移动作战平台通过云服务订阅,可快速判断目标状态和关键时序完成情况,时延可提高到秒级。对该云边端架构的作战应用,由于其网络QoS等指标并没有明显改善,仅增强了前端节点的边缘计算能力,用户体验即有了较大提升,其指标权重分析如图2所示。
本论文采用主客观融合的作战云服务QoE指标体系进行分析,评价分析上述哪些指标对应用QoE的提升较为明显。首先,需要进行指标权重重要度评价,构建权重矩阵;在确保权重矩阵一致性、有效性的前提下,分析作战云服务QoE在改造前后的提升幅度,结合主客观评价指标进行印证,从而得出评估结论。
图2 基于云边端架构的指标权重分析图
采用AHP赋权法的指标权重分配流程如下分析。
1)构造指标权重重要度判断矩阵C。通过主观赋权,对指标因子进行专家打分,按照前文基于主客观融合评价方法的作战云服务QoE指标体系,对应用指标C8、环境指标C7、资源指标C6、时间指标C5、通用指标C4进行两两比对,建立重要度判断矩阵C,每次比较CiCj,按照Satty.T.L的1-9级标度判断[12],评估CiCj指标重要程度,进行权重指标聚合分析。
2)权重值计算与一致性检验,计算矩阵C对应最大特征值的特征向量λ=(λ1,λ2,…λn,)T,则Cij=λij(i,j=1,2,…,n)。为了测试权重选择的合理性,还需要对矩阵C进行一致性检验,一致性检验方法较多,此处不再赘述。一致性检验符合要求,则认为参数QoE指标权重分配合理。
本文中构造应用指标C8、环境指标C7、资源指标C6、时间指标C5、通用指标C4的权重判断矩阵经专家咨询意见为
C= 1 2 3 3 5 0.5 1 1.5 1.5 2.5 0.5 2 3 1 1 2.5 1 3 2 3 1 1 0.6 0.2 0.4 0.6 0.6 1
由上述矩阵解算最大特征值λmax及其对应的特征向量λ,为λmax=5.0,特征向量为λ=[0.8074,0.4037,0.3222,0.2351,0.1615]。进行一致性检验,n=5时,RI=1.12,计算可得 <0.01,该指标权重分配通过一致性检验,权重分配合理。在主观指标方面,综合用户期望、用户心情、用户认知,通过MOS方法,在用户规模不超过20的情况下进行评价,改造前分数为3.3,改造后分数为4.5,得到明显提升,符合用户体验。
结合指标权重评估可知,应用逻辑的优化在此次评估中对专家评分的影响是较高的,与应用指标相关的权重在架构改造前和改造后的分配具有明显的提升,成为影响QoE的关键因素。由此可知,在网络QoS等资源指标不变的前提下,应用逻辑的优化、应用模式的改善将极大影响用户的主观体验,其改善与QoE指标呈现正相关趋势。因此,在当前网络能力变化不大的情况下,通过优化应用逻辑,改善资源层面对作战效能的制约,可成为提升作战云效能研究的一个重要方向。
从实际应用中我们也得知,应用的交互频度作为应用指标,既与时间指标关联也与网络资源指标关联,而在网络QoS一定的前提下,通过端设备边缘计算能力增强,边设备计算做能力卸载,采用关键信息订阅模式,降低交互频度,可有效提升作战应用时效,改善用户体验。对作战应用中典型的指挥交互、作战仿真、情报信息交互等业务,应重点关注和优化其移动作战支持和对抗条件下的信息支持能力,对很多计算密集型任务,如自然语言处理、作战态势增强、情报快捷处理与分享等,也可以通过研究关键指标、关键应用改善对云服务QoE的影响来解决服务效能快速评价的问题。对采用边缘计算(将数据中心算力前置到边缘节点)或者网络觅食(将边缘计算能力或者数据存储能力卸载到就近的数据处理中心)两种模式的作战云服务,由于跟作战装备承载平台、移动单兵设备部署、信息化作战模式等紧密耦合,加之接入受限的战场环境、移动自组织网络的动态性,需要根据环境变化建立相应的测试方法,需要增加生存性、弹性、安全性、移动性、能力就绪等质量属性指标的评估与优化,可指导作战云应用效能提升。

5 结束语

美军在作战云服务方面的研究处于世界前列,通过探索适应不同作战场景的战术云架构,提出面向作战的云服务体系,同时根据作战业务服务模式,选择采用购买、自建等方式提升美军作战云服务能力,在作战情报分发与共享、战场态势增强等方面做出了较好的探索。而QoE测量能够准确地在云服务作战效能评估、采购定价、成本效益核算、同类型产品比较等方面提供依据,更有利于作战云服务效能的提升,研究开展作战云服务QoE测量,将在云计算日趋普及的现实条件下大大提升信息化战场保障能力。
本论文提出作战云服务QoE测量的需求,针对作战环境网络带宽受限、服务模式多样化的特点,进行云服务QoE测量数据处理方法研究及多维度评价,提出建立基于主客观融合评价方法的作战云服务QoE指标评价体系,并以云边端架构的作战云服务指标权重分析过程为例,分析影响作战用户体验的因素,探索作战云服务架构设计、服务规划布局,致力提升作战云服务质量,得出在当前基础资源有限的情况下,通过应用逻辑优化可有效提升作战云服务体验。在实际应用中,作战云服务QoE的测量还需要结合作战需求和战场应用开展研究,尤其是美军战术云、小云、微云等模式的应用,以及空天地联合作战的网信体系支持能力建设,这对作战云服务QoE的测量提出更高的要求,需要重点研究具备科学性、合理性、完备性和正确性以及适应战场需要的生存性、移动性、可靠性、抗毁性以及易部署、简化操作等QoE指标体系,为作战云服务研制、能力提升等提供科学、有效的QoE评价指导方法。
[1]
程赛先. 美军战术云计算应用研究[J]. 指挥控制与仿真, 2017, 12(6): 134-142.

[2]
ITU-T Recommendation P.10/G.100,Amendment 1(2007) New Appendix I. Definition of Quality of Experience (QoE)[S], ITU-T, 2007.

[3]
Daniel Schlosser, Staehle B, et al. Improving the QoE of Citrix Thin Client Users [C]//IEEE International Conference on Communications, Cape Town, South Africa, 2010:1-6.

[4]
Michael Jarschel, Daniel Schlosser, Sven Scheuring, Tobias Hobfeld. Gaming in the Clouds: QoE and the Users' Perspective[J]. Mathematical and Computer Modelling, 2013, 57(11-12): 2883-2894.

DOI

[5]
He Jian, Wen Yonggang, Huang Jianwei, et al. On the Cost-QoE Trade-off for Cloud-based Video Streaming under Amazon EC2's Pricing Models[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2014, 24(4): 669-680.

DOI

[6]
Casas Pedro, Schatz Raimund. Quality of Experience in Cloud Services: Survey and Measurements[J]. Computer Networks, 2014(68): 149-165.

[7]
ITU-T Recommendation P.800(1996). Methods for Subjective Determination of Transmission Quality[S]. ITU-T,1996.

[8]
Hyun Jong Kim, Choi Seong Gon. A Study on a QoS/QoE Correlation Model for QoE Evaluation on IPTV Service [C]//Proceedings of 12th International Conference on Advanced Communication Technology,Hochi Minh City,Vietnam, 2010:1377-1382.

[9]
De Moor K, Joseph W, Ketykó I et al. Linking Users' Subjective QoE Evaluation to Signal Strength in an IEEE 802.11 b/g Wireless LAN Environment[EB/OJ]. EURASIP Journal on Wireless Communications and Networking, https://doi.org/10.1155/2010/541568.

[10]
Egger S, Reichl P, Hossfeld T, et al. “Time is bandwidth”? Narrowing the Gap between Subjective Time Perception and Quality of Experience [C]//IEEE International Conference on Communications, Ottawa,ON,Canada, 2012:1325-1330.

[11]
吕惠文, 张炜, 吕耀平, 等. 武器装备体系贡献率的综合评估计算方法研究[J]. 军械工程学院学报, 2017, 29(2): 33-38.

[12]
Satty T L. There is no Mathematical Validity for Using Fuzzy Number Crunching in the Analytic Hierarchy Process[J]. Journal of Systems Science and Systems Engineering, 2006, 15(4): 457-464.

DOI

Outlines

/