摘要
针对传统效能评估方法难以体现反导装备体系的演化性、涌现性和自适应性等问题，提出了一种基于数据驱动的反导装备体系效能评估方法。在分析反导装备体系特点和传统效能评估方法不足的基础上，采用贝叶斯优化算法对卷积神经网络超参数进行优化，构建了贝叶斯卷积神经网络效能评估模型；研究了贝叶斯卷积神经网络反导装备体系效能评估算法流程、步骤，形成一套完成的反导装备体系效能评估算法；设计验证仿真实验，输入大量试验数据对贝叶斯卷积神经网络模型进行训练和学习，以获得对反导装备体系效能的仿真预测。实验结果表明：数据驱动下的反导装备体系效能评估拟合度较高，期望输出结果与实际输出结果之间的差距非常小，该方法具有较高的可行性和可信性。
Abstract
Aiming at the problems that traditional effectiveness evaluation methods can not reflect the evolution, emergence and adaptability of the anti-missile equipment system, a data-driven effectiveness evaluation method of anti-missile equipment system was proposed. Based on the analysis of the characteristics of anti-missile equipment system and the shortage of traditional effectiveness evaluation method. the Bayes optimization algorithm was used to optimize the convolutional neural network hyperparameters, and the efficiency evaluation model of Bayes-CNN(Bayes convolutional neural network) was constructed. The flow and steps of Bayes-CNN system effectiveness evaluation algorithm were studied, and a set of completed efficiency evaluation algorithm was formed. Designed and validated the simulation experiment, input a lot of test data to Bayes-CNN model for training and learning, so as to obtain the simulation prediction of the effectiveness of anti-missile equipment system. The experimental results show that the error between the actual and expected output is very small, and the non-linear fitting effect is great so that it had a high degree of feasibility and reliability.
Keywords
随着近年来联合作战和体系对抗概念的发展，武器装备呈体系化、网络化、智能化趋势越来越明显，作战双方已不再是主战装备个体性能的较量，而是复杂网络关联起来协同作战的装备体系之间的对抗，对装备的考核也从传统的性能指标评价向联合作战背景下装备体系的效能评估过渡。如何衡量装备体系在作战中发挥的实际效能成为当下亟须研究的重要课题。
传统的效能评估一般衡量单一装备或系统完成任务的程度，随着体系作战的发展，国内外学者逐渐认识到在体系层面分析和评估装备效能成为必然趋势，于是出现了以“解析计算法”[1-3]和“仿真分析法”[4-6]为主要代表的体系效能评估方法。朱传伟等采用改进的可用性可信性能力（availability dependability capacity，ADC）方法，构建了3层8个性能指标，对舰空导弹武器系统进行了效能评估[7]。朱锦辉采用层次分析方法，从6个方面构建了18个效能影响因素指标，对水面舰艇防空反导评估方法进行了研究[8]。陈建等在基于Agent的建模与仿真（Agent-based modeling and simulation，ABMS）理论的Anylogic 软件环境中构建了通用近程防空系统作战仿真推演模型，提出了一种基于自然科学领域常用的正交试验设计的通用近程防空武器系统作战效能评估方法[9]。罗炜等以美军典型航母战斗群为研究对象，对航母编队一体化反导的效能评估模型构建和仿真分析进行研究[10]。但这些方法究其本质还是基于“还原论”思想[11]，难以反映装备体系之间相互作用关系对效能的影响。
本文采用基于数据驱动的反导装备体系效能评估方法[12]，摒弃简单系统“分解”“叠加”的静态方式，以反导装备体系整体为研究对象，以体系对抗为外在条件，以完整作战过程为基本依据，在大量数据抽取、处理、分析的基础上，建立贝叶斯卷积神经网络（Bayesian convolutional neural network，Bayes-CNN）模型对数据进行分析学习，以此获得对反导装备体系效能的评估预测，为复杂作战环境下反导装备体系效能评估提供一种新思路。
1 贝叶斯卷积神经网络建模
贝叶斯卷积神经网络[13]是一种卷积神经网络（convolutional neural network， CNN）的变体，它在传统深度学习卷积神经网络的基础上引入贝叶斯理论，从而更好地表示效能预测结果的不确定性，以提高网络的泛化能力。与传统的神经网络相比，贝叶斯卷积神经网络在进行数据处理时具有局部感知的特点，可有效捕捉到输入数据的局部特征，减少了参数数量和计算量；贝叶斯卷积神经网络的多层次结构使得网络更容易学习到数据的多层次性，从而能够处理更为复杂的数据；贝叶斯卷积神经网络的池化操作降低了数据的计算量和参数数量，使得数据的平移、缩放和旋转具有一定的不变性。总而言之，贝叶斯卷积神经网络在数据处理上具有局部感知、多层次性以及平移不变性等特点。
1.1 卷积神经网络
卷积神经网络[14]是一类具有深度结构且包含卷积计算的前馈神经网络，是深度学习（deep learning）典型代表算法之一[15]，相较于传统的神经网络，CNN 采用局部连接的方式[16]，利用卷积核以滑窗移动的方式提取数据特征，极大降低了计算量，有效提高了数据特征提取的主动性和效能。
一个典型的CNN模型通常由输入层、卷积层、池化层、全连接层以及输出构成[17]，如图1所示。
图1CNN模型架构
Fig.1CNN model architecture
1.1.1 卷积层
卷积层为CNN的核心模块，承担了CNN中的大部分计算任务，其关键作用是提取数据特征。卷积层运算过程可以理解为将一个可移动的小数据窗口与输入数据矩阵逐元素相乘再相加的操作，这个小数据窗口具有固定的权重，可以看作一个卷积核或特定的滤波器。卷积操作能够不受其位置影响捕捉到数据中的局部特征，从而实现平移不变性。
卷积操作的计算如式（1）所示。
(1)
式中，l表示网络层序号，x为特征映射，k为卷积核，b为偏移量，i、j表示输入特征序号，m表示卷积区域。
在卷积操作完成之后，通常会引入激活函数，对卷积层的输出数据做非线性映射，CNN通常用线性整流函数（rectified linear unit，ReLU）作为激活函数，早期Sigmoid函数和双曲正切函数也有被使用。神经网络的函数逼近能力相当有限，引进激活函数后可大大增强网络表达能力，几乎可以逼近任何函数。
1.1.2 池化层
池化层往往和卷积层成对配套使用，对上一层中提取的特征数据进行滑动窗口移动计算操作，主要作用是对卷积层数据进行降维，降低卷积层输出数据的尺寸并减少参数的数量，从而提高计算效率，降低过拟合风险。
目前常用的池化方式[18]包括平均池化（average pooling）、最大池化（max pooling）和加权求和池化（sums pooling）等几种，但是被采用最多的还是平均池化和最大池化两种。
本文池化层采用最大池化方式，运算的表达式为：
(2)
式中，为池化层输出结果，s是池化区域尺寸，为第r个神经元在卷积层输出的结果。
1.1.3 全连接层
全连接层的作用是将卷积层和池化层的输出特征进行一维向量的扁平化操作，并与输出层的神经元进行全连接，输出层的神经元负责将数据进行分类输出。
全连接层的计算方式为：
(3)
式中，δ为输出值，w为权重， xk-1为第k-1层输出， bk为第k层的偏置， f（）是激活函数。
1.2 贝叶斯优化算法
1.2.1 贝叶斯优化原理
贝叶斯优化是利用贝叶斯定理搜索目标函数最小值的一种方法[21]，其优化思路是，利用目标函数的先验分布以及利用训练模型试验得到的观测点，来获得模型的后验分布，表达式如式（4）所示。
(4)
式中：P（w|X，Y）为后验分布概率，表示数据集已知时所有参数的概率分布；P（w）为先验概率，表示数据未知时对参数的估计，一般设置为方差为δ2、均值为0的正态分布；P（Y|X，w）为似然概率，表示给定输入数据和参数时网络模型输出结果的概率分布；P（Y|X）为证据，可以理解为在给定输入数据和输出对应数据的所有情况。
1.2.2 采集函数
采集函数[22]的目的是根据后验分布概率在还未采样区域和最有可能出现全局最优解区域进行采样，从候选集中选择最优样本点，从而使目标函数值最小。目前常用的采集函数有三种：置信上界（upper confidence bound， UCB）、概率改进（probability of improvement，PI）和期望增量[23]（excepted improvement， EI）。
UCB逻辑最简单，数学表达式为：
(5)
式中，μ（x）为均值；σ（x）为方差；β为平衡探索参数，β越大，方差所占比重就越大。
PI衡量的是所有点比当前最优点大的概率，数学表达式为：
(6)
式中，x+表示最优参数组合，f（x+）表示当前已经测试过的参数组合的最优值，ξ为设置了一个最优值的阈值。
1.2.3 概率代理模型
概率代理模型[24]是指用来表示未知目标函数概率的代理模型，通过不断试验对目标函数的先验概率进行持续修正，从而使表示目标函数的概率代理模型更加准确。
在概率代理模型中一个常用的模型是高斯过程（Gaussian processes，GP）[25]，高斯过程指的是一组随机变量集合里任意有限个随机变量都服从能够生成高维的联合正态分布。设CNN待优化的超参数集合为X={x1，x2，···，xn}，将其表示为贝叶斯优化器的目标函数f（x），则有
(7)
式中，G表示高斯分布，u为均值，k（x，x）为协方差函数。
1.3 贝叶斯优化卷积神经网络
采用CNN对反导装备体系效能进行预测与评估时，随着数据量的增多，CNN超参数的调节需要花费大量的时间，因此，本文采用贝叶斯算法来优化卷积神经网络超参数。
1.3.1 超参数优化
CNN要优化的变量包括网络层、学习率和正则化系数等，把这些变量作为训练Bayes算法的数据样本，建立贝叶斯优化器目标函数，将要优化的变量作为输入数据来训练网络，并将训练好的网络用于测试集。
设X={x1，x2，···，xn}为一组输入的超参数组合，xn为第n个超参数的值，输出Y=L（xi，Vh）（i=1，2，···，n），式中， Y为目标函数，xi 为超参数变量，Vh 为验证集，用来评估超参数组合xi 的泛化能力。
设f（xn）为每个超参数的评估结果，则优化过程就是要找到最优超参数x。
(8)
式中，x表示使目标函数最小的超参数值，x∈X。
在每次实验中，高斯函数根据输入超参数组合X和验证集输出的Y来评估f（x），然后根据采集函数选择下一组超参数。
1.3.2 高斯先验建模
贝叶斯优化是在有界的集合里找到损失函数f（x）的最小值，对于超参数贝叶斯优化，采用超参数对损失函数进行高斯先验建模，数学表达式为：
(9)
(10)
其中，L（mx，Vh）是目标函数，mx为输入的超参数数据，θ服从N（0，δ2n）分布。由于函数f（x）未知，只能通过CNN产生的超参数在验证数据集上计算损失。
1.3.3 EI采集函数构建
采集函数的作用是观察f（x），跟下一次采用的超参数进行对比，确定下一个需要评价的点x。采用EI采集函数来确定下一次迭代的超参数x。EI采集函数的数学表达式为：
(11)
从式中可以看出，EI衡量的是参数组合的最优值的数学期望。
2 Bayes-CNN算法设计
根据前面构建的贝叶斯卷积神经网络评估模型，设计Bayes-CNN反导装备体系效能评估算法，对反导装备体系效能进行预测和评估。
2.1 Bayes-CNN算法流程
采用Bayes-CNN算法进行反导装备体系效能评估，首先输入指标样本集[26]，然后将指标样本集划分为训练数据集和测试数据集，之后进行数据归一化和数据平铺处理，调用贝叶斯模型对隐藏层节点数、学习率以及正则化系数等参数进行优化，计算最优参数值，构建CNN网络对训练数据集进行学习，对测试数据集进行效能拟合预测，计算误差并输出仿真图形。Bayes-CNN反导装备体系效能算法流程如图2所示。
2.2 Bayes-CNN算法步骤
根据图2，Bayes-CNN反导装备体系效能评估算法可具体为以下7个步骤：
Step 1：输入指标样本集，设置样本个数和特征维度，划分训练数据集和测试数据集，进行数据归一化，将数据平铺为一维数据。
Step 2：输入要优化的参数，优化参数为CNN超参数和结构参数，本文选择隐藏层节点数N、学习率LR及正则化系数L2这3个对网络影响比较大的参数进行优化。
图2Bayes-CNN反导装备体系效能算法流程
Fig.2Flow of Bayes-CNN efficiency algorithm of the anti-missile equipment system
Step 3：建立Bayes优化器目标函数，设置参数范围、优化时间、最大迭代次数，显示优化过程。
Step 4：调用采集函数选择下一个超参数，调用高斯过程模型评估超参数。
Step 5：判断Bayes算法执行是否符合终止条件：当迭代次数≥10，则终止Bayes优化计算，输出CNN模型最优参数解；否则，返回Step 4。
Step 6：进行卷积操作，引入激活函数，对卷积层的输出数据进行映射，采用最大池化方式对卷积层数据进行降维，构建全连接层将输出特征进行一维向量的扁平化操作。
Step 7：完成预测，进行数据反归一化，绘制各种对比分析图表，进行可视化展示，计算均方差（mean square error，MSE）、平均绝对误差（mean absolute error，MAE）、均方根误差（root mean squared error，RMSE）、平均绝对百分比误差（mean absolute percentage error，MAPE）、剩余预测残差（residual predictive deviation，RPD）等各种误差。
2.3 Bayes-CNN算法构建
根据2.1节设计的Bayes-CNN算法流程图和2.2节设计的算法步骤，在围绕反导装备体系指标数据的基础上，构建基于Bayes-CNN的效能评估算法，如算法1所示。
算法1 Bayes-CNN反导装备体系效能评估算法
Alg.1 Bayes-CNN effectiveness evaluation algorithm of anti-missile equipment system
3 验证分析
围绕上述算法模型，以模拟训练系统为平台，设计某反导装备体系作战效能仿真试验，采集相应的指标数据，进行Bayes-CNN效能评估算法模型实验验证。
3.1 指标数据采集
一次完整的反导作战任务应包括预警探测、发现目标、指挥控制、火力拦截、摧毁目标等活动。因此，完成一次反导作战任务须考察反导体系的探测跟踪、指挥控制、火力拦截以及信息保障等效能。其中：探测跟踪效能又包括卫星和雷达的预警、探测以及跟踪能力；指挥控制效能应包括指挥决策精度、指挥员水平、任务规划能力等；火力拦截效能应包括导弹特性、导弹性能拦截能力等；信息保障效能应包括定位距离误差、传输时延、误码率等。根据上述反导装备体系应具备的能力选取36个关键指标因子，如表1所示。
表1反导体系效能指标因子
Tab.1 Factor of anti-missile system efficiency index
实验根据上述指标因子在模拟训练系统上进行数据采集，以每发导弹采集的数据作为一个训练样本，共采集1 000组样本数据，其中700组数据用于训练Bayes-CNN，300组数据用于测试Bayes-CNN。
3.2 效能评估仿真
根据算法1设计Bayes-CNN效能评估算法，运用仿真软件编辑算法，输入1 000组仿真指标数据样本，对反导装备体系效能进行预测评估。图3为训练集的损失函数曲线，从图中可以看出，训练集损失函数随着迭代次数的增多迅速下降，损失函数在200次迭代之后就达到较低值，证明该算法收敛速度较快，准确率比较高。
图4为所有样本拟合预测图。本实验所有样本数据拟合决定系数为0.978 45，表示模型预测值和实际值的符合程度非常高；所有样本数据的预测均方根误差为0.003 039 3，表示模型的预测值和真实值之间误差的平均值非常小，说明该模型的预测能力较强。
图3训练集损失函数曲线
Fig.3Training set loss functions curve
图4所有样本拟合预测
Fig.4All sample fit prediction
图5为训练集的效能评估结果。决定系数为0.977 4，表示训练集跟实际数据相比拟合度也相当高；训练集的校准均方根误差为0.003 191 8，数值非常低，表示训练集预测值和实际值相差比较小。
图5训练集效能评估结果
Fig.5Training set effectiveness evaluation effect
图6为测试集的效能评估结果。决定系数为0.979 49，说明拟合度也非常高；测试集预测均方根误差为0.002 886 9，说明对于测试集来说该模型具有较好的表现。
图6测试集效能评估结果
Fig.6Test set effectiveness evaluation effect
图7为测试集的预测误差，从图中可以看到，大部分预测误差集中在[-0.005，0.005]之间，少部分预测误差出现在[-0.010，0.010]之间，极少数预测误差出现在[-0.015，0.015]之间，这证明模型的误差较小，精准度较高。
图7测试集预测误差
Fig.7Test set prediction error
图8为训练集的预测值和真实值对比情况。从图中可以看出，预测值和实际值非常接近。决定系数为0.977 4，拟合度较高；均方根误差为0.003 191 8，均方差为1.018 7×10-5，拟合度较高，误差非常小。相对分析误差用于评估模型预测精度，值越大，表示模型的预测精度越高，一般分析误差≥2时模型被认为是可靠的，本模型分析误差为6.661 2，证明本模型可靠性非常高。
图9为测试集预测值和实际值的对比情况。从图中可以看出，预测值和实际值非常接近，只有极个别样本失真。决定系数为0.979 49，非常接近于1；均方根误差为0.002 886 9，比训练集的均方根误差略低；均方差为8.334 2×10-6，比训练集的均方差略低；相对分析误差为6.983 9，比训练集相对分析误差略高：这证明本模型可靠性非常高。
图8训练集预测结果对比
Fig.8Comparison of training set prediction results
图9测试集预测结果对比
Fig.9Comparison of test set prediction results
误差直方图可以清楚地展现模型预测误差分布概率，图10为具有20个箱体的误差直方图，横坐标为误差，有正负误差之分，纵坐标为具有误差的实例个数。从图中可以看到，误差均匀地分布到0的两侧，且呈正态分布状，证明本模型偏差较小，小误差比大误差出现得更频繁，预测值与真实值存在的误差较小，模型较为可靠。
3.3 实验结果分析
进一步计算本实验的MAE、MSE、RMSE、MAPE、RPD以及R2，可得到MAE为2.064 1×10-3，MSE为8.334 2×10-6，RMSE为2.886×10-3， MAPE为2.144 5×10-3，R2为0.979 49。
使用同样的样本数据进行改进型粒子群优化算法与支持向量回归机（improved particle swarm optimization and support vector regression，IPSO-SVR）、灰狼优化算法与深度置信网络（grey wolf optimization and deep belief network，GWO-DBN）算法实验，与Bayes-CNN实验相比，得出反导装备体系效能评估仿真误差如表2所示。
图10误差直方图
Fig.10Error histogram
表2效能评估仿真误差
Tab.2 Performance evaluation simulation error
从实验结果可以看到，数据驱动下的反导装备体系效能评估预测值和实际值之间的拟合度较高，决定系数R2接近于1，各种误差都非常低，这证明采用“数据驱动+智能算法”进行反导装备体系效能评估具有较高的可行性和可靠性，能够为反导装备体系效能评估提供方法借鉴和技术支持。
4 结论
本文在建立反导装备体系效能评估指标的基础上，采集大量效能评估样本数据，利用Bayes算法对CNN里的超参数进行优化，构建Bayes-CNN，输入大量效能评估数据Bayes-CNN进行训练，再利用训练好的网络对反导装备体系效能进行预测评估。实验结果显示，基于Bayes-CNN的反导装备体系效能评估方法误差较小，评估结果准确，具有较高的可行性和可信性，为复杂作战环境下的反导装备体系效能评估提供了一种新思路。面对未来战争信息化、数字化程度的进一步提高，在实际使用中可能会遇到海量数据难以抽取、处理、分析的问题，有效指标数据提取和大量指标数据挖掘是未来研究方向之一。
