3.1 数字孪生装配车间多源数据感知与融合方法

数据采集和融合是车间“以虚映实”的前提和基础。电子装备车间现场数据的采集方法可分为三类。一是通过增加数据采集板卡、传感器等方式对车间的“哑设备”进行改造，将信号源、频谱仪、功率计、示波器等关键的瓶颈资源数字化，使其具备数据采集和通信功能，实现设备数据的采集。二是对集中供风、供液系统进行控制系统接口集成，并接入现场总线，实现设施数据的采集。三是通过MES子系统的集成，实现在现场作业过程中的“人、机、料、法、环”等多维度数据的采集与记录，实现对车间关键要素在动态过程中的数据采集。在预定义制造信息处理与提取规则的基础上，对多源制造信息关系进行定义，并进行数据的识别、清洗和融合，随后对数据进行对象级、时空级、决策级融合，形成统一的数据服务后再对外发布。

复杂离散制造数字孪生车间多源异构装配过程数据融合的技术路线如图3.1所示。首先，通过定义不同的检测与处理规则，构建多层级的数据过滤器，选择使数据原始信息损失最小的多级过滤器组合，实现对数据的过滤和清洗。其次，基于本体论构建定义数据的多维度语境与相应度量值，并在数据集成中间件中转换为全局数据模型，实现对结构化、半结构化与非结构化装配数据的统一建模。再次，通过泰勒展开法、最小二乘法、内插外推法、曲线拟合法等方法，进行数据时序对准，建立以时空为索引的时空数据模型。最后，面向车间“人、机、料、法、环”的特定数据分析需求，采用卡尔曼滤波法、主成分分析法、多元回归算法、逐步回归算法等对数据进行关联分析，对具体关联数据进行聚类、挖掘、演化、融合等处理。

3.1.1 多源传感数据的采集

数据是连接物理空间和虚拟空间的桥梁，是实现数字孪生的关键基础。数据采集主要通过可靠传感器及分布式传感网络对物理设备数据进行实时、准确地感知和获取，是实现数字孪生的一项重要技术。数字孪生数据采集的基本要求包括以下3个方面。

（1）实时性。数字孪生精准建模和精确控制需要根据采样数据进行，因此，对于信息传输和处理的时延具有较高的要求。同时，完整系统的数字孪生往往需要很多传感器单元，而传感器单元之间的时间同步也非常重要。

（2）分布式。基于大量的传感器采集和处理信息，需要协调各传感器的任务，实现分布式的信息汇总。

（3）容错性。数据采集过程中需要传输，存在数据丢失等问题。同时，传感器采集过程中也会带来一定的噪声。因此，数据采集过程必须具有一定的容错性，才能保证数据的真实性和可靠性。

传统的传感器网络缺乏实时性、同步性和容错性，难以满足数字孪生系统的要求。为此，有学者提出一种基于信息物理系统（CPS）架构的数据采集原型系统，通过在传感器数据采集过程中增加对物理层设备误差的估计，提升数据采集的容错能力和可靠性。无线传感器布置是数字孪生数据采集的另一个关键问题，其主要研究目标是确保使用最少数量的传感器就能够达到性能指标的传感器布局。有研究者提出非一致传感器布置策略，根据到目标节点的距离决定传感器节点的密度，在满足联通性和覆盖范围要求的同时，提升传感器网络的寿命。

针对阵列天线子板装配过程中所需感知的拧紧力矩、拧紧顺序、子板形变、插装压力、插装速度、插装位移、器件位置精度、子阵尺寸精度等12项工艺参数，选择合适的力、位移、视觉、形变传感设备，并通过动静态仿真不断优化传感器布局与末端结构。根据阵列天线子板的装配过程，将生产线布局优化为两个工位。

（1）工位一，主要完成待装配件的自动上料、三维扫描、印刷电路板（PCB板）与冷却板之间的拧紧，以及PCB板的平面度检测。工作台的位置可由传送装置上的位移传感器与旋转编码器实时反映。三维扫描设备可获取待测件的高精度三维模型，与理论模型进行对比，求解器件位置精度、子阵尺寸精度及阵列天线框架精度等。拧紧装置上集成了扭矩传感器、压力传感器及4个激光位移传感器，分别获取拧紧过程中的拧紧力矩、拧紧压力及螺钉周围的子板形变。PCB板的平面度检测由轮廓仪扫描完成，根据装配前PCB板的平面度可得到最优的拧紧顺序。

（2）工位二，主要完成电连接器插装、阵列天线板插装、阵列天线板与PCB板之间的拧紧，以及阵列天线口面平面度检测。电连接器插装装置安装在高精度六轴机器人上，其上集成有压力传感器，可以实时感知插装压力。而插装角度、插装位移及插装速度可由机器人内部的传感设备在线感知。拧紧装置及平面度检测装置与工位一相同。多源传感数据的在线感知途径如图3.2所示。

3.1.2 多源传感数据的传输

完成传感器数据采集后，需要对数据进行传输、处理、存储等操作。为保证所采集的传感器数据的高效、实时传输，主要使用倍福控制系统来控制各类电信号传感器，通过EtherCAT 将传感器连接到倍福端子上，在TwinCAT 3系统中实时读取各项传感器数据，并通过倍福的可调式避震系统（ADS）通信提供应用程序之间互相通信的接口，在上位机中实现传感数据的实时感知与调用。在TwinCAT 3系统中，TwinCAT PLC、TwinCAT NC 及TwinCAT CNC 等被设计成虚拟的自动化设备，类似于实际的物理设备与设备之间通过基于TCP/IP协议的路由实现各种信息的实时交互，如图3.3所示。

3.1.3 多源传感数据的融合

由于大多数车间数据的获取频率较低、实时性不高，且目前离散制造车间数据融合方法中仍多采用传统融合方法，不能全面分析设备状态及特征，客观上就造成了融合信息的不足。基于深度学习的数据融合方法能够有效提取多源信息特征，并深度挖掘影响因子间的关联关系，从而全面、高效地分析生产流程状态，为生产质量保障做出贡献。

目前，按照深度学习在数据融合中参与的阶段，可以把基于深度学习的数据融合方法分为3种类型，即基于深度学习输入的数据融合方法、基于深度学习输出的数据融合方法，以及基于深度学习全过程的数据融合方法。其中，基于深度学习输入的数据融合方法仅利用深度学习模型来提取数据特征，随后使用其他传统融合方法进行数据融合；基于深度学习输出的数据融合方法利用深度学习模型实现数据融合过程以及决策输出过程，并未参与特征提取过程；而在基于深度学习全过程的数据融合方法中，深度学习模型则同时参与了特征提取、数据融合和决策输出过程，如图3.4所示。

基于深度学习的数据融合模型结构主要由3个部分组成，如图3.5所示。第一部分采用深度学习中的降噪编码器（Denoising Auto-Encoder, DAE）对机床设备传感器收集的原始检测数据进行去噪优化处理，用以降低融合误差与减少检测数据冗余。第二部分采用基于加权分数阶微积分的数据融合算法完成同类型数据的一级融合，以获取高精确性的融合数据同质特征集。第三部分的目标是将特征集输入到卷积神经网络中进行特征关联和训练，以完成异构数据的二级融合，并最终使用Softmax分类器对机床运行状态进行分类评估。

1.降噪编码器数据处理

降噪编码器是一种神经网络模型，用于对输入数据进行降噪处理和特征提取。其基本思想是通过训练一个自编码器，将噪声数据输入到编码器中，然后输出一个尽可能接近原始数据的去噪后的重构结果。

在训练过程中，降噪编码器会将输入数据添加噪声，然后将其传递到编码器进行编码。编码器将输入数据压缩为低维的表示，然后将其传递到解码器中进行解码，以重建原始数据。解码器会尽可能地恢复原始数据的结构，从而使网络能够学习输入数据的重要特征。

与标准的自编码器相比，降噪编码器在输入数据中添加噪声，使网络不仅能够学习输入数据的重要特征，而且能够学习对输入数据中噪声的抗性，这使得降噪编码器在处理具有噪声的数据时更加有效，如图像、语音、文本等数据。

降噪编码器的应用非常广泛，如图像去噪、信号降噪、语音降噪、数据压缩等领域，可以有效地提高数据的质量和准确性。降噪编码器结构如图3.6所示。

车间检测数据降噪编码构建流程如下。首先，将传感器同类型原始检测数据作为输入 x ；其次，对原始数据 x 进行加噪处理后得到加噪数据集 ；再次，然后通过对加噪后的数据集 进行编码，可以得到隐层表达训练样本 y ，其中，隐藏层编码器可表示为 f （ w ₁ ， x + b ₁ ）；最后，对训练样本 y 进行解码后就能够得到最终重构的数据 z ，其中输出层解码器可表示为 f （ w ₂ ， y + b ₂ ）。

可将隐藏层与输出层的权重和与之对应的偏置分别表示为 w ₁ 、 b ₁ 、 w ₂ 、 b ₂ ，可以由最小代价函数表达式得到，如式（3.1）所示。

式中， i 为需要处理的样本数， z 为输出层数据， x 为原始检测数据。

在降噪自编码器（DAE）网络中，输出节点所包含的信息特征主要源自原始数据，因此，这些输出节点的信息特征被提取出来，用作一级融合的输入数据，以提高融合的准确性。

2.基于卷积神经网络数据融合

卷积神经网络（CNN）具有局部连接、权值共享等特点，这些特点使得CNN在处理原始数据时能够高效地提取数据的特征并获得优秀的性能。CNN结构通常包括卷积层、池化层及全连接层。其中，卷积层是CNN的核心组件，主要用于提取输入数据的特征。卷积层通过使用多个卷积核对输入数据进行卷积操作，从而获得输出特征。卷积操作如式（3.2）所示。

式中， 为输入数据， 为第 i 个卷积层中第 j 个卷积核的权重，⊗为卷积算子， 为第 j 个卷积核的偏置， f 为激活函数， 为输出第 j 个卷积特征图。

此外，池化层主要用于压缩输入数据的特征维数，从而减少模型的计算量和内存消耗，并提高模型的鲁棒性和泛化能力；全连接层主要用于将提取到的特征转化为分类结果。

根据阵列天线装配车间的特征数据，设计基于卷积神经网络的数据融合结构。首先，采用包含32个卷积核及卷积核大小为5×1的卷积层；其次，使用最大池化层完成特征压缩与筛选；再次，选择包含64个5×1卷积核的卷积层及最大池化层进一步提取数据特征并减小权重参数；最后，数组经过扁平化（Flatten）实现一维展开，输入全连接层综合提取到的特征，在输出层产生决策输出。卷积神经网络的融合结构和具体结构参数，分别如图3.7和表3.1所示。

3.1.4 以数据为中心的多源传感数据融合方法

不论数据融合系统的不同组件（模块）如何构设，基本融合算法都必须用于最终处理（融合）输入数据。实际的数据融合应用程序必须面对几个与数据相关的挑战。因此，我们通过以数据为中心的分类法来探讨数据融合算法，进入融合系统的输入数据可以是不完美的、相关的、不一致的或不同形式（模态）的。

按信息抽象程度，多传感器的信息融合一般分为3个层次，即数据级信息融合、特征级信息融合和决策级信息融合。多源传感数据融合目标识别系统结构如图3.8所示。

数据级信息融合是较低层次的融合，是对来自同等量级的传感器的原始数据直接进行综合处理和分析，在传感器的融合数据之上进行特征提取和身份估计，这就要求传感器必须是同类型的或是相同量级的。数据级信息融合通过对传感器原始数据进行关联和配准，来确定已融合的数据是否与同一目标或实体有关，通过传感器融合数据完成与单传感器相同的识别处理过程。

特征级信息融合是利用各个传感器获取目标信息的过程，采用特征提取方法提取目标特征数据，运用特征融合算法融合特征数据使原始目标特征信息变为融合特征数据，再利用目标识别分类算法，进行目标识别分类。通过特征级信息融合，目标有效信息得到足够保留，且有效信息损失比决策级信息融合低很多。虽然特征级信息融合的目标识别能力，相比具有庞大数据处理量的数据级信息融合的目标识别能力稍低，但比决策级信息融合目标识别精准很多。

决策级信息融合是指每个传感器对目标的位置、属性、身份等做出初步识别后，再对多个识别结果进行融合判断，给出最终的目标识别结果。决策级信息融合对通信带宽要求最低，但识别的结果相对前两种来说最不准确。

通过视觉、力觉等多种传感器主动感知阵列天线装配中的结构特征、轴向力等各种状态信息，基于傅里叶变换、小波多尺度变换等时频分析技术对各传感器信息进行时域、频域、时—频域的特征提取，综合全局探索和局部开发策略，提出了核主成分分析（KPCA）法对特征矢量进行约简，实现了多传感信息的特征级融合；提出了一种自适应进化神经网络模型，基于模糊粒子群协同进化算法自动优化、调整网络架构和参数，实现了由自适应进化神经网络模型到进行阵列天线装配过程多传感器信息的决策级融合，具体如图3.9所示。

1.多源传感数据特征级融合

在实际中，整个系统处于复杂的环境中，外界环境对传感器精度的影响、数据传输过程中的数据丢失等使得获取的数据存在一定的误差，需要进一步的数据处理。通常，多源传感数据具有异构、多尺度、高噪声等特点，因此，需要对数据进行清洗与转换，通过滤波、机器学习、规则约束等算法对数据缺失、数据冗余、数据冲突与数据错误等问题进行处理，同时将多源异构数据转换成统一的目标数据格式，完成对不同数据指标的转换计算。预处理必须保证所有数据都能实现互相沟通，以确保数据融合能够在同一平台上实现。

阵列天线装配过程中采集到的传感器输出信号主要分为两大类。一类是传统的力传感器、扭矩传感器等输出的电信号，此类传感器数据大多都伴随着脉冲、高斯等干扰噪声。中值滤波可以有效滤除脉冲干扰，均值滤波可有效去除高斯噪声，但是会破坏信号的细节，因此，采用中值滤波、均值滤波对传感器信号进行预处理，可以有效去除奇异点。另一类是新型的双目视觉传感器输出的点云数据。经实验发现，此类数据大多伴随着诸多奇异点及无效点，会影响后续孔位的识别及平面度的检测。直通滤波是在点云的指定维度上设置一个阈值范围，将这个维度上的数据分为在阈值范围内与不在阈值范围内，对不在阈值范围内的数据直接进行过滤；离群点滤波是基于距离的方法，对远离主平面且超过阈值及逆行的点进行过滤；平滑滤波，可以补充领域信息同时填补空穴，并且能连接细小零碎的区域端口。因此，采用直通滤波、离群点滤波及平滑滤波相结合的方式，不仅可有效去除点云中的奇异点和无效点，而且能有效平滑图像，填补缺失数据，便于后续处理。

多源传感数据具有种类繁多、结构复杂的特点，为了从原始数据中提取更加可靠、有效的数据信息，需要消除无关、冗余的特征，生成新的特征数据，从而实现对高维数据的降维。基于核主成分分析法的特征级融合过程如下。

一是对经过预处理的传感数据通过傅里叶变换、小波多尺度变换的信号时频分析技术对其进行时域、频域、时—频域初步的特征提取。二是通过核主成分分析法对样本进行非线性变换，在变换空间进行主成分分析来实现在原空间的非线性主成分分析，将可能相关的原始数据集转换成线性不相关的新特征集合，实现对特征矢量的约简，完成多源信息的特征级融合，具体步骤如下。

（1）通过核函数计算 K ={ K _ij } _n×n ，其元素为 K _ij = k （ x _i ， x _j ）。式中， x _i 、 x _j 为原空间的样本， k （）为核函数。

（2）计算 K 的特征值，并从大到小进行排列。找出由特征值对应的特征向量 α ^l （表示第 l 个特征向量），并对 α ^l 进行归一化（|| α ^l ||=1）。

（3）原始样本在第 l 个非主成分下的坐标为：

式中， x _i 为第 i 个样本， α ^l 的维度与样本数相同。如果选择 m 个非线性主成分（即计算 K 的前 m 个特征值及相应的特征向量），则样本 x 在前 m 个非线性主成分上的坐标就构成了样本在新空间中的表示[ Z ¹ （ x ）， Z ² （ x ），…， Z ^m （ x ）] ^T 。

2.基于自适应神经网络的决策级融合

BP神经网络 对任何复杂的神经网络都具有非常强大的线性映射能力，具备非常良好的学习能力及非常强的鲁棒性。通过对BP神经网络结构分析，其内部结构可分为3层，即输入层、隐层、输出层。其中，输入层主要由一些感知单元组成，隐层主要包含一些激励函数，如阈值函数、S形函数、阶跃函数等，主要负责对输入信号响应，然后进行转换输出，所以隐层具有局部逼近的能力；输出层是线性的，主要是为输入层的输入向量提供相应的响应输出。BP神经网络主要是通过有监督的学习方式来对样本进行训练，神经网络中有训练好的模型，网络中的神经元可以通过相应的激活值，从输入层通过中间的隐层，最后通过输出层进行输出，这是通过输出层中神经元的网络响应来实现输出的。

这里选用Sigmoid函数，其优势是容错性强、对信号增益有非常好的控制能力，但其不足点是学习速度较慢、容易陷入局部优化。因此，引入粒子群对其参数进行优化处理，可有效提高其学习效率和收敛速度。

粒子群优化的原理为每个粒子在搜索空间中单独地搜寻最优解，并将其记为当前个体极值，并将个体极值与整个粒子群里的其他粒子共享，找到最优的个体极值作为整个粒子群的当前全局最优解，粒子群中的所有粒子根据自身找到的当前个体极值和整个粒子群共享的当前全局最优解来调整自身的速度和位置。在采用粒子群对BP网络进行优化的时候，主要考虑以下3个问题。

（1）确定对最优激活函数中参数的评价标准，目的是找到最优的激活函数参数。

（2）粒子群中粒子的初始化。

（3）确定粒子的适应度函数。适应度函数决定了粒子在空间中相应位置的优劣度，适应度函数越小，粒子位置越不好。 H0j7RmO96Voyn+RyuiLH4Z8SH0n+99pL6qTdo0KYkeI7TE1abtUTB/0PC6Q+J+k3