车间生产要素主要包括人员、设备和物料,其模型构建主要包括几何、物理和行为3个维度。
生产要素几何维度的建模主要是在虚拟空间构建人物和设备等几何模型。其中,设备和物料的几何模型均由供应商提供。
(1)人物几何建模。人物几何建模包括模型本体和运动机能建模。首先,取66块决定人物姿态的关键骨骼进行建模,将骨骼抽象为连杆,建立人物骨骼模型。模型中包括头部、颈部、胸部、肩部、大臂、小臂、手腕、手指各关节、腹部、腰部、盆骨、大腿、小腿、脚部及各脚趾关节。其次,创建人物肌肉,在肌肉的外部建立外观结构。再次,进行外观贴图。最后,对人物骨骼的连接关系进行调整和绑定,约束各关节的旋转方向和旋转角度范围,防止产生非正常姿态,从而实现对人物运动机能的建模。
(2)设备几何建模。由于设备模型还涉及模型自身的三维图形变换,因此,在设备几何模型的基础上采用层级结构进行建模,即以模型从属的静态模型为根节点,各动态子模型依照运动从属关系依次建立父子节点关系,通过子节点在父节点局部坐标系中的位姿构建三维模型。
生产要素物理建模主要是对设备进行物理建模,需要同步映射设备运行时的物理参数,包括振动、磨损、扭矩、转矩、温度等因素,主要用于设备的寿命预测和健康状态管理,从而实现对关键设备的监控与预测性维护或维修,既提高设备使用寿命,又降低设备维护、维修或意外停机带来的成本损失。由于物理维度建模比较复杂,涉及多学科、跨领域的多项技术,且与设备本身的运行机理密切相关,此处不做详细阐述。
(1)人物行为建模。首先,使用状态机控制人物行为。状态机的实现分为状态机设计与状态转移算法实现。随后,基于状态转移算法使用实时数据驱动状态机驱动人物行为的同步。
人物详细状态机如图2.3所示。人物的默认状态为“空闲”,“空闲”状态与“走路”“搬起”“下蹲”“操作”“站立工作”状态均可互相转换,“搬起”状态可与“搬运”状态互相转换。“操作”为一个抽象状态,其状态实现为位于下方的3个操作子类。为了在人物动作上表明人物的操作状态,采用3个单向循环的一般性操作状态作为代理。其中,任何一个操作状态均可恢复为“操作”抽象状态。此外,任何状态均可转化为“空闲”状态。
图2.3 人物详细状态机
人物状态转移算法如图2.4所示。人物的更新依靠超宽带(UWB)数据进行位置更新,根据制造执行系统(MES)数据进行状态更新。其中, i 为更新次数, t 为局部时钟, T 为读取数据的周期。对于第 i 次更新,将 t 设为0,从UWB数据库读入人物所携带标签的最新位置 P i ,计算人物对象当前位置 P 与 P i 的距离| P i -P |。若距离小于设定值 L ,则认为人物处于静止状态;若距离大于或等于设定值 L ,则认为人物处于运动状态。对于静止状态,根据MES数据库的工艺和工序信息进一步判断是否存在操作信号。若存在操作信号,则将人物状态变更为“操作”;若不存在操作信号,则将人物状态置于“空闲”。之后,将人物当前位置指定为最新位置 P i 。对于运动状态,则根据MES数据库的搬运任务和物流信息进一步判断是否存在搬运信号。若存在搬运信号,则将人物状态变更为“搬运”;若不存在搬运信号,则将人物状态变更为“走路”。无论“搬运”状态或“走路”状态,都驱动人物向目标位置 P i 移动。一次更新结束后,对 t 进行累加,当累加值大于设定值 T ,则将 t 重置为0, i 加1,再进行下一次更新。
图2.4 人物状态转移算法
(2)设备动态同步映射
设备动态同步映射技术是设备层面的数字孪生,目的是在虚拟空间中复现车间设备行为,其技术路线如图2.5所示。将设备行为实时更新到虚拟空间,可使监控更加直观,为管理者和决策者提供设备信息,有助于其对车间进行有效管控。设备动态同步映射技术主要包括设备准动态数据镜像、设备动态基础数据镜像和设备动态性能数据镜像3个方面。
(3)物料流转同步映射
物料流转同步映射由在制品在工位间的流转和物料在车间中的流转组成,根据工艺流程控制在制品和物料在数字孪生模型中的物流走向。以在制品和物料的实时位置建立车间事件,将其作为决策点规则地引入车间运行逻辑模型,与数字孪生模型中对应的三维几何模型相关联,之后对实时更新的位置信息进行插值处理,进而拟合出连续的物流过程,实现实时位置数据驱动的车间物料流转同步映射,主要包括物料在车间的状态、物料在工位的状态、物料搬运过程的物流及物料的流动4个方面的映射。
图2.5 设备动态同步映射技术路线
考虑面向装配现场的工艺仿真优化与准确度保障的数据支撑要求,通过模型属性与关键特征定义、数据的感知融合与集成交互,以及数字孪生工艺模型动态重构等关键技术,实现数字孪生中的“虚实融合”效果。以理论模型为基础,以实测数据为驱动,以数据融合与仿真计算为手段,实现装配过程数字孪生模型的动态重构与更新演化,为后续质量预测、仿真模拟、质量管控等技术的实现提供模型基础,具体路线如图2.6所示。
根据产品装配过程重点工艺参数的监控需求,以及后续预测或仿真需求,基于装配单元接口间的精度属性信息,计算其质量损失,定量筛选用于构建数字孪生工艺模型的关键装配特征。与关键装配特征相关的基础属性数据及装配参数大部分可通过采集获得。在基于数字孪生的产品构型数据定义与反馈过程中,实现基于语义的产品模型表达是关键。采用网络本体语言(Ontology Wed Language, OWL)描述关键特征的语义信息,即通过本体建模开发工具实现数字孪生工艺模型中组织要素的定义及属性描述,建立各项数据之间、数据与关键特性之间的关联关系。例如,可确定以几何特征和构型数据为子类的组织形式;可定义产品信息、尺寸公差信息、产品零部件的构型状态以及工艺性能数据,如机械性能、电磁性能、可靠性相关数据;可定义工艺过程数字孪生模型构建的目标信息,以及决定包括配合精度状态、实体物理变形、关键特征位置等在内的重构过程中关键特征的定义。
图2.6 数字孪生工艺过程模型的动态构建与分析
在产品的实物装配过程中,需对各类繁杂的实物信息进行感知,形成数字信息,作为数字孪生工艺模型中数据信息的基础来源。基于多种数字测量设备(三坐标测量机、温度/振动/角度/速度/力/位移传感器、激光跟踪仪、三维线扫、2D相机)的优化布置,构建感知测量场,并建立3D虚拟仿真平台,以实现实时数据与平台模型的交互。对于不能实现自动采集的生产工位,装配现场的数据可通过现场工位机、移动终端、可编程逻辑控制器(PLC)等数字化设备进行数据采集。其中,零件模型的装配定位,本质上是两个带有几何误差的配合表面间的精确匹配,即测量点云数据的配准拟合。
在装配测量场中,根据装配工艺过程,可通过在线传感测量及监控的信息采集方式,实时感知设备类数据(设备运行状态信息、实时工艺参数信息、故障信息、维修/维护信息等)、生产过程数据及质量数据等信息。对于质量数据,其主要包括现场装配过程中的真实配合精度状态信息、物理变形信息及关键装配特征的位置精度信息等。在数据的集成、转换过程中,可采用小波分解或模式分解等方法进行测量数据的降噪与不同数据类型的归一化处理。在长度、时间尺度、耦合范围3个方面满足要求,不仅可使传感器采集的数据与实际系统数据保持高度一致,而且可去除或者减少其中的无效数据。此外,针对异构数据各自的特点,可综合采用定制转换工具、集中复制数据、数据集成中间件等方式融合异构数据源。同时,将产品经仿真计算与力学分析等得出的仿真数据、物性数据信息与采集数据、融合拟合数据相结合,基于以上步骤,再修正关键装配特征状态及精度属性信息,提取装配过程中的有效数据信息,为建立精准的数字孪生工艺模型做准备。
数字孪生工艺模型的动态重构实质是在设计模型基础上进行修正,对实际的产品模型在装配工艺的不同阶段的主要型体进行动态重构,或者就某一工艺阶段中的微小动态演化,构建实际装配产品工艺过程的数字孪生模型。一方面,根据工艺流程、工序完成情况和物料使用情况等数据确定正在进行的工序和生产进度,并在工序完成后将产品的三维模型分别转换成相应工艺阶段的模型,进行主要形体与相对宏观的模型重构,对实际工艺状态进行实时展示。另一方面,通过工艺流程中布置的视觉传感器、压力传感器、位移传感器、温湿度传感器等获取相应数据,再根据所采集的检测数据或工艺过程数据,如压力、形变、位移等数据,对产品模型进行修正或重构、状态更新、数据可视等。
产品的数字孪生工艺模型的动态重构流程如下。
拓扑信息表达了模型中的点、线、面等几何特征间的关联关系,是基于离散的数据逆向生成几何特征。然而,在模型匹配过程中,从低纬度数据向高维度数据进行转换,是非常困难的事情。首先,对测量数据进行处理,将数字化测量与装配变形仿真相结合,解析零部件间的几何拓扑关系,需要进行正确的力学计算,融合不同制造阶段的装配体结合面处的二次形变信息,搜索发生变形的对应位置。其次,使用特征元组区间的笛卡尔乘积,分析变形约束如何渐变到其邻近约束关系,反映真实装配结构的细观几何拓扑关系,并将其映射到模型的相关节点位置(见图2.7),定义发生变形的关键装配特征。最后,通过装配基准与装配约束的重构,快速衍生出与当前装配物理状态相关联的三维模型,完成装配实体向虚拟空间数字孪生体的虚实融合、映射过程,为面向装配现场的装配工艺的仿真优化与准确度保障提供数据支撑。
在适用于装配工艺优化设计的数字孪生工艺模型中,为了表示物理实体的真实状态,其所包含的数据信息主要包括以下5类。
一是设计数据,主要包括产品三维几何模型,产品材料、分析测试等属性数据,尺寸与公差等三维标注数据,包含配合关系的计划物料清单(PBOM)及相关设计文档等内容。二是工艺数据,主要包括工装工具设计要求及模型,装配工艺过程参数,质量检验、测量、控制要求数据,装配过程仿真评估数据等内容。三是制造过程数据,主要包括制造物料清单(MBOM)、检测得到的零部件真实配合精度状态数据、技术状态实测数据、生产资源及环境相关的实测数据等。四是具有动态性特点的装配过程数据,主要包括现场装配过程的操作数据,装配过程的状态监测数据,多传感器采集和分析的数据,逆向数据,装配仿真与预测数据等。五是融合分析数据,主要包括融合处理后的关键特性数据、仿真计算与力学分析数据、其他物性仿真数据等。
图2.7 反映真实装配结构的细观几何拓扑关系修正
通常车间涉及的人员、设备、物料等生产要素多且复杂,在虚拟平台实现车间数字孪生模型对实际车间在几何维度上的准确映射,不仅需要各个车间生产要素的三维模型支持,而且需要对其进行统一管理。
几何模型是对物理车间三维场景的真实映射,采用三维建模软件对车间生产全要素进行层次化建模。首先,将物理车间的三维场景划分为6个模块,即设备模型、仓储模型、人员模型、生产系统模型、车间环境模型和产品模型(见图2.8)。其次,针对每个模块进行细分,如设备模型可以分为插装设备模型、测量设备模型、机器人模型等。这些模型既包含生产要素的几何信息,如形状、尺寸、位置等信息,又包含其他属性信息,如几何结构关系、父子嵌套关系、模型动画、动作指令等。此外,须对各模型建立特定的编号,方便模型的管理和复用。具体的实现过程如下。
基于树形结构完成车间数字孪生体的场景管理,模块属性包含模型间的关联关系和父子嵌套的几何属性信息。对于叶节点的三维建模,设备模型和人员模型还涉及模型自身的三维图形变换,建模时采用层级结构。建模过程以模型从属的静态模型为根节点,各动态子模型依照运动从属关系依次建立父子节点关系,通过子节点在父节点局部坐标系中的位姿构建三维模型。再通过建立标准化的模板对各叶节点的属性信息进行统一管理,叶节点的属性信息如图2.9所示。
图2.8 车间数字孪生模型三维场景树
图2.9 叶节点的属性信息
根据车间的监控需求分析,将建立完毕的三维模型文件导入到Unity3D引擎,对三维模型进行优化,在不影响模型外观的情况下,尽量减少仿真引擎承载力。通过仿真引擎提供的软件接口读取三维模型的中间格式文件和相对应的贴图,通过参数映射赋予每个模型文件特定的身份标识(ID),将模型信息存储在对象数据库中。带有唯一ID的模型是装配车间场景布局、信息采集及数据处理的服务对象,是装配车间同步建模的基础。依据车间实际环境,以车间、装配要素为分层次组合对象构建三维模型,赋予纹理贴图,配置环境灯光效果,逐步建立逼真的整体车间环境实景。图2.10为阵列天线装配车间的部分建模效果。
图2.10 阵列天线装配车间的部分建模效果
物理车间的物理维度建模主要是从环境角度考虑的,需要同步描述产品生产过程中必须要控制的温度、湿度、气体浓度等要素,避免出现安全事故、设备无法正常运转、产品功能性能受到影响等问题。
温度、湿度等物理场数据的来源可以通过相应的传感器读取到。对于有多种物理场存在的模型,可以定义实现多个物理场体数据的生成函数。生成体数据之后,对其进行数据分类,多物理场中数据可以根据模型的不同、维度的不同、物理变量的不同或运行次数的不同进行分类。本节案例采用的体数据分类的方法是根据物理场的类别,即根据物理变量的不同对数据进行分类,并通过转换函数将不同的物理场的数据点值转换成由RGB 三原色定义的颜色值及不透明度值。在此基础上,遍历体数据的所有数据点,直到将所有点的数据值映射成为颜色值和不透明度值即完成了对数据的预处理和分类。对数据的预处理和分类完成之后,需要对数据重新采样,由于模型是在物体空间中描述的,与之对应的是世界坐标系,而光线的发出点及方向都是在图像空间中描述的,图像空间对应观察坐标系。因此,重采样前须将物体空间坐标转换为图像空间坐标。最终处理后的多变量物理场数据绘制结果如图2.11所示,车间温度场示意如图2.12所示。
图2.11 多变量物理场数据绘制结果图
(a)湿度场体绘制效果;(b)湿度场与温度场体绘制效果;(c)优化采样间隔和不透明度后的湿度场、温度场和压力场体绘制效果
图2.12 车间温度场示意
首先,面向车间生产全流程,基于产品工艺流程建立静态的车间作业运行逻辑模型,如工序开始或者结束的决策规则。其次,基于系统设备表(SDT)的动态性,在建模过程中将车间的实时数据融入决策规则。在此基础上,建立层次化的映射体系,关联实时数据与SDT模型,从而实现从物理车间作业过程到SDT模型动态运行的同步转换,使得SDT能够准确地描述车间作业的动态行为,进而实现车间生产全流程的三维可视化。
车间是典型的离散事件动态系统,其运行过程的时序表达可以用事件和状态抽象表示。状态维持一段时间的稳定作业,事件决策作业状态变化,并推进下一作业状态的发生。本节案例采用Petri网对生产系统作业运行逻辑进行建模,并将实时数据处理后得到的实时信息融入建模过程,通过实时信息转化的车间事件驱动车间运行状态的变迁。由于实时信息驱动的车间运行状态变迁对变迁规则有较高要求,因此,采用扩展随机高级判断Petri网(ESHLEP-N)建立车间运行模型,即车间生产全流程的作业运行逻辑可以转化为一个复杂的ESHLEP-N模型。车间现场实时采集到的数据可以转化为对应的车间事件,如进入事件、离开事件、存在事件等。通过将事件引入变迁规则,进而参与决策车间作业状态变化,从而实现实时信息与车间作业中的逻辑融合。实时信息驱动的ESHLEP-N模型变迁,建立了物理车间到ESHLEP-N模型的动态映射,能够实现车间全流程作业行为的同步建模。阵列天线智能装配车间生产流程建模效果如图2.13所示。
图2.13 阵列天线智能装配车间生产流程建模效果图
在对车间数字孪生体进行建模的过程中,需要对车间里的静态基础数据和动态采集数据进行管理,对车间数据的流动和集成进行标准化信息建模,从而以车间数据管理的角度建立车间数字孪生体信息集成模型。
针对车间数字孪生体模型构建过程中的信息集成,以车间现场的数据实时采集技术为基础,以数字孪生车间运行状态监控和预测为对象,实现过程中的车间数字孪生体静态建模、车间实时动态监控、车间运行状态预测。并将其中所涉及的建模过程中的车间静态数据、监控和预测过程中所需的车间实时数据进行集成和统一建模。旨在为车间数字孪生体数据维度建模提供信息模型,为后续车间实时动态监控和车间运行状态预测提供数据支持,建立的车间数据管理模型如图2.14所示。
说明:
① ◆表示组合关系,无◆一端是有◆一端的组成部分。
② “1”表示数量为1个,“*”表示数量为0到多个。
③ “+”表示public(公开的),“-”表示private(私密的),这两种符号都表示某种属性。
图2.14 车间数据管理模型
在数据管理模型中,数据采集和通信技术是基础,实时数据通过无线射频识别(RFID)、传感器、设备通信模块、手工采集和MES接口等数据采集和交互技术进行获取,经过预处理后存储在数据中心。并通过周期性采集的实时数据流实现数据队列的更新,根据监控和预测需求从数据表中匹配所对应的数据。
该车间数据管理模型面向车间数字孪生体信息集成,依据“静态建模—状态监控—评估预测”步骤分成3个部分,分别为车间数字孪生体静态模型、车间实时可视化监控信息和车间运行状态评估体系。其中,车间数字孪生体静态模型主要包括几何维度的三维模型和逻辑维度的生产系统模型,用于提供模型、作业逻辑和数据等支持;车间实时可视化监控信息是数据模型的核心,基于数据交互技术获取物流、设备、产品、订单、进度、评价等实时数据存入数据表,根据监控需求从数据表中匹配多层次协同监控所对应的数据,作为作业过程转换和状态展示更新的驱动数据源;车间运行状态评估体系基于评估、预测、反馈层面组成数据模型的一部分,算法库用于实现数据驱动指标的自动计算。