数据采集整合是制造业多价值链数据空间的基础。制造业数据采集由于自动化设备种类繁多,厂家和数据接口各异,导致数据采集是制造业信息化发展的一大痛点。制造业中的数据来源众多,主要来源于互联网、物联网和与制造业相关的企业,从而形成涵盖生产链、供应链、营销链、服务链等多价值链协同数据空间。数据空间中的数据类型多样,不仅包括结构化数据,还包括大量的非结构化数据和半结构化数据,如生产日志、邮件、视频或音频、网状的社交关系数据、互联网数据等 [29] 。
为实现制造业多价值链协同数据空间中对海量多源异构数据进行实时、准确的采集,以便后续对数据的处理和分析,传统的数据采集方法已不再适用,因此,本书首先提出了全过程多价值链协同多源异构数据采集整合方法,按前后顺序分别为多源异构数据的采集整合、多源异构数据统一存储、多源异构数据的安全管理。具体的多源异构数据的采集整合方法如图2-12所示,其逻辑顺序呈现为自下往上的递进过程。
针对数据空间中多价值链协同多源异构数据采集整合,利用应用神经网络、统计分析、小波变换、机器学习等算法,构建针对多价值链异域、异源、异构多数据采集工具集成协作模型,同时设计能够随数据源动态变化进行重组、调整和更新的自学习数据集采集整合模型,适配异域、异源、异构数据,支撑数据分析服务;建立数据与自学习数据集、价值挖掘的映射、关联与索引模型,建立各个数据集之间的连接,以提升数据集价值集聚。
针对多价值链协同多源异构数据统一存储,构建基于数据价值的指标体系,利用数据价值感知算法,度量数据资源中的价值量,根据价值量对数据按照热数据、普通数据、冷数据等维度进行分级处理。同时建立深度神经网络去冗余模型,确定不同来源数据的可信度和权重,采用张量分解等方法进行数据填补和去冗余,实现数据的交叉验证、筛选和有效存储。
针对多价值链协同多源异构数据安全管理,可使用一种基于区块链的多价值链全过程数据访问安全控制机制,定义基于属性的访问控制模型,利用区块链技术设计数据访问控制架构,保证访问控制信息的不可篡改性、可审计性和可验证性 [30] 。采用基于智能合约的访问控制方法实现对数据资源的访问控制。同时设计一种责任追溯安全管理机制,依托区块链技术 [31] ,通过身份认证、访问审计、区块编码、时间痕迹等方法,对责任进行分析认定,保护制造企业生产正常权益。
图2-12 多源异构数据的采集整合方法