2.5.2　机器学习的主要实现方式

1．概述

为了模仿和再现人类的学习行为，学者们从生理学、心理学、概率论与统计学中寻找算法灵感，建立各种数学模型，形成诸多独特的知识库迭代机制。目前，机器学习算法比较丰富，整体上已形成多种分类形式，如图2-10所示。机器学习可以理解为计算机领域的仿生学，是一种技术理念，而具体的算法只是其实现方式，故本节先重点介绍各类算法的设计思路，之后对典型的机器学习算法做简要说明。

（1）按照学习态度和灵感来源分类，可将机器学习分为符号主义、联结主义、进化主义、贝叶斯主义和类推主义等。 ^[17] 符号主义直接基于数据和概念的相互映射关系，利用数据的判断和操作，表征知识运用和逻辑推理过程，典型算法有决策树、随机森林算法（多层决策树）等。联结主义的灵感来源于大脑的生理学结构，设置多层次、多输入单输出、互相交错联结的处理单元，形成人工神经网络，演绎大脑的数据处理过程。进化主义认为学习的本质源于自然选择，通过某种机制不断地生成数据变化，并依照优化目标逐步筛选最优解，典型算法如遗传算法。贝叶斯主义基于概率论，利用样本估计总体，推算各类特征在特定样本数据下的出现概率，并依照最大概率对数据进行分类。类推主义关注数据间的相似性，根据设定的约束条件，依照相似程度建立分类器，对样本数量的要求相对较低，典型算法如支持向量机、kNN（k临近）算法等。

（2）按照学习模式和样本结构分类，可将机器学习分为监督学习、无监督学习、半监督学习和强化学习等。监督学习采用已标记的原始数据集，通过某种学习机制，实现对新数据的分类和预测（回归），输出模型的准确度直接由标记的精确度和样本的代表性所决定，决策树、人工神经网络和朴素贝叶斯算法等是当前理论较为成熟、应用十分广泛的算法模式。无监督学习针对无标记的原始数据集，自行挖掘数据特征的内在联系，实现相似数据的聚类，而无需定义聚类标准，省略了数据标记环节，主要用于数据挖掘、模式识别和图像处理等领域，典型算法如支持向量机和k-means（k均值）算法。半监督学习采用部分标识的原始数据集，依据已标识数据特征，对未标识数据做合理推断与混合训练，从而避免了数据资源的浪费，解决监督学习迁移能力不足和无监督学习模型不精确等问题 ^[18] ，是当前机器学习的研究热点，但其抗干扰性和可靠性还有待改善。强化学习主要针对样本缺乏或对未知问题的探索过程，设定一个强化函数和奖励机制，由机器自主生成解决方案，并由强化函数评价方案质量，对高质量方案进行奖励，不断迭代直到强化函数值最大，从而实现机器依托自身经历自主学习的过程，尤其适合于工业机器人控制和无人驾驶等场合。

（3）按照学习方法和模型复杂度分类，可将机器学习分为传统机器学习和深度学习。针对原理推导困难、影响因素较多的高度非线性问题，如切削工艺和故障检测，传统机器学习建立起一种学习机制，基于样本构建预测函数或解决问题的框架，兼顾了学习结果的准确性和算法模型的可解释性。相对地，深度学习又称深度神经网络，构建三层以上的网络结构，抛弃了模型的可解释性，以重点保证学习结果的准确性，典型算法如卷积神经网络、循环神经网络和深度置信网络等。

（4）其他学习算法以改良、优化的方式，提升或补充上述算法的应用效果，其本身无法直接输出预测函数，常见算法包括迁移学习、主动学习、集成学习和演化学习等。迁移学习将已经获得的其他实例的学习模型，迁移到对新实例的学习过程中，指导学习迭代的方向，从而避免了原算法反复学习数据的底层规律，提高学习效率和模型泛化能力，如不同机器之间对同一类故障检测的学习过程。主动学习着眼于数据训练过程，根据当前学习情况，自动查询相关度最高的未标记数据，请求人工标记，以此提高训练效率和精度。集成学习对同一训练数据集进行多次抽样或以共用的形式，逐次调用基础学习算法，生成一系列预测函数，将各函数对新数据的评价结果进行比较或加权，获得最终结果，从而增强原学习算法的性能，典型算法如Boosting算法和Bagging算法 ^[19] 。演化学习与进化主义一致，通过模拟生物进化、演替的过程，构建启发式随机优化算法，将已知解不断地交叉重组或参数变异，产生新解并依据适者生存的原则进行筛选，经多代迭代后输出全局最优解。这个过程基本不会涉及目标问题复杂的内部机理，对优化条件和样本质量的限制极少，可一次产生多个最优解，并由用户依据实际情况选用。演化学习对多元优化问题的求解效率很高，其典型算法包括遗传算法、蚁群算法和粒子群算法等。

2．典型算法

1）人工神经网络基于工业大数据的人工神经网络是目前技术最成熟、应用最广泛的机器学习算法，其最基本的数据处理单元如经典的M-P神经元模型，如图2-11所示。将多段前向神经元传入的数据 X _i 进行加权与求和，若该值达到或超过某一阈值 θ ，则经由响应函数 f 生成输出信号，并向下传递。其中，权值 ω _i 在训练迭代过程中实时更新。

将多个神经单元并置，形成单层网络，每个神经元的输出值向下层所有神经元传递，进而形成多层网络结构。神经网络的层数和每层神经元的个数可由特定的拓扑优化算法或经验确定。实际应用的神经网络模型很多，如卷积神经网络、循环神经网络等，其主要差异表现在网络结构、运行方式和参数迭代算法等方面。

2）kNN（k临近）算法与k-means（k均值）算法kNN算法与k-means算法均利用特征值之间的距离表征样本间的不相似度。其中，kNN算法是监督学习中典型的聚类算法，其基本过程为：基于已分类的特征样本集，依次计算观测样本和每个训练样本的特征值距离，选择距离最小的前 k 个点并统计类别频数，取频数最大的类别作为预测分类。 k 值一般设置为不超过20的整数。k-means算法是无监督学习中典型的聚类算法。对于无标记的特征样本集，首先随机选择 k 个聚类中心，依次计算每个样本到 k 个聚类中心的距离值，并将该样本归于距离最近的聚类中心。在完成一次聚类后，拟合新的聚类中心并重新聚类，直到聚类中心收敛，从而自适应获得样本特征的分类机制。 Ap1G7O5kYIWDEbsgYjswmFj9VnoMIIxOZucZm/Kojt/c6sWey5agCU8JJXJMbbaL