下载掌阅APP，畅读海量书库
立即打开
根据数据类型的不同，对一个问题的建模有不同的方式。在机器学习或者人工智能领域，人们首先会考虑算法的学习方式，将算法按照学习方式分类可以让人们在建模和算法选择时考虑根据输入数据来选择最合适的算法以获得最好的结果。图1-2为监督学习、无监督学习、强化学习实际应用的领域。
图1-2 三种机器学习的应用领域
监督学习目标是从有标签的训练数据中学习模型，以便对未知或未来的数据做出预测。图1-3总结了一个典型的监督学习流程，先用机器学习算法对打过标签的训练数据提供拟合预测模型，然后用该模型对未打过标签的新数据进行预测。
图1-3 一个典型的监督学习流程
以垃圾邮件过滤为例，可以采用监督机器学习算法在打过标签的电子邮件的语料库上训练模型，然后用该模型来预测新邮件是否属于垃圾邮件。带有离散分类标签的监督学习任务也被称为分类任务。监督学习的另一个子类被称为回归，其结果信号是连续的数值。
监督学习的一个分支是分类，分类的目的是根据过去的观测结果来预测新样本的分类标签。这些分类标签是离散的无序值。前面提到的邮件垃圾检测就是典型的二元分类任务，机器学习算法学习规则用于区分垃圾邮件和非垃圾邮件。
图1-4将通过30个训练样本介绍二元分类任务的概念。30个训练样本中有15个标签为负类（-），另15个标签为正类（+）。该数据集为二维，这说明每个样本都与 x 1 和 x 2 的值相关。即可通过监督机器学习算法来学习一个规则：用一条虚线来表示决策边界，用于区分两类数据，并根据 x 1 和 x 2 的值为新数据分类。
值得注意的是，类标签集并非都是二元的，经过监督学习算法学习所获得的预测模型可以将训练数据集中出现过的任何维度的类标签分配给还未打标签的新样本。手写字符识别是多类分类任务的典型实例。首先，收集包含字母表中所有字母的多个手写实例所形成的训练数据集。字母（A、B、C等）代表要预测的不同的无序类别或类标签。然后，当用户通过输入设备提供新的手写字符时，预测模型能够以某一准确率将其识别为字母表中的正确字母。然而，该机器学习系统却无法正确地识别0～9的任何数字，因为它们并不是训练数据集中的一部分。
第二类监督学习是对连续结果的预测，也称为回归分析。回归分析包括一些预测（解释）变量和一个连续的响应（结果）变量，用于寻找那些变量之间的关系，从而能够预测结果。
注意，机器学习领域的预测变量通常被称为“特征”，而响应变量通常被称为“目标变量”。
图1-5为线性回归，给定特征变量 x 和目标变量 y ，对数据进行线性拟合，最小化样本点和拟合线之间的距离。
图1-4 二元分类任务
图1-5 线性回归
这时可以用从该数据中学习的截距和斜率来预测新数据的目标变量。
另一类机器学习是强化学习。强化学习的目标是开发一个系统（智能体），通过与环境的交互来提高其性能。当前环境状态的信息通常包含奖励信号，可以把强化学习看作一个与监督学习相关的领域。但强化学习的反馈并非为标定过的正确标签或数值，而是奖励函数对动作度量的结果。智能体可以与环境交互完成强化学习，并通过探索性的试错或深思熟虑的规划来最大化这种奖励。
强化学习的常见实例是国际象棋。智能体根据棋盘的状态或环境来决定一系列的动作，奖励定义为比赛的输或赢，如图1-6所示。
图1-6 强化学习过程
强化学习有多种不同的子类，然而，一般模式是强化学习智能体试图通过与环境的一系列交互来最大化奖励。每种状态都可以与正或负的奖励相关联，奖励可以被定义为完成一个总目标，如赢棋或输棋。例如，国际象棋每走一步的结果都可以认为是环境的一个不同状态。为进一步探索国际象棋的实例，观察棋盘上与赢棋相关联的某些状况，例如吃掉对手的棋子或威胁皇后。也注意棋盘上与输棋相关联的状态，例如在接下来的回合中输给对手一个棋子。下棋只有到了结束时才会得到奖励（无论是正面的赢棋还是负面的输棋）。另外，最终的奖励也取决于对手的表现。例如，对手可能牺牲了皇后，但最终赢棋了。
强化学习涉及根据学习一系列的动作来最大化总体奖励，这些奖励可能即时获得，也可能延后获得。
监督学习训练模型时，事先知道正确的答案；在强化学习的过程中，定义了智能体对特定动作的奖励。但无监督学习处理的是无标签或结构未知的数据。用无监督学习技术，可以在没有已知结果变量或奖励函数的指导下，探索数据结构来提取有意义的信息。
聚类是探索性的数据分析技术，可以在事先不了解成员关系的情况下，将信息分成有意义的子群（集群）。为在分析过程中出现的每个集群定义一组对象，集群的成员之间具有一定程度的相似性，但与其他集群中对象的差异性较大，这就是为什么聚类有时也被称为无监督分类。
聚类是一种构造信息和从数据中推导出有意义关系的有用技术，图1-7解释了如何应用聚类把无标签数据根据 x 1 和 x 2 的相似性分成三组。
图1-7 聚类分析法
无监督学习的另一个常用子类是降维。我们经常要面对高维数据，然而，高维数据的每个观察通常都伴随着大量的测量数据，这对有限的存储空间和机器学习算法的计算性能提出了挑战。
无监督降维是特征预处理中一种常用的数据去噪方法，它不仅可以降低某些算法对预测性能的要求，还可以在保留大部分相关信息的同时将数据压缩到较小维数的子空间上。有时降维有利于数据的可视化，例如，为了通过二维散点图、三维散点图或直方图实现数据的可视化，可以把高维特征数据集映射到一维、二维或三维特征空间。图1-8展示了一个采用非线性降维将三维特征空间压缩成新的二维特征子空间的实例。
分类和回归都包含很多专业术语，这些术语在机器学习领域都有确切的定义。
图1-8 非线性降维效果
· 样本（sample）或输入（input）：进入模型的数据点。
· 目标（target）：真实值。对于外部数据源，理想情况下，模型应该能够预测出目标。
· 预测（prediction）或输出（output）：从模型出来的结果。
· 预测误差（prediction error）或损失值（loss value）：模型预测与目标之间的距离。
· 标签（label）：分类问题中类别标注的具体例子。例如，如果abcd号图像被标注为包含类别“狗”，那么“狗”就是abcd号图像的标签。
· 类别（class）：分类问题中供选择的一组标签。例如，对猫、狗图像进行分类时“狗”和“猫”就是两个类别。
· 真值（ground-truth）或标注（annotation）：数据集的所有目标，通常由人工收集。
· 二分类（binary classification）：一种分类任务，每个输入样本都应被划分到两个互斥的类别中。
· 多类分类（multiclass classification）：一种分类任务，每个输入样本都应被划分到两个以上的类别中，例如手写数字分类。
· 多标签分类（multilabel classification）：一种分类任务，每个输入样本都可以分配多个标签。举个例子，如果一幅图像中可能既有猫又有狗，那么应该同时标“猫”标签和“狗”标签。每幅图像的标签个数通常是可变的。
· 标量回归（scalar regression）：目标是连续标量值的任务。预测房价就是一个很好的例子，不同的目标价格形成一个连续的空间。
· 向量回归（vector regression）：目标是一组连续值（例如一个连续向量）的任务。如果对多个值（例如图像边界框的坐标）进行回归，那就是向量回归。
· 小批量（mini-batch）或批量（batch）：模型同时处理的一小部分样本，样本数通常取2的幂（通常为8～128），这样便于GPU上的内存分配。训练时，小批量用来为模型权重计算一次梯度下降更新。