下载掌阅APP，畅读海量书库
立即打开
在本书第1讲中，讨论了机器学习中的模型和算法的概念的界定。由于我们常常听到“所谓机器学习十大算法”这样的说法，久而久之算法就成了大家学习机器学习的直接目标。在这样的普遍观点下，线性回归、决策树、神经网络等都被划为算法的范畴。对于这种情况，有必要在此说明一下。如果一定要将线性回归等机器学习方法称为算法，也不是不行，因为算法本身就是一个广义的概念，包含了如何定义计算规则的意思，但是如果这样，那么对平方损失函数进行优化求解的最小二乘法该如何称呼呢？对于线性回归而言，最小二乘法才是算法。那线性回归不叫算法又该叫什么呢？最好是叫模型。
在介绍深度学习算法前，需要把模型和算法做一下区分。在李航老师编写的《统计学习方法》一书的概念论述中，一个完整的统计学习方法包括模型、策略和算法三个要素，这是非常经典的论述。模型就是机器学习在所有的模型空间中要采用的模型类别，如线性回归和感知机模型；策略则是机器学习方法按照什么样的标准去选择最优的模型，一般也称之为模型评估方法，如线性回归的平方损失函数，我们的策略就是要让平方损失函数取到最小值；而算法则是对于策略所选的损失函数采用什么方法取到最小值，即用什么样的计算方法求解最优模型，也就是最优化问题，如求解平方损失的最小二乘法及本讲即将介绍的梯度下降法。无论是有监督学习还是无监督学习方法，都是由以上三要素构成的。
当为一个机器学习方法选择好模型类别和策略时，机器学习便形式化为一个最优化问题。这些针对损失函数的优化问题，有的是凸函数优化，有的是非凸函数优化。无论怎样，都需要找到一些高效的算法对损失函数的优化问题进行求解。例如，本书在第2讲中提到的Lasso的损失函数优化问题就是一个凸函数优化问题。式（3.1）为Lasso损失函数。
综上所述，对于有显式的损失函数表达式的机器学习问题，其数学特性都是最优化问题。从这一点来看，将优化理论与算法视为机器学习和深度学习的支撑理论丝毫没有夸张的成分。