第1章
优化方法

优化就是求解目标函数 f （ x ）的极值：

通常求解全局极值难度较大，一般考虑局部极值：

根据约束有无，优化可以分为无约束优化和约束型优化两类。

（1）无约束优化就是简单的函数极值问题。

其中， x ∈ R ^d 为决策参数，多元数量值函数 f （·）： R ^d → R 为目标函数， D 为变量 x 的约束集，也称可行域。

（2）约束型优化是带有等式约束和/或不等式约束的优化。

根据函数形态，优化还可以分为线性优化和非线性优化两类：如果优化的目标函数和约束函数都是线性函数，则为线性优化，否则为非线性优化。

线性优化的主要解法是由基本解导出的单纯形法，即线性的凸优化方法。非线性优化主要适用数值解法，例如最速下降法、梯度下降法、牛顿法、高斯牛顿法以及支持向量机、神经网络等机器学习方法。这些优化求解算法均离不开梯度和雅可比矩阵、Hessian矩阵，以下通过1.1节简要回顾这些基本概念。