以一元函数为例说明函数的极值与极值点。图2-5所示为定义在区间[a,b]上的一元函数 f ( x )。
图上有两个特殊点 x (1) 与 x (2) ,在 x (1) 附近,函数 f ( x )恒以 f ( x (1) )为最大;在 x (2) 附近,函数值以 f ( x (2) )为最小。因此 x (1) 与 x (2) 即为函数的极大点与极小点,统称为函数 f ( x )的极值点。需要注意,这里所谓的极值是相对于一点的附近邻域各点而言的,仅具有局部的性质,所以这种极值又称为局部极值,而函数的最大值与最小值是对整个区间而言的。如图2-5中函数的最大值为 f ( b ),函数的最小值为 f ( a )。函数的极值并不一定是最大值或最小值。
图2-5 函数的极值与极值点
1.一元函数 (即单变量函数) 的情况
(1)极值点存在的必要条件我们在高等数学中已经学过:如果函数 f ( x )的一阶导数 f ′( x )存在的话,则欲使 x * 为极值点的必要条件为
f ′( x * )=0 (2-1)
仍以图2-5中所示一元函数为例,由图可见,在 x (1) 与 x (2) 处的斜率均等于零,即函数在该两点处的切线与x轴平行。但使 f ′( x * )=0的点并不一定都是极值点,如图中的 x (3) 点,虽然 f ′( x (3) )=0,但并非极值点而为一驻点。使函数 f ( x )的一阶导数 f ′( x * )=0的点称为函数 f ( x )的驻点。极值点(对存在导数的函数)必为驻点,但驻点不一定是极值点。至于驻点是否为极值点可以通过二阶导数 f ″( x )来判断。
(2)极值点存在的充分条件若在驻点附近,有
f ″( x )<0 (2-2)
则该点为极大点;
若在驻点附近,有
f ″( x )>0 (2-3)
则该点为极小点。
在图2-5中的 x (3) 附近,其右侧 f ″( x )<0,但其左侧 f ″( x )>0,因此它不是一个极值点。可见函数二阶导数的符号成为判断极值点的充分条件。
2.多元函数 (即多变量函数) 的情况
设
f
(
x
)为定义在
X
∈
D
R
n
中的n元函数。向量
X
的分量
x
1
,
x
2
,…,
x
n
就是函数的自变量。设
X
(k)
为定义域内的一个点,巨在该点有连续的
n
+1阶偏导数,则在该点附近可用泰勒级数展开,如取到二次项,有
如果用向量矩阵形式表示,则式(2-4)可写为
可简写为
式中,
Δ f ( X (k) )是函数f( X )在 X (k) 点的一阶偏导数矩阵,称为函数在该点的梯度。梯度Δ f ( X (k) )是一个向量,其方向是函数 f ( X )在 X (k) 点数值增长最快的方向,亦即负梯度-Δ f ( X (k) )。方向是函数 f ( X )在 X (k) 点数值下降最快的方向,梯度的模
但需注意,函数 f ( X )在某点 X (k) 的梯度向量Δ f ( X (k) )仅仅反映 f ( X )在 X (k) 点附近极小邻域的性质,因而它是一种局部性质。函数在定义域内的各点都各自对应着一个确定的梯度。此外,函数 f ( X )在 X (k) 点的梯度向量Δ f ( X (k) )正是函数等值线或等值超曲面在该点的法向量。图2-6表示二元函数 f ( X )在 X (1) 、 X (2) 点的梯度Δ f ( X (1) )、Δ f ( X (2) )和负梯度-Δ f ( X (1) )、-Δ f ( X (2) )。Δ 2 f ( X (k) )是函数 f ( X )在 X (k) 点的二阶偏导数组成的 n × n 阶对称矩阵,或称为 f ( X )的黑塞(Hessian)矩阵,记 H ( X (k) )。
式(2-4)~式(2-6)只取到泰勒级数二次项,称为函数的二次近似表达式。
图2-6 二元函数的梯度和负梯度
(1)极值点存在的必要条件n元函数在定义域内极值点存在的必要条件为
即对每一个变量的一阶偏导数值必须为零,或者说梯度为零( n 维零向量)。
和一元函数对应,满足式(2-9)只是多元函数极值点存在的必要条件,而并非充分条件,满足Δ f ( X * )=0的点 X * 称为驻点,至于驻点是否为极值点,尚需通过二阶偏导数矩阵来判断。
(2)极值点存在的充分条件如何判断多元函数的一个驻点是否为极值点呢?
将多元函数 f ( X )在驻点 X * 附近用泰勒公式的二次近似式来表示,则由式(2-6)得
因为 X * 为驻点,Δ f ( X * )=0,于是有
在 X * 点附近的邻域内,若对一切的 X 恒有
f ( X )- f ( X * )>0
亦即
( X - X * ) T H ( X * )( X - X * )>0 (2-10)
则X * 为极小点;否则,当恒有
(X-X * ) T H ( X * )( X - X * )<0 (2-11)
时,则 X * 为极大点。
根据矩阵理论知,由式(2-10)、式(2-11),得极小点的充分条件为
亦即驻点黑塞矩阵 H ( X * )必须为正定。同理知极大点的充分条件为
亦即驻点黑塞矩阵 H ( X * )必须为负定。而当
亦即驻点黑塞矩阵 H ( X * )既非正定,又非负定,而是不定, f ( X )在 X * 处无极值。
至于对称矩阵正定、负定的检验,由线性代数可知,对称矩阵
正定的条件是它的行列式| A |的顺序主子式全部大于零,即
负定的条件是它的行列式| A |中一串主子式为相间的一负一正,即
至此,读者完全不难自行归纳得出无约束目标函数极值点存在的充分必要条件和用数学分析作为工具对 n 维无约束优化问题寻求最优解。